Twitter搜索架构设计核心之二：Blender
Twitter的实时搜索在2010年重写了架构。新架构的核心就是Blender 和
Earlybird。本文主要介绍一下Blender架构。Blender是Twitter实时搜索的前端检索架构，上线替换了从前的Ruby-on-Rails前端架构。Blender比之前的架构提升了3倍的性能（搜索时延从800ms降低到250ms，前端机的CPU负载降低到一半），也使得能够更快的迭代搜索新功能。
为了理解Blender的性能提升，先来看看旧架构Ruby-on-Rails前端服务的低效的地方。每个前端运营固定数量的单线程rails工作线程，每个处理如下事务：
Query分析（parsed queries）
同步查询索引服务器
汇总和呈现结果
同步请求模型对CPU的利用率非常低效。随着时间的推移，Ruby代码积累了更多的技术债务，很难增加新的功能和改善搜索引擎的可靠性。Blender的解决方案如下：
创建一个完全异步的聚合服务。没有线程在等待网络I/O的完成。
从后端服务汇总结果。例如，实时结果、Top tweet和地理位置索引。
优雅的处理了服务之间的依赖关系。工作流程自动处理后端服务之间的传递依赖。
下图是Twitter搜索引擎的架构。从网站上、API或者内部客户端发来的Queries，通过硬件负载均衡器，被提交给Blender。Blender做Query分析，并提交给后端服务，使用工作流程处理服务之间的依赖。最后，检索服务返回的结果合并，并以合适语言呈现在终端。
Blender概览
Blender是建立在（一个Java编写的高度可扩展的NIO客户端服务器库，支持多种协议）基础上Thrift和HTTP服务。Twitter之所以选择Netty框架，而不是Mina或Jetty等，因为Netty是一个更干净的API，也有更好的文档说明，且在Twitter很多项目中已经得到应用。为了让Netty能用在Thrift中，Twitter写了一个简单Thrift解码器，负责Thrift和Netty之间的协议数据转换。
Netty定义了一个关键抽象Channel，封装了网络socket读写，对外提供了一套I/O操作接口，如read、write、connect和bind。所有通道的I/O操作都具有异步特性。这意味着任何I/O调用都能够立即返回一个ChannelFuture实例，并通知所请求的I/O操作成功、失败或取消与否。
当Netty服务接受到一个新的连接，将会创建一个新的通道来处理它。一个通道实际上没有什么，只是一序列实现了业务处理逻辑的channel
handlers。接下来，我们来看看Blender是如何映射这些通道到Query的处理流程中。
工作流框架
Blender中工作流（workflow）是一套后端服务相互依赖的服务。Blender自动解析了服务之间的依赖关系，例如，如果服务A依赖服务B，A被先请求是，它的结果会被传递给B。很方便的使用有向无环图（directed
acyclic graphs）表示工作流（如下图）。
在上例的工作流中，有6个服务{s1,s2,s3,s4,s5,s6}，彼此有一定依赖关系。从s3到s1的有向边表示调用s1之前一定要调用s3，因为s1需要从s3返回的结果。鉴于这样的工作流程，Blender框架执行一个拓扑排序（topological
sort），也决定服务的总体序。上面的例子，执行顺序是{(s3,s4),(s1,s5,s6),(s2)}，即s3和s4可以首批并行调用，一旦它们的结果返回，s1，s5和s6在第二批并行调用，最后调用s2。
一旦Blender决定了工作流的执行顺序，它将会被映射到Netty管道。这个管道是一系列请求相关的业务处理句柄。
因为工作流被映射到Netty管道，所以必须将输入的请求能够找到合适的管道。Twitter构建了一个代理层（proxy
layer）复用和路由客户端请求到合适管道。称之为：请求复用（Multiplexing Incoming
Requests）。如下：
当远程的Thrift客户端打开一个持久连接到Blender，代理层创建一个本地客户的映射&&本地工作流服务之一。注意，所有的本地工作流服务都运行在Blender的JVM进程中，并在Blender启动时就被实例化。
当请求到达socket时，代理层读到它，判断出所需要的工作流，并路由到合适的工作流服务。
类似地，本地工作流服务的响应，代理层读取它，并写回远端的应答中。
Twitter使用了Netty的事件驱动模型（event-driven）来异步的完成上述所有的任务，所以没有线程在等待I/O。
调度后端请求
调度后端请求（Dispatching back-end
requests）。一旦请求到达了工作流管道，将运行一系列服务句柄。每个服务句柄构造合适的后端服务请求，并提交到远端服务器。例如，实时服务句柄构造一个实时搜索请求，并异步地发给一个或者多个实时索引服务。Twitter使用Twitter
commons库（即将开源）做连接池的管理，负载均衡和僵死连接检测。
当后端服务已经被分配时，相应处理请求的I/O线程就可以被释放了。一个时钟线程（timer
thread）每隔几毫秒就检测一下是否后端结果已经返回，并做标识请求成功、超时或失败。在一个检索Query的生命周期里，我们需要维护一个对象来管理这类型的数据。
成功返回的结果汇总后，会发给工作流管道中的下一批服务句柄。当首批调用服务都返回了结果，第二批异步请求才会开始。这个过程会不断重复，直到我们完成了工作流或者工作流超时。
通过工作流的执行方式，没有线程在等待I/O。这样Blender机器上CPU都被有效利用，并能够处理更大数量的并发请求。同时，后端服务的并行请求也节省的响应时间。
参考文章：
转载请注明出处：互联网旁观者～黄言之
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。2009年实时网络五大趋势：实时搜索居首-阿里云资讯网
2009年实时网络五大趋势：实时搜索居首
发布时间：
更新时间：
来源：网络
上传者：用户
导读：美国科技博客Mashable今天撰文，列举了2009年实时网络领域的五大趋势，其中实时搜索位列榜首。　　以下为文章全文：　　网络技术和社交媒体每个月都会发生巨大的变化，因此很难对今后的重大变革做出预测，但有理由相信，“实时网络”的规模和重要性都将在2010年得以加强。尽管实时网络是2009年才刚刚兴起的，但今年的一些应用可以让我们对明年的趋势有更好的了解。　　在实时网络的发展过程中，Twitter的影响力和卓越地位自然是无可争议，但尽管如此，仍然有很多新兴服务和企业在为网民提供各种各样的实时服务。以下就是2009年五大最令人振奋的实时网络趋势：　　1、实时搜索　　搜索引擎过去几年间一直都依赖于蜘蛛机器人自动抓取网页。但实时搜索却并未采用这种技术，而是第一时间聚合用户在Twitter等服务中发布的信息。　　分析人士预计，谷歌不会过早地加入到实时网络的浪潮中。事实也的确如此，不过尽管谷歌落后于必应和其他一些搜索引擎，但最终还是推出了实时搜索。尽管功能有限，但仍然令业界感到兴奋。　　明年将涌现出各种各样的实时搜索，这些服务也都会有这样或那样的缺点。例如，谷歌尚未找到一种有效的方法来过滤垃圾信息。不过，不要奢望实时搜索彻底替代传统搜索。过去的信息仍然具有很强的相关性。　　2、第一时间聚合新闻：PubSubHubbub　　RSS推出之初，受到业界的广泛追捧。而如今，其缺点也逐渐显现：速度慢且不够灵活。RSS客户端每隔一段时间就要向服务器发出请求，以便下载最新内容。如果大量客户端频繁发送请求，即使没有内容更新也会导致服务器不堪重负。每分钟都发送一次请求的做法并不实际，因此也就无法实现实时更新。　　PubSubHubbub是一款分布式开源项目，它可以创建一个枢纽，获取多个来源的实时信息，并在第一时间将其推送给注册用户。其优点在于：能够在用户发布信息的同时将其立刻推送给用户，从而避免了延迟的发生。　　这对于博客和媒体而言都是一项非常重要的技术。　　3、实时社交：Facebook+FriendFeed　　尽管Twitter仍然是这一趋势最为突出的代表，Facebook却将其提供给了更多的用户，这一点是Twitter无法企及的。然而，Facebook的实时网络功能并非全部自主研发，其中一部分是在今年8月收购FriendFeed时获得的。就在这一并购完成后不久，Facebook就对“新闻递送”(News Feed)进行了改版，并整合了一些实时网络功能。　　Facebook刚刚更改了隐私设置，并且允许谷歌和其他搜索引擎对那些“公开”的用户主页和更新的信息进行抓取。不过，Facebook并没有完全放弃搜索，它最近还刚刚推出了一些基础的实时搜索功能。对于用户而言，Facebook不仅可以成为与好友保持联系的渠道，还可以像Twitter一样，为用户提供实时信息。　　尽管一些规模较小的企业已经在探索实时技术，但Facebook却在2009年将其带给了最多的用户。2010年，这一趋势还将持续下去。　　4、手机实时信息：Cuil和BNO News　　未来几个月内，实时网络将成为手机上常见的功能。2009年只有几款手机实时应用，但却让我们窥见到了这一服务的潜力。　　下面以两款iPhone应用为例来进行说明。一款是由两位前谷歌员工创建的搜索引擎Cuil的iPhone应用；还有一款BNO News则可以推送突发新闻。Cuil可以为用户提供搜索结果的最新更新，而且能够像卡片一样滑动浏览，后一款则可以在第一时间将重要的突发新闻推送给用户。　　限于移动网络的性能，即使是在几年前，手机实时网络也不可能实现。但是随着不限流量的智能手机数据包月套餐在2010年逐渐受到追捧，实时网络也将逐渐为手机用户接受。　　5、实时协作：谷歌波浪(Google Wave)　　谷歌波浪一经宣布，便在博客圈中引发了巨大的反响，但是随着感兴趣的用户逐渐有机会使用这款服务，其热度也开始降低。从理论上讲，这的确是一款具有开创精神且令人印象深刻的实时网络应用，但许多用户却很难将工作和日常生活与之融合起来。　　谷歌波浪可以使电子邮件变成实时信息，而且实时性非常强，以至于你可以看到对方所输入的每个单词。这种方式有着非常深远的意义，但具体是什么意义呢？目前尚不明了。谷歌波浪有可能发展成为电子邮件的实时替代品，或者有可能被更好的服务替代。由于2009年的信息还太少，因此很难做出预测。但是随着这一服务在2010年逐渐成熟，加之竞争对手的竞相模仿，我们会对此有更好的了解。(书聿)
本文内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：zixun-group@service.aliyun.com 进行举报，并提供相关证据，工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。
　网站结构是SEO的基础，要搭建利于 SEO的网站结构需要了解搜索引擎(百度)的SEO规则，这里需要讨论哪种布局对搜索引擎最友好，也可以看成搜索引擎喜欢那些布局，搜索引擎制定有哪些规则。 　　代码优化 　　① flash， asp， html各如何优化 　　全站flash 的站要针对网站头部进行进一步优 化，Flash 代码只需在代码外设置内页入口 　　asp 代码会被搜索引擎收录但是收录效...
下个星期一开始就要接手一个新的网站，整个公司就我一个人做SEO，公司网站是同城送餐网，也是我上一篇文章说到的那个公司，老板主动加我QQ，聊了1个多小时，让我过去帮忙，工资开的不低，我就想去试试。SEO就我一个，我肯定是要负责整个网站的运营了，要为提高网站的流量、排名、转化率制定个计划，下面我就说说我自己对网站的整改和计划。 　　网络营销和推广方法在上篇《送餐网站推广营销方案的设定》已经说过了...
相信很多医疗网站，都有过策划专题的经验。而且，随着现在医疗网站的发展来说，一个有吸引力的专题对于网站是非常有好处的，对于医疗网站来说，专题内容策划占到了很重要的地位。那么，医疗网站专题策划需要做哪些方面?针对我做过的专题，来与大家交流下。 　　第一，医疗网站专题策划的主题。 　　网络新闻专题适合于表现各种重大新闻题材，那么，对于医疗网站来说，会以一些重大事件或者是高搜索量词做一个专题。下面，...
　12月4日消息，以“创新、融合、发展”为主题的第二届中国地方与行业网站峰会将于-5日在杭州海外海国际会展中心举行，3000多名来自互联网各界的从业人士、站长、媒体与嘉宾参加了本次盛会，admin5站长网作为大会合作媒体参与了全程报道，以下是化龙巷总经理钱钰的演讲内容。& 　　大家好，在这里首先感谢大会的主办方阿里集团和PHPWIND给大家提供了这么好的交流和分享...
现在准备做网站大体上有两种犹豫，一种是做一个大而全的网站犹豫，另一个是选择不好细分的行业网站犹豫，不过大部分的草根站长都把目标选择在小而细的行业型的网站，具体要选择什么样的行业那就要看草根站长个人的兴趣爱好了，最好是自己对这个行业非常熟悉的，这样才能够把这个小儿细的行业网站做到专业和极致!才能够体现出网站的差异化! 　　那么什么是网站细分呢?简单的说就是对目标访问群体进行具体的定位，做好这一...
　其实做这个网站的初衷也就是一群有点小抱负的几个80后，聚集在一起每个人都小激动了一把，想把自己现在做的二手房做强做大，才决定成立合肥房产网，虽然开始只是兴趣使然，但直到现在大家目标都很明确，要做就坚持做到最大最强。当时大家也没管对手有多么强大，自己能否击败他们，或许就是这种“初生牛犊不怕虎”的大无畏的自信，才让我们一路走来。好像扯远了，言归正传，现在我就总结下我们的门户网站在运营时所积累一...
若您要投稿、删除文章请联系邮箱：zixun-group@service.aliyun.com，工作人员会在5个工作日内回复。
售前咨询热线
支持与服务
资源和社区
关注阿里云
International实时搜索服务网站的网络结构怎么样最合适？ - 知乎1被浏览225分享邀请回答暂时还没有回答，开始写第一个回答百度整合新浪微博内容的实时搜索服务上线-阿里云资讯网
百度整合新浪微博内容的实时搜索服务上线
发布时间：
更新时间：
来源：网络
上传者：用户
　　前日晚间，百度整合微博内容的实时搜索服务上线。百度在其搜索结果中实时显示与关键词相关的最新内容，这是新浪微博首次和第三方合作。
　　，用户通过百度查询新闻突发事件热门话题等相关关键词，百度将在新浪等四大微博数据中进行实时匹配资源，并在搜索结果页面显著位置呈现相关内容。在搜索结果页点击进入“最新微博结果”时，用户也可分别查看更多来自四大门户的微博数据。
　　总裁助理张东晨表示，此次与新浪微博达成合作，百度完成了对主流四大门户微博平台的内容整合。DCCI创始人胡延平认为，此次百度与新浪微博的牵手，意味着最大把握精准用户需求的搜索引擎和具影响力活跃度的微博平台的结合。
　　新浪2011年财报显示，新浪微博注册用户已经突破3亿大关，用户每日发博量超过1亿条，日活跃用户比例为9%。
前日晚间，百度整合新浪微博内容的实时搜索服务上线。摄影 张衡年
本文内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：zixun-group@service.aliyun.com 进行举报，并提供相关证据，工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。
　网站结构是SEO的基础，要搭建利于 SEO的网站结构需要了解搜索引擎(百度)的SEO规则，这里需要讨论哪种布局对搜索引擎最友好，也可以看成搜索引擎喜欢那些布局，搜索引擎制定有哪些规则。 　　代码优化 　　① flash， asp， html各如何优化 　　全站flash 的站要针对网站头部进行进一步优 化，Flash 代码只需在代码外设置内页入口 　　asp 代码会被搜索引擎收录但是收录效...
下个星期一开始就要接手一个新的网站，整个公司就我一个人做SEO，公司网站是同城送餐网，也是我上一篇文章说到的那个公司，老板主动加我QQ，聊了1个多小时，让我过去帮忙，工资开的不低，我就想去试试。SEO就我一个，我肯定是要负责整个网站的运营了，要为提高网站的流量、排名、转化率制定个计划，下面我就说说我自己对网站的整改和计划。 　　网络营销和推广方法在上篇《送餐网站推广营销方案的设定》已经说过了...
相信很多医疗网站，都有过策划专题的经验。而且，随着现在医疗网站的发展来说，一个有吸引力的专题对于网站是非常有好处的，对于医疗网站来说，专题内容策划占到了很重要的地位。那么，医疗网站专题策划需要做哪些方面?针对我做过的专题，来与大家交流下。 　　第一，医疗网站专题策划的主题。 　　网络新闻专题适合于表现各种重大新闻题材，那么，对于医疗网站来说，会以一些重大事件或者是高搜索量词做一个专题。下面，...
　12月4日消息，以“创新、融合、发展”为主题的第二届中国地方与行业网站峰会将于-5日在杭州海外海国际会展中心举行，3000多名来自互联网各界的从业人士、站长、媒体与嘉宾参加了本次盛会，admin5站长网作为大会合作媒体参与了全程报道，以下是化龙巷总经理钱钰的演讲内容。& 　　大家好，在这里首先感谢大会的主办方阿里集团和PHPWIND给大家提供了这么好的交流和分享...
现在准备做网站大体上有两种犹豫，一种是做一个大而全的网站犹豫，另一个是选择不好细分的行业网站犹豫，不过大部分的草根站长都把目标选择在小而细的行业型的网站，具体要选择什么样的行业那就要看草根站长个人的兴趣爱好了，最好是自己对这个行业非常熟悉的，这样才能够把这个小儿细的行业网站做到专业和极致!才能够体现出网站的差异化! 　　那么什么是网站细分呢?简单的说就是对目标访问群体进行具体的定位，做好这一...
　其实做这个网站的初衷也就是一群有点小抱负的几个80后，聚集在一起每个人都小激动了一把，想把自己现在做的二手房做强做大，才决定成立合肥房产网，虽然开始只是兴趣使然，但直到现在大家目标都很明确，要做就坚持做到最大最强。当时大家也没管对手有多么强大，自己能否击败他们，或许就是这种“初生牛犊不怕虎”的大无畏的自信，才让我们一路走来。好像扯远了，言归正传，现在我就总结下我们的门户网站在运营时所积累一...
若您要投稿、删除文章请联系邮箱：zixun-group@service.aliyun.com，工作人员会在5个工作日内回复。
售前咨询热线
支持与服务
资源和社区
关注阿里云
International登录以解锁更多InfoQ新功能
获取更新并接收通知
给您喜爱的内容点赞
关注您喜爱的编辑与同行
966,690 三月 独立访问用户
语言 & 开发
架构 & 设计
文化 & 方法
您目前处于：
构建实时垂直搜索网站经验分享
构建实时垂直搜索网站经验分享
0&他的粉丝
，PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。
亲爱的读者：我们最近添加了一些个人消息定制功能，您只需选择感兴趣的技术主题，即可获取重要资讯的。
去哪儿网(http://www.qunar.com/)机票搜索是目前最大的中文机票搜索网站，每天为用户提供数以百万计的实时机票搜索服务，为用户提供海量的低价机票信息。随之系统的发展，服务的增多，监控工具变得愈发重要，如何有效的做好业务监控报警，也是我们要解决的问题。在本次演讲中将与大家分享这些成长的经历和系统优化的经验。&br&&br&&b&如果您观看本视频不流畅，请移步&a target=blank href=&http://v.youku.com/v_show/id_XMzQxNDk1MDYw.html&&优酷版本&/a&（无Slides同步播放） &/b&
刘连春，去哪儿网高级系统构架师。负责去哪儿网机票系统设计、优化。专注于搭建透明、可良好运维的高并发，高可靠性系统。对于Memcached、JVM调优、AMQ消息系统、Java多线程开发等方面有丰富的实战经验。喜欢Linux、Freebsd等开源系统，曾经开发过一年的PHP、一年的C#应用，平时经常用python，shell脚本写一些小工具提高开发效率。新浪微博：
QCon全球企业开发大会（QCon Enterprise Software Development Conference）是由InfoQ网站主办的全球顶级技术盛会，每年在伦敦、北京、东京、圣保罗、旧金山等城市召开，今年是第一次在中国杭州举办。自2007年3月份在伦敦召开首次举办以来，已经有包括金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。
架构 & 设计
822 他的粉丝
134 他的粉丝
0 他的粉丝
0 他的粉丝
Performance
1 他的粉丝
0 他的粉丝
3100 他的粉丝
集群与缓存
0 他的粉丝
44 他的粉丝
0 他的粉丝
2 他的粉丝
相关厂商内容
相关赞助商
告诉我们您的想法
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
Re: 赞！！
春春很给力，摄像的没给看幻灯片的镜头
怎么感觉这哥门都在讲业务呢
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
赞助商链接
架构 & 设计
文化 & 方法
InfoQ.com及所有内容，版权所有 ©
C4Media Inc. InfoQ.com 服务器由 提供, 我们最信赖的ISP伙伴。
极客邦控股（北京）有限公司
找回密码....
InfoQ账号使用的E-mail
关注你最喜爱的话题和作者
快速浏览网站内你所感兴趣话题的精选内容。
内容自由定制
选择想要阅读的主题和喜爱的作者定制自己的新闻源。
设置通知机制以获取内容更新对您而言是否重要
注意：如果要修改您的邮箱，我们将会发送确认邮件到您原来的邮箱。
使用现有的公司名称
修改公司名称为：
公司性质：
使用现有的公司性质
修改公司性质为:
使用现有的公司规模
修改公司规模为：
使用现在的国家
使用现在的省份
Subscribe to our newsletter?
Subscribe to our industry email notices?
我们发现您在使用ad blocker。
我们理解您使用ad blocker的初衷，但为了保证InfoQ能够继续以免费方式为您服务，我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单，感谢您的理解与支持。