阿里健康的最终将落脚点放在永葆党的在于大数据 又如何落足大数据

阿里健康布局移动医疗的深度分析
2014年1月,收购中信21世纪标志着阿里从此进入医疗行业。过去的一年中,阿里健康尝试各种方法进入移动医疗,想获取一席之地,但是在处方药、医生资源和大数据方面都遇到挑战和困难,本文主要分析了阿里健康的布局历程。
【广告】值2017年新春到来之际,各广告位和PR合作低价招商中(QQ:)
两会刚过,阿里健康接连遭遇了两场舆论风波。
其一,是全国人大代表、湖南老百姓大药房连锁有限公司董事长谢子龙公开提出异议,认为“应立即停止药品电子监管码系统由企业运营”,言下之意是不能由企业独占公共资源,谢子龙所指的系统此前正是由阿里健康运营;其二,是阿里健康首席运营官张守川离职,张守川有丰富的零售管理经验,曾任职京东商城,他的离开被认为是“电商思维撬不动医疗”的信号。
对于前者,阿里健康发布“委屈”声明,表示阿里健康“一直都只是药品电子监管平台的建设者和实施者,食药监总局才是平台数据的拥有者”,并称“正在按照食药监总局的要求,逐步开放免费的数据服务”。国家食药监总局和中信21世纪在协议中有清晰界定:数据所有权人为国家(或者数据归国家食药监总局所有),用于公共服务和公共管理,阿里健康不得将数据用作商业用途。对于后者,阿里健康CEO王亚卿则用一封内部信,表达了对张守川个人选择的尊重和祝福。
与此同时,阿里健康也在频频向外传递信息:
3月1日,阿里健康APP2.0版本上线,同时阿里健康云医院平台启动。3月17日,阿里健康官网正式上线。3月24日,媒体发文《阿里健康医疗战略曝光:向18万家诊所伸出橄榄枝》,向外界传达出:阿里健康今年将全面发力吸引更多的诊所(门诊部)入驻阿里健康云平台。4月1日,阿里健康云医院平台网站正式上线。
日,在乌镇的首届世界互联网大会上,阿里巴巴董事局主马云甩出一句:“今后阿里想干的就是健康、快乐两个产业,如何让人更加健康,如何让人更加快乐?不是建更多的医院找更多的医生,更不是建更多的药厂,而是我们(投资)做对的话,30年以后应该是医生找不到工作了,医院越来越少了,药厂少了很多,这说明我们做对了。”
在老板甩出狠话之后,阿里健康的团队如何践行?在阿里健康频频向外传递的消息背后,蕴含着怎样的逻辑?而在阿里健康的布局中,又有哪些问题急需解决?
切入:阿里健康是怎么进来的
阿里健康切入医疗行业是从2014年1月收购中信21世纪开始的。
这家企业注册地在香港,因2004年被中信集团收购而得名。中信21世纪有两项资源:其一,业内第一块第三方网上药品销售资格证的试点牌照;其二,全国药品电子监管码。日,国家食药总局批准了国内首家可开展互联网药品交易B2C第三方平台试点——河北慧眼医药科技有限公司95095医药平台,这个平台隶属于中信21世纪。
这块牌照使得95095这个医药平台可以直接向个人销售药品,这是一个突破,也是当时阿里旗下的天猫医药馆的痛点。天猫医药馆是阿里旗下天猫商城的医药购物频道,由于没有牌照,只能作为药品生产企业、药品经营企业和医疗机构之间的平台服务商,为这些企业导流,却不能直接销售药品。而医药电商的格局是,大约一半的销量是由天猫医药馆导流带来的。当时医药电商主要有两种模式:官网模式和第三方平台模式。医药电商面临的最大尴尬就是,已拿到牌照的企业流量不大,流量大的第三方平台没有牌照。这块牌照的获得,可以使得阿里在与京东等平台的竞争中取得先机。阿里健康向网易科技强调,现在和将来都不会做药品自营,只会延续阿里模式,只建生态,做平台。
国家食药监总局之所以一直在放开牌照上如此谨慎,是因为对网上售药监管有难度,如果没有一套好的监管体系,会使得假药盛行,危及消费者的生命。在这一点上,药品电子监管码就显示出了至关重要的作用。
2005年起,中信21世纪就与国家食品药品监督管理总局合作,开始筹备全国药品电子监管平台的搭建,其是全国药品电子监管码的唯一服务提供商。这套监管码的建立,可以使得所有药品都可以溯源,从而保证药品在流通环节的质量。
日,95095拿到牌照的消息之后。
2014年1月,阿里巴巴联手云锋基金注资1.7亿美元拿下中信21世纪54.3%的股权,成为中信21世纪的实际控制者。
日,中信21世纪发布公告,正式改名为“阿里健康”,并更改股票简称及公司网址。
就目前来看,阿里健康又遭遇了哪些问题?
难点一:坎坷的电子处方
2014年12月初,阿里健康App正式公测,试点地选在河北省会石家庄,正是拥有95095医药平台的河北慧眼医药科技有限公司所在地。2014年6月,阿里巴巴与河北省政府签署了战略合作框架协议,要打造“云上河北”,其中一块重要的内容就是“智能药监”。
当时,阿里巴巴集团公关部总监颜乔告诉媒体,这款软件的推出就是想让用户享受到更便宜的药价。媒体则更形象地将这款APP描述为“医药行业的滴滴打车”:患者在医院看病后,把处方拍成照片发到手机上,等待药店抢单,然后挑个价钱最便宜的付款,就可以等着药店送药上门了。时任阿里健康首席运营官张守川预测,12月底阿里健康App的注册用户将超过50万。
然而,试点满月之后,有媒体记者(南方周末)专门赴石家庄实地探访,发现实际情况并不如想象中乐观。
首先,患者向医生“要处方”就是个艰难的过程。大多数医院因为“系统原因”,只有缴费后才能从药房打印处方。想要医生手写处方,“要和大夫好好商量”。
其次,阿里健康鼓励药店参与试点的方式是发放补贴,最初的补贴是“买30元返20元”。但是,在补贴政策改为“满30返10元”后,下单量就明显减少。对患者来说,在补贴减少的情况下,能否像在医院一样使用医保统筹账户非常重要。而当下,在网上购药尚无法实现医保报销。
再次,日,河北省卫生厅以规划与信息处的名义下发文件,确定了5家处方电子化试点医院,意在试验“处方社会化”。到了2015年1月,除河北省胸科医院和石家庄市妇产医院表示“即将签署合作协议”外,其余医院合作意向并不明朗。医院在等国家政策指点,国家政策在等医院“先行先试”。
网易科技就电子处方问题再次采访阿里健康战略及产品部战略及产品副总裁马立,她告诉网易科技,电子处方在北京军区总医院、河北省胸科医院和石家庄的几个医院已经实行了,在这些医院,医生开了处方之后,处方会自动出现在患者的阿里健康APP上。
她解释,北京军区总医院之所以能够实现处方的社会化,是因为其已经实现了药品零加成。此外,还有一些已经实现了药品零加成的地区,阿里健康也正在接触。
马立坦言:“阿里不是灵丹妙药,我们也只是有一些突破,在进行模式的探索。”并进一步说,“我们已经看明白了医药分家的趋势,也有意愿做这件事。但是,还是需要一个过程。”
3月25日,网易科技记者来到北京军区总医院,挂了该院耳鼻喉科的号。接诊医生开出处方之后,记者无论输入就诊卡上的号码还是输入处方上显示的ID号,都没有电子处方显示。记者就此询问医生,如何从阿里健康的APP上买到医生开的药,该医生非常茫然,他说:“你一下把我问懵了,这个我还真是不懂!”随后,记者就相同的问题询问门诊收费处的工作人员,工作人员的答复是:“从来没听说过。”
网易科技从阿里健康了解到,北京军区总医院目前的处方流转试点是在心血管相关科室,目前双方正在商讨扩大试点范围。
网易科技记者将拿到的处方拍照上传,周围两公里范围内有3家药店响应并报价。由此看来,阿里健康推进电子处方的难点在于医院和医保——医院是否愿意让处方外流、网上购药能否得到医保报销。
公开数据显示,中国处方药的市场份额大概是8000亿元,而非处方药只有2000亿元,如果能够撬动处方药市场,医药电商的市场份额将从2000亿扩大到1万亿。但是平心而论,阿里健康要撬动处方药市场着实不易。因为这是一个体系,中国以药养医的弊病由来已久,如果切断医院从药品上获得的收入,那就必须有新的收入来源补充医院的支出。在新的收入来源没有到位的情况下,医院必然无法放弃售药收入。
业内人士告诉网易科技,要解决医药的问题需要做系统的调整,阿里的做法让医疗圈很紧张,这使得阿里在很多地方受到排挤,很困难;虽然有些地方实现了药品零加成,但是药品零加成只是医院账面上的“零加成”,利益集团依然存在。
“未来就是这样的。虽然现在困难多,但这并不意味着我们大家就只有等待。”中国医药企业管理协会电子商务专家谷军对阿里健康的前景比较乐观,他说:“医药行业这两年受互联网威胁挺大。原来我们医药行业的企业一直在等待,在努力适应政策。这些互联网企业不是医药企业,肯定要打破传统的思维和观念。这个过程中,肯定要打破好多利益格局,肯定会困难重重。但是,这是一种坚持,肯定能堵得赢,就看能不能坚持到底。这种变革的趋势,是谁也阻挡不了的,因为这是生产力发展的要求。”
他认为,未来打破现有利益格局的可能途径有多种,医生多点执业之后,就不用非得向医院要处方了,平台直接抢医生就好了。
难点二:如何抢医生
抢医生,现在已然拉开帷幕。
3月10日,接受网易科技专访时,阿里健康战略及产品部战略及产品副总裁马立开宗便讲:“我们现在倡导的‘医药分家’说的是斩断医药利益链,但是从患者就医过程来说,医药本身其实分不了家的,因为患者用药需要医生的判断和指导。”她透露,阿里的思路是在药的基础上进一步切入“医”。具体来讲,是医院和医生。
医院方面,阿里健康的思路是,将中小医疗机构搬上阿里云平台,方法是为中小医疗机构建立医院信息系统,阿里健康称之为“阿里健康云医院”。
目前在中国,大型医疗机构一般都有医院信息系统,即业界所说的HIS系统(全称为Hospital&Information&System)。这个系统就是医院日常办公用的系统,可以记录病人就诊、检验、医生处方情况等,使医院办公实现信息化。HIS系统一般比较昂贵,有的大医院的系统甚至上千万,中小医疗机构一般买不起,因此很多中小医疗机构至今记录病人情况都是用纸质病历手写。
阿里健康瞄准的正是这块市场,做法是依托阿里云平台,为中小医疗机构提供免费的云his信息系统。马立告诉网易科技,基层的医院his系统不像想象中那么普及,没有系统的医院不一定都在边远地区,甚至有的在北京繁华地段的非常高端的医疗机构,也没有his系统。她透露:“现在找上门来的,甚至有广州的社区卫生服务中心。”
马立告诉网易科技,阿里健康进一步的设想是,把中小医疗机构的量做上去,量达到一定程度之后,阿里云医院平台上的医疗机构的数据可以实现互联互通,未来还可以在平台上帮患者实现转诊,进行“医医互动”。计划中,这个平台也可以为未来多点执业的医生提供平台。她透露,目前阿里云医院已经在石家庄、广东的社区开始落地,后期还会有地推团队进行大力推广。“现在找上门来的还有非常知名的三甲医院,因为我们能给他们引来高价值的病人。”马立说。
这个“量”,目前已经在大面积铺开。3月24日,媒体发文阿里健康“向18万家诊所伸出橄榄枝”。并且透露,3月23日,阿里健康与广州与珠三角地区规模最大的公立儿童妇幼医疗机构“广州市妇女儿童医疗中心”达成战略合作,该医院已经接入阿里健康的云医院平台。
3月25日,网易科技实地探访阿里云医院试点北京阳明中医门诊部。门诊部负责人李军红为网易科技演示了阿里云医院的系统,这个系统通过网页登录即可,系统中可以记录患者基本资料、检查检验情况、病历、以及医生的处置情况等。
李军红告诉网易科技,他使用系统已经两个多月,目前接诊除了极个别的情况,基本已经告别手写,他认识的好几个其他诊所的医生也开始使用这套系统了。刚开始用的时候,有一点不方便就是给患者开药,药品数据库不是很全,很多药品需要自己手动录入,而不是从系统的下拉菜单中选择。但是,现在数据库的药品越来越全了,一般的药都可以直接选择了。李军红对阿里健康的工作态度赞赏有加,他称一般有什么问题,工作人员都很及时、认真地研究解决,所以阿里健康云医院的很多功能完善得很快。
然而,阿里这一仗恐怕也不太好打。
业内人士认为,阿里健康转而瞄准中小医疗结构的市场,与之前支付宝未来医院的推进缓慢不无关系。支付宝未来医院向媒体更新过的数据截止到日,全国共有25个省市37家医院进驻。业内人士告诉网易科技,支付宝要进驻大型医院做支付有阻力,因为银联也想做这部分业务,推进起来不太容易。
中小医疗机构本身的市场份额不多。2013年,全国民营医院达到1.13万家,民营医疗机构数量已占全国医疗机构总数的43.24%,而诊疗人次数却仅占总诊疗人次数的2.7%,入院人数占比为2.5%,在每年超过1万亿元的医疗市场中,民营医院占比不足3%。
阿里健康的目标是“中小医疗机构”,当然这其中不光是民营医院。IDC中国行业研究与咨询服务部高级研究经理肖宏亮告诉网易科技,全国社区卫生中心和乡镇卫生院大约有3万多个,这个市场现在的服务模式还没有建立起来。但是社区卫生中心和乡镇卫生院,都是由地级市的卫生局直接管理,社区卫生中心没有自主权,不是自己想怎样就能怎样的。之前,东软在安徽省,万达在湖南省都采取阿里健康的方式做过,还没有有特别成功的案例。
此外,肖宏亮指出,中小医疗机构建单独云平台意义不大,它要和区域卫生中心集成、或者和三级医院合作才有意义。他认为,在这方面,阿里健康的优势并不明显。但是,多点执业之后,很多医生需要这样的系统,将来这样的体系一定要有,在这方面阿里健康倒是有一定的优势。
医生方面,阿里健康的做法主要是两方面:第一,与已经聚集了医生的平台合作,第二,与多点执业的医生开办的诊所合作。
在医生的聚集方面,已经有大量的先行者。往前有2006年创建的好大夫在线,还有2011年成立的春雨医生,此外大大小小的挂号平台也都在做同样的事情。这些平台大多面临的问题是,医生虽多,但是顶级医生不多,平台上进行的大多是头疼脑热的问诊,同时还面临着一定的法律风险。阿里健康的做法,不是直接去和这些平台抢医生,而是与这些平台合作。
目前阿里健康已经接入新浪爱问医生平台。爱问医生是新浪微博在2014年6月推出的在线医疗服务平台。据媒体报道,该平台上线3个月,认证医生就超过了1万名。
马立认为,新浪爱问医生的医生资源在众多的移动医疗平台中较为优质,因为能在微博上聚集一批粉丝需要医生本身具有相当的实力。同时她认为,很多移动医疗平台吸引不到好医生,是因为在这些平台上进行的多为浅层次的问诊,这些问诊缺乏“结构化数据的支撑”,她说:“这样的问诊,只知道此时此刻的状况,使得医生诊断的依据非常有限,如果阿里的平台上能有这些数据,就会促使医生和病人使用这个平台。”她认为,其中的核心是用户体验,给医生的工具要足够好,医生才愿意到这个平台上来,从这个意义上来说,各个平台拼的就是对这种需求的理解。
马立告诉网易科技,未来阿里健康会接入更多像新浪爱问医生一样的平台。而据知情者透露,阿里健康已与多家规模较大的平台达成合作协议,近期就会发布相关消息。
而在医生多点执业方面,大环境正在逐渐改善。今年2月27日,浙江省卫生计生委公布了《浙江省医师多点执业实施办法》,定于3月1日正式施行《浙江省医师多点执业实施办法》放宽了多点执业准入条件。
难点三:如何落足大数据
阿里健康的最终落脚点在于大数据,这也是诸多移动医疗平台最终的落脚点和价值所在。
在接受网易科技采访时,马立讲到,从患者角度来讲,阿里健康希望做的事情是提供“健康管理”,而不是“疾病管理”,不是生了病才来阿里健康的平台,而是平常就注意到生活习惯、饮食、运动等各方面。因此,阿里健康会致力于开发用户各个年龄段的健康需求。比如年轻人很少生病,但是年轻的时候可能有季节性养生的需要、有了孩子以后会想要了解母婴方面的知识等等,最终希望能够在这个平台上积淀数据。
马立称,阿里健康的模式可以在就诊前、中、后三个阶段大大提升效率和减低成本:在就诊前,通过APP上的健康管理专家系统,为“老百姓”治未病;在诊中,通过云医院平台,提高基层向大型医院和专家导诊的效率和透明度,提升医疗机构的标准化水平,促进机构间的信息打通;在诊后,通过移动端、可穿戴设备和自测仪器,实现对慢病的监测,用健康管理专家系统实时给出反馈,并在最需要医生介入的时间点自动帮助患者连到医生端。
在阿里健康的未来愿景里,中国药品电子监管码积累的大量数据,能够为药企提供准确的数据服务,为其战略决策提供支撑,并能防止窜货情况的发生。药店也能够获得更多的终端扫码数据服务,明晰每类药品的销售情况。此外,从医疗机构实现社会化供药的处方也能为药店提供实实在在的增量。医生可以在多点执业中有效地体现出他的个人价值,从现在繁冗的工作中解脱,并在最需要人工干预患者病情的时候给予帮助,获得患者和社会的高度尊重。医疗机构能够实现医疗资源的合理分配,治愈最对口的疑难病症;患者得以找到最对症的医院,通过远程诊疗省却初期就诊的麻烦,降低成本。
业内人士告诉网易科技,健康管理在过去也一直有人想做,但是在线下做成本太高,因为这需要对一个人的健康状况时刻保持关注,过去“健康管理”真正做起来的是体检机构,其他很少有成气候的。用线上的方式来做,或许有成功的可能,因为用IT系统处理数据,可以对数据进行系统的、智能化的管理,可以大大降低成本。
在大数据方面,阿里健康也已经有许多行动,与许多机构展开了合作。
日,阿里在杭州举行了主题为“大数据时代医药行业的变革与机遇”医药数据会议,并在会上发布了“阿里健康云平台—数据服务”,以及与平台相应的医药大数据战略。
根据该会议信息显示,阿里健康将提供数据资源和技术能力帮助客户和合作伙伴运营。阿里健康及其合作伙伴嘉华汇诚已与华润双鹤、嘉和家事等多家企业达成战略合作关系,通过阿里健康云平台存储、计算、数据的支撑,为企业提供市场评估与决策、销售网络优化、渠道治理与跟踪、供应链便捷管理等产品与服务。此外,阿里健康合作伙伴英克科技也通过平台接口开发出面向单体零售药店、医疗诊所的进销存系统。
日,阿里健康与白云山签订一份框架协定。约定在医药电商方面,共同探索及开发药品“线上到线下”营销模式。而在大健康产品方面,将白云山医药的现有健康产品与本公司的平台进行对接,并基于阿里健康的大健康数据共同开发特定产品。
1月22日,中信银行与阿里健康在北京签署了战略合作协议。中信银行称,双方将共同建设推广线上线下药品电子商务平台,联手开拓医疗机构、医保等领域合作,实现药品信息大数据、医疗资源和客户资源的共享。
1月27日早间,阿里健康披露与医疗卫生领域应用软件企业卫宁软件战略合作,卫宁软件是一家以医疗卫生领域应用软件的研究开发、销售和技术服务为主,并为医疗卫生行业信息化提供整体解决方案的软件企业,在医疗大数据方面早有涉足。当天,花旗银行发表研报称,阿里健康的商业模式若变得更具规模,将有潜力改变制药行业的价值链,以及分销商、零售药店或制造商的商业模式。
此外,阿里健康的团队当中,也有诸多大数据方面的人才。阿里健康CEO王亚卿曾担任全球数据库领导企业甲骨文全球副总裁。阿里健康数据运营总监原雷,有10多年的数据领域工作经历,曾为银行、证券、基金公司等金融机构规划并建设数据中心,曾任中信21世纪商业智能中心总监。阿里数据技术及产品部资深数据挖掘专家苏凌云,过去10年在美国Eli&Lilly&(礼来)和IMS&Health&(艾美仕)从事了大量医药业的对营销,医保,以及综合医疗网络的数据分析与挖掘工作。
附:已知阿里健康团队成员
网易科技记者温泉据网络资料整理
阿里健康CEO。曾就读于上海同济大学和上海交通大学,并于1995年获得美国康涅狄格大学自动化控制硕士学位,曾在全球数据库领导企业甲骨文(Oracle)服务13年,担任Oracle全球副总裁,主管数据库、中间件和云计算领域的研发工作。曾任京东CTO。
阿里健康副总裁。曾任国控健康总经理。国控健康是国药控股集团的二级子公司,前身为上海诺德健康咨询有限公司,成立于日,是一家专注于健康领域的专业性健康服务公司,是国内唯一一家能提供国际水准的慢性病疾病管理服务的专业性公司,公司管理超过100万的慢性病患者,覆盖20多个疾病领域。
阿里健康战略及产品部战略及产品副总裁。近10年麦肯锡医药行业战略咨询管理经验,6年信息系统开发管理经验,对中国医药、医疗行业的发展及医改热点问题有深入研究。
百度搜索:&查找更多相关信息!
360搜索:&查找更多相关信息!
搜狗搜索:&查找更多相关信息!
评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)
------分隔线----------------------------跨时代的分布式数据库 – 阿里云DRDS详解
发表于 18:39|
摘要:随着互联网时代的到来,计算机要管理的数据量成指数级别的飞速上涨。而我们完全无法对用户数做出准确的预估,我们的系统所需要支持的用户数很可能在短短的一个月内突然爆发式的增长几千倍,数据也很可能快速的从原来的几百GB飞速上涨到了几百个TB。如果在这爆发的关键时刻,系统不稳定或无法...
随着互联网时代的到来,计算机要管理的数据量成指数级别的飞速上涨。而我们完全无法对用户数做出准确的预估,我们的系统所需要支持的用户数很可能在短短的一个月内突然爆发式的增长几千倍,数据也很可能快速的从原来的几百GB飞速上涨到了几百个TB。如果在这爆发的关键时刻,系统不稳定或无法访问,那么对于业务将会是毁灭性的打击。
伴随着这种对于系统性能、成本以及扩展性的新需要,以Hbase、MongoDB为代表的NoSQL数据库和以阿里DRDS、VoltDB、ScaleBase为代表的分布式NewSQL数据库如雨后春笋一般的不断涌现出来。DRDS就是其中的翘楚,今天我们一起来揭开它神秘的面纱。
本篇文章来自阿里巴巴的高级专家王晶昱,他是淘宝分布式数据层(TDDL)作者,曾经参与过淘宝大部分的数据库架构升级工作,具备丰富的一线实战经验。本文将会介绍DRDS的技术理念、发展历程,技术特性介绍等内容。
DRDS的前世今生
阿里分布式数据库(DRDS)的前身是淘宝分布式数据库层(TDDL),他淘宝内部使用最为广泛的一套分布式数据库中间件。如果您看过子柳校长写过的《淘宝技术这十年》,也就一定会对里面的
&头都大了&( TDDL) 有一定印象吧。
从上世纪70年代关系数据库创立开始,其实大家在数据库上的追求就从未发生过变化:更快的存取数据,可以按需扩缩以承载更大的访问量和更大的数据量,开发容易,硬件成本低,我们可以把这叫做数据库的领域的圣杯。
为了支撑更大的访问量和数据量,我们必然的需要分布式的数据库系统,然而分布式系统又必然的会面对强一致性所带来的延迟提高的问题,因为网络通信本身比单机内通信代价高很多,这种通信的代价就会直接增加系统单次提交的延迟。延迟提高会导致锁持有时间变长,使得高冲突条件下分布式事务的性能不升反降(这个具体可以了解一下Amdahl定律),甚至性能距离单机数据库都还有明显的差距。
从上面的说明,我们可以发现,问题的关键并不是分布式事务做不出来,而是做出来了却因为性能太差而没有什么卵用。数据库领域的高手们努力了40年,但至今仍然没有人能够很好地解决这个问题,google
spanner的开发负责人就经常在他的blog上谈论延迟的问题,相信也是饱受这个问题的困扰。
面对这个难题,传统的关系数据库选择了放弃分布式的方案,因为在上个世纪70~80年代,我们的数据库主要被用来处理企业内的各类数据,面对的用户不过几千人,而数据量最多也就是TB级别。用单台机器来处理事务,用个磁盘阵列处理一下磁盘容量不够的问题,基本上就能解决一切问题了。
然而,信息化和互联网的浪潮,改变了这一切,我们突然发现,我们服务的对象发生了根本性变化,从原来的几千人,变成了现在的几亿人,数据量也从TB级别到了PB级别甚至更多。存在单点的单机系统无论如何努力,都会面对系统处理能力的天花板。原来的这条路,看起来是走不下去了,我们必须想办法换一条路来走。
然而,分布式数据库所面对的强一致性难题却像一座高山,人们努力了无数个日日夜夜,但能翻越这座山的日子看来却仍然遥遥无期。
于是,有一群人觉得,这件事看来不怎么靠谱,那彻底绕开这个问题是不是个更好的选择?
我们发现确实有那么一些场景是不需要强一致事务的,甚至连SQL都可以不要,例如日志流水的记录与分析这类场景就很明显。而去掉了事务和SQL,系统做扩展性和性能就更容易做起来,这就是NoSQL系统的起源。
虽然NoSQL解决了性能和扩展性问题,但是这种绕开问题的方法给应用带来了很多的困扰,系统的开发成本也有很大的提升。这时候就有另外一群人,他们觉得用户需要SQL,觉得用户也需要事务,问题的关键在于我们要努力的往圣杯的方向不断地前进。在保持系统的扩展性和性能的前提下,付出尽可能小的代价来满足业务对数据库的需要。
这就是NewSQL这个理念的由来。
DRDS也是一个NewSQL的系统,他与ScaleBase、VoltDB等系统类似,都希望能够找到一条又能保持系统的高扩展性和高性能,又能尽可能的保持传统数据库的ACID事务和SQL特性的分布式数据库系统。
DRDS 发展历程
在一开始,TDDL的主要功能就是做数据库切分的,一个或一组SQL请求提交到TDDL,TDDL进行规则运算后得知SQL应该被分发到哪个机器,直接将SQL转发到对应机器即可(如下图)。
开始的时候,这种简单的路由策略是能够满足用户的需要的,我们开始的那些应用就是通过这样非常简单的方式就完成了他所有的应用请求。我们也认为,这种方案简单可靠,已经足够好用了。
然而,当我们服务的应用从十几个增长到几百个的时候,大量的中小应用加入,大家纷纷表示,原来的方案限制太大,很多应用其实只是希望做个读写分离,希望能有更好的SQL兼容性。
于是,我们做了第一次重大升级,在这次升级里,我们提出了一个重要的概念就是三层架构,Matrix对应数据库切分场景,对SQL有一定限制,Group对应读写分离和高可用场景,对SQL几乎没有限制。如图所示:
这种做法立刻得到了大家的认可,TDDL所提供的读写分离、分库分表等核心功能也成为了阿里集团内数据库领域的标配组件,在阿里的几乎所有应用上都有应用。最为难得的是,这些功能从上线后,到现在已经经历了多年双11的严酷考验,从未出现过严重故障(p0,p1级别故障属于严重故障)。数据库体系作为整个应用系统的重中之重,能做到这件事真的是非常的不容易。
随着核心功能的稳定,自2010年开始,我们的全部精力就开始关注于TDDL的后端运维系统的完善与改进性工作。在DBA团队的给力配合下,围绕着TDDL,我们成功的做到了在线数据动态扩缩、异步索引等关键特征,同时也比较成功的构建了一整套的分布式数据库服务管控体系,用户可以基本上完全自助的完成整套数据库环境的搭建与初始化工作。
大概是在2012年的时候,我们在阿里云团队的支持下,开始尝试将TDDL这套体系输出到阿里云上,也有了个新的名字:阿里分布式数据库服务(DRDS),希望能够用我们的技术服务好更多的人。
不过当我们满怀自信的把自己的软件拿到云上的时候,却发现我们的软件距离用户的要求差距很大。在内部因为有DBA的同学们帮助进行SQL
review,所以SQL的复杂度都是可控的。然而,到了云上,我们看了各种渠道提过来的兼容性需求。经常是不自觉的发出这样的感叹:&啊?原来这种语法MySQL也是可以支持的?&
于是,我们又进行了架构升级,这次是以兼容性为核心目标的系统升级工作,希望能够在分布式场景下支持各类复杂的SQL,同时也将阿里这么多年来在分布式事务上的积累也都带到了DRDS里面。
这次架构升级,我们的投入史无前例,用了三年多才将整个系统落地完成。我们先在内部以我们自己的业务作为首批用户上线,经过了内部几百个应用的严酷考验以后,我们才敢拿到云上,给到我们的最终用户使用。
目前,我们正在将TDDL中更多的积累输出到云上,同时也在努力的优化我们的用户界面。PS:其实用户界面优化对我们这种专注于高性能后端技术的团队来说,才是最大的技术挑战啊,连我也去学了AngularJS参与了用户UI编写啊。
DRDS 主要功能介绍
发展历史看完了,下面就由我来介绍一下目前我们已经输出到云上的主要功能吧。
分布式SQL执行引擎
分布式SQL引擎主要的目的就是实现与单机数据库SQL引擎的完全兼容。目前我们的SQL引擎能够做到与MySQL的SQL引擎全兼容,包括各类join和各类复杂函数等。他主要包含SQL解析、优化、执行和合并四个流程,如下图绿色部分:
虽然SQL是兼容的,但是分布式SQL执行算法与单机SQL的执行算法却完全不同,原因也很简单,网络通信的延迟比单机内通信延迟的大得多。举个例子说明一下,我们要从一张纸A上抄写全部内容到另外一张纸B上,单机系统就好比两张纸都在同一个办公室里,而分布式数据库则就像是一张纸在北京,一张纸在杭州。
自然的,如果两张纸在同一个办公室,因为传输距离近,逐行抄写的效率是可以接受的。而如果距离是北京到杭州,用逐行抄写的方式就立刻显得代价太高了,如果千辛万苦的飞去杭州,却只能写下一行数据,那这么抄写明显的效率太低了~在这种情况下,还是把纸A上的信息拍个照片,把这张照片带到杭州再去抄写明显更简单一些。这就是分布式数据库特别强调吞吐调优的原因,只要是涉及到跨机的所有查询,都必须尽可能的积攒一批后一起发送,以减少系统延迟提高带来的不良影响。
按需数据库集群平滑扩缩
DRDS允许应用按需将新的单机存储加入或移出集群,DRDS则能够保证应用在迁移流程中实现不停机扩容缩容。
在内部的数据库使用实践中,这个功能的一个最重要应用场景就是双11了。在双11之前,我们会将大批的机器加入到我们的数据库集群中,抗过了双11,这批机器就会下线。
当DRDS来到云上,我们发现双11其实不仅仅只会影响阿里内部的系统。在下游的各类电商辅助性系统其实也会面对巨大压力。在双11前5天,网聚宝的熊总就找到我说,担心撑不过双11的流量,怕系统挂。于是我们就给他介绍了这个自动扩容的功能怎么用,他买了一个月的数据库,挂接在DRDS上。数据库能力立刻翻倍,轻松抗过了双11,也算是我印象比较深刻的一个案例了。
因为我们完全无法预测在什么时间点系统会有爆发性的增长,而如果在这时候系统因为技术原因不能使用,那么就会给整个业务带来毁灭性的影响,风口一旦错过,那就追悔莫及了。我想这就是云计算特别强调可扩展能力的原因吧。
小表广播也是我们在分布式数据库领域内最常用的工具之一,他的核心目的其实都是一个 & 尽可能让查询只发生在单机
让我们用一个例子来说明,小表广播的一般使用场景吧:
上面这是两张表,如果我想知道买家id等于0的用户在商城里面买了哪些商品的话,我们一般会先将这两个表join起来,然后再用 where 平台名=&商城&
and buyerID = 0
找到符合要求的数据。然而这种join的方式,会导致大量的针对左表的网络IO。如果要取出的数据量比较大,系统的延迟会有明显的上升。
这时候,为了提升性能,我们就必须要减少跨机join的网络代价。我们比较推荐应用做如下处理,将左表复制到右表的每一个库上。这样,join操作就由分布式join一下变回到本地join,系统的性能就有很大的提升了。
分布式事务套件
在阿里巴巴的业务体系中存在着非常多的需要事务类的场景,下单减库存,账务,都是事务场景最集中的部分。
而我们处理事务的方法却和传统应用处理事务的方案不大一样,我们非常强调事务的最终一致性和异步化。利用这种方式,能够极大的降低分布式系统中锁持有的时间,从而极大地提升系统的性能。
这种处理机制是我们分布式事务能够以极低成本大量运行的最核心法门。在DRDS平台内,我们将这些方案产品化为了DRDS的分布式事务解决套件。
利用他们,能够让你以比较低的成本,实现低延迟,高吞吐的分布式事务场景。
DRDS的未来
阿里分布式数据库服务DRDS上线至今,大家对这款产品的热情超出了我们的预期,短短的半年内已经有几千个申请。
尽管还在公测期,但是大家就已经把关系到身家性命的宝贵数据业务放到了DRDS上,我能够感受到这份沉甸甸的信赖,也不想辜负这份信赖。
经过阿里内部几千个应用的不断历练,DRDS已经积累出了一套强大的分布式SQL执行引擎和和一整套分布式事务套件。
我也相信,这些积累能够让用户在基本保持单机数据库的使用习惯的前提下,享受到分布式数据库高性能可扩展的好处。
在平时的DRDS支持过程中,我面对最多的问题就是,DRDS能不能够在不改变任何原有业务逻辑和代码的前提下,实现可自由伸缩和扩展呢?十分可惜的是,关系数据库发展至今,还没有找到既能保留传统数据库一切特性,又能实现高性能可扩展数据库的方法。
然而,虽不能至,吾心向往之!我们会以&可扩展,高性能&为产品核心,坚定地走在追寻圣杯的路上,并坚信最终我们一定能够找寻到他神圣的所在。
推荐阅读相关主题:
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
相关热门文章

我要回帖

更多关于 出发点和落脚点 的文章

 

随机推荐