大数据时代来临区块链技术能否创造数据新神话
作者：王婷婷
分类 : 比特网
　　在、越发被业界重视的今天，如何才能用大数据帮助实现价值？如何才能通过大数据解决帮助企业解决从基础架构迁移到云的新需求？如何为用户定制适合其行业应用的新智能平台？已经成为各大IT企业竞相探索的领域。于是，我们看到各大厂商在运用各种技术来挖掘大数据技术，而区块链技术更是一跃成为数据管理技术的香饽饽。我们看到，各大厂商正在通过各种不同的技术来挖掘大数据的价值，区块链作为一种分布式数据管理的技术，正被越来越多的企业所关注——从原来的金融行业已经逐渐繁衍到政府、医疗、零售甚至被认为4.0未来的制造行业。企业客户正在进行一场“用区块链创造更多价值”的神话。
　　逐渐拓展到更多新领域
　　所谓区块链技术，也被称为分布式账本技术，是一种技术，最早作为比特币的基础技术出现。因其去中心化，难以篡改，公开透明，集体维护等特点，可广泛应用于金融等各领域，。目前世界各地均在研究。但今天，为应对的商业挑战，推广大数据基础分析、商业环境下的技术应用，推进大数据技术在企业战略转型中的创新能力和业务能力，加强大数据新价值，区块链技术由于其本身的特色已经延伸到越来越多的领域。正如Gartner研究副总裁兼院士级分析师Ray Valdes所言：“在保险、能源、医疗、政府等许多的领域都会看到关于区块链的一些尝试，大家在使用区块链的时候，主要的观点是它可以带来一种永久的不可撤销记录，并且这是一种信任体系。”
　　确实，当前许多用户非常关注的大数据技术的几个方面：规模弹性伸缩、业务快速上线、资源灵活分配、服务性能保障、整体运营维护等，都是厂商利用云计算、大数据技术向客户传统业务向云计算转型过程中亟待解决的问题，同时也是传统基础架构中相对薄弱的环节。
　　当然，现实中分布式计算也是很多企业所应用的计算方式，而区块链能够解决更严谨的底层计算问题，“至于大数据和云计算在整个制造业和供应链管理行业的应用，我认为对于区块链而言，将会是一个万亿级别的产业，在整个的供应链管理当中，无论是属于工业产品部件，还是属于对药品、服装、食品，它们的真伪实际上是一个非常严肃的问题，我们认为在类似这些领域，区块链都可能对这个环境增加更大的信任度。”Ray Valdes的话道出了其对区块链技术的信任。
　　事实上，区块链技术在今天已经成为很多媒体热谈的话题，而在Ray Valdes看来，很多企业目前的计算模式都是“由区块链驱动的，但是很少有人直接说，比特币区块链是唯一的一种区块链技术在现实世界中的表现形式。我们在全球范围之内发现，现在与比特币区块链形成竞争性技术的区块链依然还有20多个，小到一些小的企业，比如以太坊，大的像，他们正在去做相关的一些类似于比特币但是与比特币不同的这样一些区块链技术，通过自身的这样一些区块链，他们希望做到的是去比特币，去相关的这些，使得它开来。所有的这样的一些新的科技，其中有相当一部分是为了要把虚拟货币从区块链的体系当中剥离出来，但是目前来看，这样一些尝试和努力要么是在原形阶段，要么是在研发阶段，尚没有付诸在现实世界当中。”
　　核心技术胜出
　　从竞争企业来看，“像IBM这样的企业，他们在类似的Hyperledger上的努力，是一个商业承诺。但我们需要知道的是，承诺也好，人员体系也好，这些并不是成为未来主导型的科技厂商的关键因素。实际上从许多历史经验来看，目前比较成熟的一些供应商，很难是在最终的这一轮淘汰赛当中保持到最后并且胜出的那家企业。我们可以追溯到，无论是在3W时代，还是在电商时代，那些能够形成亚马逊、天猫、、、、这样的一种企业，都不是都不是产生在互联网初期就获得成功的企业。”所以Ray Valdes认为，人们下面会进入一个叫做钱联网，或者是叫做价值互联网的阶段，在这样一个阶段，如同原来的数据互联网和内容互联网一样，最终胜出的科技，不是从成熟的企业，而往往是从一些创新项目中产生。
　　这样看来，区块链的领先性已经在业内凸显，而其最大的优势之处在于，可以同期竞争的创新技术都相对较新。“一般创新产品基于最近6个月，只有少数一部分是在最近18个月之内。而2009年比特币区块链就已经诞生，并付诸于实践。”
　　而今天，区块链技术已经越发被新客户所重视并加以利用，“举一个例子，有一个钻石行业，他用的工具叫Everledger，这样的一套记账系统，就可以记录每一颗钻石，它的正品与否以及当前的卖主是否是一个合法的持有者这样的一种信息。另外可以给您举一个案例是洪都拉斯的一个土地登记制度，在一个腐败非常严重的国家，完全有可能是某一天，有一个人持另外一个有效证件说，这房子不是你的，这房产是归属于另外一个人的。如果说我们通过采用一个分布式的记账系统，那么区块链的技术就可以帮助来去形成一种信任机制，一旦登记了这个房屋产权，除非做首选更改，否则没有办法直接更改，这是一个现实中的区块链在洪都拉斯土地登记制的实际的案例。另外一个例子，在投票选举中，或许通过区块链科技的使用，使得我们可以产生一种比相信政府这个层次，或者比这个级别更高的，对投票结果统计的一种信任体系。至少目前在美国的大选，尤其是在初选活动当中，对于纽约州、亚利桑那、还有包括加利福尼亚州三个州的统计结果，大家依然有许多的疑惑之处，所以就有一些提供电子投票技术的企业希望能够提供一个类似的一个服务，去着手建立基于区块链的投票选举的一个系统。”
　　显然，区块链今天已经成为数据时代的主要底层技术，可以预见，未来它的拥护者也会越发繁衍。
* 本文为ChinaByte比特网原创内容，版权所有，转载请注明出处和原文链接，未经授权请勿用于商业用途。
[ 责任编辑：王婷婷 ]
比特网 19:26:05
互联网+升级到智能+,开启万物智联新时代
中国互联网消费市场,发展潜力一片大好
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯，最新的软件技巧，最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中，与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊！
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧，帮助网管答疑解惑，成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一，主要关注x86服务器，RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析，让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来，为读者提供企业存储领域高质量的原创内容，及时、全面的资讯、技术、方案以及案例文章，力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设，为企业级用户打造最具商业价值的信息沟通平台，并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比，比特安全周刊运作模式更加独立，对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事，为企业级用户打造重点突出，可读性强，商业价值高的信息共享平台；同时为互联网、IT业界及通信厂商提供一条精准快捷，渗透力强，覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展，全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托，汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台，并持续提供丰富的资讯和服务，探讨信息化建设，推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来，以定向、分众、整合的商业模式，为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容，包括IT新闻、评论、专家答疑、技巧和白皮书。此外，IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊，给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍，同时用户还能参与我们推荐的互动游戏，给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。登录没有账号？
&登录超时，稍后再试
免注册 快速登录
大数据分析自带缺陷？有区块链在别怕
　　区块链技术最广为人知的概念是一种分布式记账技术，具有去中心、去信任、透明开放、不可篡改的特征，这些特征使得区块链技术不仅可以用在数字资产的交易中，同时也渐渐拓展到大数据分析的行业中。
　　大数据分析要求能够快速处理大量不同类型的数据，在搜集数据的初步阶段，需要在数据的海洋中甄别出那些真正有价值并且真实的东西。
　　目前各个区块链上的数据可被分为：数字资产产量信息，数字资产流量信息，数字资产场外交易信息等。通过在区块链上对这些数据进行挖掘，分类和分析，可以满足不同企业对安全性，市场现状和预测、预防性维护以及的判断需求。
　　传统的关系性数据库面对以上数据分析的大项目时有其天然缺陷，而区块链技术则可以解决相应的问题。
　　传统关系性数据库与区块链上数据的比对
　　? 最严重的当然是安全性，传统关系性数据库密码极其容易被破解
　　区块链上的数据现在都包含了哈希加密算法以及多重签名。同时区块链数据的存储已开始朝去中心化和分布式存储的方式发展。数据被分割成多块进行加密处理后，被分往不同的服务器，但是授权依然通过各个节点共同计算得出，使任何第三方无法获得拿到所有数据的能力。
　　? 对服务器等硬件要求很高，容易造成MDB损坏
　　区块链的数据大多都采取了云存储技术，同时这种存储技术还在不断地发展。传统的云存储，虽然解决硬件的成本，然而随着数据量的增大，数据中心租金等问题，存储成本依然会逐渐增加。区块链的云存储技术可以逐渐完成自动处理机构和非机构数据类型，无需预先搭建数据中心，根据用户情况实时通过网络自动配置，更易用的API等。
　　? 数据在巨大吞吐量的环境下容易发生丢失的情况
　　目前已经存在区块链协议可以做到使用全新的共识模型在几秒内完成极为庞大的信息之间的互相传送与交换，并且利用可伸缩的数据模型来降低运行负荷。同时区块链上的数据在由于区块链自身的特点，一个节点数据的丢失并不会影响整个数据的完整性，因为还有其他节点可用来恢复。
　　大数据分析的一般步骤为数据收集，存储数据，数据处理，信息检索，准确性评估。由上面的比对可以清晰地看出，区块链为用户解决了大数据分析中的数据质量、数据存储和管理的问题。
　　接下来我们介绍一下另外两个重要步骤的基本流程。
　　1. 数据挖掘
　　数据挖掘是一个知识发现的过程（KDD）。首先根据需求进行数据准备，再通过数据库样本选取，对这些样本数据进行完整性和一致性的检查，消除无关的冗余数据和噪声，利用统计等方法填补丢失数据，之后利用数据库投影或其他操作减少数据量，最后选择合适KDD算法选取参数并且建立模型，以达到后续自动按照模型中的规则进行数据的挑选和积累。
　　2. 预测性分析
　　预测性分析指运用各种统计技术、建模、数据挖据工具分析当前及历史数据，从而对未来做出预测性判断。预测性分析一般可分为两大类：
　　（1）根据历史经验或者通过详细准确的数学推导确定一个适合的模型，直接对全部的数据进行分析和预测；
　　（2）从全部的数据中随机抽取一些样本，用机器学习的模型对这个样本进行training和testing，期间不断调整模型的参数以期望达到一个最佳的结果，最终根据test
error确定一个最适用的预测模型。
（责任编辑：赵然 HZ002）
和讯网今天刊登了《大数据分析自带缺陷？有区块链在别怕 》一文，关于此事的更多报道，请在和讯财经客户端上阅读。
提 交还可输入500字
你可能会喜欢
热门新闻排行榜
【免责声明】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。
违法和不良信息举报电话：010- 传真：010- 邮箱：yhts@ 本站郑重声明：和讯信息科技有限公司系政府批准的证券投资咨询机构[ZX0005]。所载文章、数据仅供参考，投资有风险，选择需谨慎。> 区块链能否助力大数据安全应用
区块链能否助力大数据安全应用
& &&& & 大数据安全现在已经上升成为国家安全极为关键的组成部分。最近我们正在这方面做探索，比如与金融界合作，尝试将分布式数据库与区块链技术结合在一起，这意味着可以即时发现数据库中的数据进出状况，从而真正保障数据安全。& & 区块链应用平台的风险防范& & 从技术背景看，区块链基于分布式网络技术才得以诞生，在金融领域，区块链就是分布式账本。分布式账本总账的特点，将导致金融交易由净额交收变成逐笔交收，它可以24小时全天候运转。这使得金融服务可以离开银行的物理网点直接进入到生活场景。同时也从根本上颠覆改变了金融机构的组织结构和业务结构。因此，现在华尔街的一些金融机构已经公开宣称自己其实是一家科技公司。& & 区块链作为一种分布式数据管理技术，受到了越来越多的关注。从金融业到政府部门、医疗业、零售业乃至新兴制造业，区块链几乎成了能够创造更多价值的神器。但最近基于区块链技术全球最大众筹项目TheDao被黑客攻击，导致价值6000万美元的360多万以太币被劫持，引起业内震动和高度关注。恰恰是该事件，除了反映出区块链技术整体依然处于测试阶段，去中心化的智能合约根本无法避免技术上的操作风险，和主观上的道德风险等方面问题之外，这个事件最重要的启示还在于：对区块链技术应用平台存在的风险，需建立一套严密追踪规则，以确保大数据应用安全。& & 区块链技术应用平台的风险到底如何防范？TheDao被攻击事件反映出基于区块链技术应用平台的技术风险可能将长期存在。由于区块链所具有的不可篡改和不可逆性质，一旦遭到黑客攻击，无论是硬分叉还是软分叉的解决方案，其成本都相当高昂。因此，区块链技术在金融等场景的应用上，更需要高度关注潜在的风险，而我们拥有的分布式内存数据库技术，恰恰可以让这样的技术公司帮助制定相应的风控措施和应急预案。& & 在数字货币的发展中如何突破区块链的技术障碍？区块链是国家发行的加密数字货币的基础设施，也是其发行、流通和结算的技术实施渠道。因此必须建立严谨的发展规划和设计，尽量找到能使区块链现有特征得到充分体现并且能突破区块链发展障碍的运用案例。而减少“试错成本”，是区块链和国家发行数字货币的重要条件。在这方面，我们的分布式内存数据库恰逢其时，能够在数据安全保障方面做出贡献。& & 分布式结构所具备的技术和经济可行性表明，区块链技术发展至今已经可以通过构建分布式结构体系和参与者共事协议，形成不需要中心的、大规模的数据库系统，所有约定的参与者都参与数据的记录和验证，再通过分布式传播发送给各个节点。即使部分节点受到攻击或损害，也不会影响整个数据库的完整性和信息更新，但任意点的变更都会被各个点记录。& & 分布式联盟链与计算集群的作用& & 从区块链技术应用的可行性可以看出，分布式的概念更加贴切准确。中国大型金融机构目前已经建成超高速、大流量、中心化的信息技术系统，在区块链技术应用中，各金融机构共同组建分布式的联盟链，充分利用现有技术，可确保交易速度，实现合规控制的目的。& & 数据可能会泄露，也可能会透过某种方式渗透进入网络，可以通过排序、机器学习，通过人工干预的半监督学习、深度学习，拼凑出某种完整图景，以探索出并固定住某种经验。人类过去从没做到这一点。机器累积的这种认知能力，将大为提升人类使用知识的能力。& & 中国大陆做分布式数据库的人很少，而做内存式数据库的几乎根本就没有。上世纪90年代中期以后，中国大陆数据库行业一直为美、德等国外厂商所垄断。当时中国本土众多软件公司所追求的，可能更多的是短期效益，而不愿挣数据库这样的慢钱。再加上数据库本身技术标准严苛，对算法稳定性要求很高，实现难度较大，是一种慢工出细活的领域，中国公司如果起步晚，积累少，在当时肯定就会显得落后,所以这种支撑大数据核心发展的基础技术真的需要国家的大力支持。& & 两年前我即开始启动流数据库研究，那时国内还没有人提这项研究。因为时势都未到，但它所发生的必要条件均已具备。所以当我们做出这个数据库后，今后将要充分发挥这些必要条件。中美专家包括中国工信部专家都对流数据库在中国国内出现感到惊讶。我们柏睿数据撰写的数据库标准已被国际信息标准化委员会通过，成为国际认定的中国国家级标准，受到国内外同行的充分肯定。同时，国家也在根据这一国际标准制定国家标准，我们国家现在国际大数据标准领域已经拥有自己的发言权，美德日一统标准的时代已彻底成为了过去式。& & 下一代软件开发技术趋势可能会有很大变化。并行计算今后可能会要求很高，这其实也是我们正在做的事情之一。但对有些概念，国内存在混淆现象。比如我一直坚持说MPP内存数据库，有的人却说这是分布式数据库。其实MPP也是一种分布式，而原则上，MPP是海量并行处理，算是一种分布式，但分布式并不见得是MPP。所谓并行处理是说每个处理单元与其它单元有关联。最近两年，并行计算确实出现了一些语言或软件开发方法，这一趋势比较明显。尤其是当处理的数据量很多，则对之后的影响会很大。这方面，国内积累真的不多。& & 3年前，我曾认为，理想中一个分布式的MPP海量并行的内存数据库就已足够，我能处理的数据，比如说当时是64G内存有100个节点6个T的数据，就让我觉得很大了。但去年很多用户已开始问我，你们能不能处理256G内存的单节点数据。这个发展真是太快了。& & 下一个趋势是，单节点可能至少要处理4个T的数据，4个T1000个节点就是4000T。在做好算法，系统稳定的条件下，4个T数据可在数分钟之内处理完毕。这是一个比较漂亮的结果。就硬件而言，CPU自身速度在提高。而分布式计算集群现在越来越大。这在之前是很难预料的。& & 我们的内存数据库内部测试现在已达到256个节点，下一步可能是512个节点，这是数据库一个比较大的变化趋势。3年前我开始考虑的流数据库，去年这一想法已开始成熟，原以为可能要等候两三年才能出成果。现在看，如果每个人手中的手机云端数据直接进入我的有数百台机器组成的内存池子，进入流数据库，做一些简单查询，或进入分布数据库做非常复杂的分布查询，这些过程都无需落地，只在内存里跑。这是一个比较完整的体系。之后，是深度学习的算法，也存于内存之中，而且要与数据库紧密结合。也就是说，在只要有数据的地方，就有算法围绕着它。今后朝着这个方向才是大数据发展的必然趋势。& & 区块链大数据安全应用关涉国家战略& & 从区块链所具有的分布式功能也可以看出，通过构建分布式数据库系统和参与者共识协议，能够保护数据的完整性。而区块链的时间戳功能，可以通过生成一定时间段的信息区块以及区块之间的首尾相连数据链，形成不可伪造的数据。当每个参与者进入区块时加盖时间戳，就能够证明原创性和所有权归属，这必然有利于保护信息的私密性。因为无论谁动过你的奶酪，都会留下痕迹，动你奶酪的人必然会谨慎对待。& & 虽然区块链技术应用目前还处于实验室阶段，但人们已经迫不及待地希望区块链技术能够提供某种安全保证，以便将复杂的经济生活变得简单易行。比如便捷支付，比如在医疗保健等各种社会服务领域应用区块链技术，可以提高效率，节约成本。尽管区块链技术应用的潜在风险开始暴露，但与此同时，对区块链技术应用风险的管控也越来越受到重视。& & 从移动互联网到大数据、区块链，当今时代，技术变化的潮流势不可挡，以至于很多人一时竟难以明白和适应。但毫无疑问，区块链正在让大数据汹涌而来。区块链的可信任性、安全性和不可篡改性，正在让更多数据被释放出来。& & 我们看到，数据的“看过、复制即被拥有”等特征，曾经严重阻碍数据流通。但基于去中心化的区块链，却能够破除数据被任意复制的威胁，从而保障数据拥有者的合法权益。区块链还提供了可追溯路径，能有效破解数据确权难题。有了区块链提供安全保障，大数据将更加活跃涌动。& & 大数据时代的来临，为众多企业带来了全新的机遇和挑战。随着数据量、数据种类的增多，企业由历史数据分析渐渐过渡到基于多源、海量数据的实时分析。我们都知道商场如战场，谁能在企业运营中做出快速、高效的分析决策，谁就能日益激烈的市场竞争中立于不败之地。RDP通过提供从海量数据存储、分布式内存计算、分布式内存数据库、内存数据分析挖掘以及数据可视化的整套支持，解决了企业在大数据和快数据存储、分析、挖掘领域碰到的各种问题。作为企业级解决方案，可管理性是RDP的显著优势，用户友好的管理界面提供了系统安装、系统及集群配置、监控及预警等多方面的一站式支持。RDP架构具有高可用性和快速故障恢复能力，HDFS2作为其底层数据持久化存储系统的支撑技术保证了数据的持久化和冗余复制，并具有数据自动检测和修复的容错功能；强大、高效的内存数据库复制、持久化功能，保证内存数据安全可靠。在安全领域，与Kerberos/LDAP进行整合，支持细粒度访问控制、应用程序安全及数据加密及解密等等。& & 当今从事大数据应用者很多，也有很多从事大数据交易的企业，如果能形成合力，整个大数据生态系统能够良性循环，将是一件令人乐观的前景，也将会为中国大数据应用发展积累经验和人才。因此，政府需要在这方面积极加以引导。大数据应用不应只是一种热潮，因为当热潮散去，还会留下什么呢？如果形成生态系统，在数据库和数据处理方面，包括中间件方面，也可能存在基础软件换代升级的问题要解决，以现有技术发展趋势，而这很可能使中国出现一些大的基础软件公司，与甲骨文公司、SAP公司等国际巨头竞争。大家拭目以待！
13群：交流QQ群