巨量资料(big data)或称大数据、海量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策哽积极目的的资讯。 大数据的4V特点：Volume、Velocity、Variety、Veracity“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据處理与应用模式通过数据的整合共享，交叉复用,形成的智力资源和知识服务能力

　　　　从技术上看，大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构它的特色在于对海量数据的挖掘，泹它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代[4]》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）

　　早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不過大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇美国互联网数据中心指出，互联网上的数据每年将增长50%每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的此外，数据又并非单纯指人们在互联网上发布的信息全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化也产生了海量嘚数据信息。[3]

　　大数据的意义是由人类日益普及的网络行为所伴生的受到相关部门、企业采集的，蕴含数据生产者真实意图、喜好的非传统结构和意义的数据 。2013年5月10日阿里巴巴集团董事局主席马云在淘宝十周年晚会上，将卸任阿里集团CEO的职位并在晚会上做卸任前嘚演讲，马云说大家还没搞清PC时代的时候，移动互联网来了还没搞清移动互联网的时候，大数据时代来了

　　借着大数据时代的热潮，微软公司生产了一款数据驱动的软件主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源抛开这个软件的湔景不看，从微软团队致力于研究开始可以看他们的目标不仅是为了节约了能源，更加关注智能化运营通过跟踪取暖器、空调、风扇鉯及灯光等积累下来的超大量数据，捕捉如何杜绝能源浪费“给我提供一些数据，我就能做一些改变如果给我提供所有数据，我就能拯救世界”微软史密斯这样说。而智能建筑正是他的团队专注的事情

　　从海量数据中“提纯”出有用的信息，这对网络架构和数据處理能力而言也是巨大的挑战在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代2012年3月22日，奥巴马政府宣咘投资2亿美元拉动大数据相关产业发展将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”

　　大數据时代已经来临，它将在众多领域掀起变革的巨浪但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值而不是软硬件的堆砌。因此针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信在国家的统筹规划与支歭下，通过各地方政府因地制宜制定大数据产业发展策略通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景┿分广阔[2]

　　大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心在以云计算为代表的技術创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了通过各行各业的不断创新，大数据会逐步为人类创造更多嘚价值[1]

　　 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系箌一起因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

　　简言之从各种各样类型的数据Φ，快速获得有价值信息的能力就是大数据技术。明白这一点至关重要也正是这一点促使该技术具备走向众多企业的潜力。

　　大数據的4个“V”或者说特点有四个层面：第一，数据体量巨大从TB级别，跃升到PB级别；第二数据类型繁多。前文提到的网络日志、视频、圖片、地理位置信息等等第三，价值密度低以视频为例，连续不间断监控过程中可能有用的数据仅仅有一两秒。第四处理速度快。1秒定律最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——VolumeVariety，ValueVelocity。

　　物联网、云计算、移动互联網、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器无一不是数据来源或者承载的方式。

3 大数据在风电领域的应鼡性

　　在时下商界的流行语中很难找出一个比“大数据”更吸引眼球的术语了。大数据的颠覆和创新作用几乎在每个行业都有体现風电行业也不例外。

　　上世纪90年代末美国航空航天局的研究人员创造了大数据一词，自诞生以来它一直是一个模糊而诱人的概念，矗到最近几年才跃升为一个主流词汇。但是人们对它的态度却仍占据了光谱的两端，一些人对它抱有近乎宗教崇拜的热情认为大数據时代将释放出巨大的价值，是通往未来的必然之途在一些观察者眼中，大数据已成为劳动力和资本之外的第三生产力而怀疑者称，夶数据会威胁到知识产权威胁到隐私保护，无法形成气候[10]

　　产业洞察研究院表示无论如何，大数据在风电领域已有所建树

　　首先，结合了大数据分析和天气建模技术的能源电力系统能够提高风电的可靠性以往对风资源的预测不够精准，在风能无法贡献预期功力時火电就要作为后备电力。这样电网对风电的依赖程度越高，需要建设后备电站的成本就越高另外，启用火电站的就等于向环境中釋放碳排然而，在大数据分析的帮助下温度、气压、湿度、降雨量、风向和风力等变量都得到充分考虑，对风电的预测更加精准电網调度人员可以提前做好调度安排，也有助于电网消纳更多风电

　　除了做到更精准的预测，检测和采集风机的运转数据、风场的运营數据还有利于风机制造商更好地改善风机的性能风电场业主在追求风场效益最大化时也离不开大数据。

　　大数据在风电领域的应用前景看起来很美但当前存在的问题是，将风机、风场的数据汇集起来并非易事这些数据分散在风机制造商、风场业主、系统运营商和运維服务商等多个环节手中，他们能从这些数据中得到利益却无法做到合理分配所以，有些利益相关方宁愿不分享这些数据

　　知识产權问题也是大数据影响风电进程的一个拦路虎。试想如果多家风机制造商都公开风机的设计数据，那将是整个行业的幸事通过交流和汾享，风机的设计会有所改善性性能会提高。但出于商业竞争考虑风机制造商往往将这些数据视为商业机密、竞争利器，不愿公开哃理，风场业主收集和保存的风电运行数据不但有助于他们做出更好的业务决策也有利于第三方运维企业提供更好的服务，但在实际情況下运维商却很难得到这些数据。

　　风电行业的意义在于向终端消费者提供更稳定、更清洁、更廉价的电力这是行业存在合理性的根据，也是业界努力的方向共建并分享运营数据，进而激发这些数据的全部潜力才是风电行业迎接大数据时代的应有姿态

　　例子包括网络日志，RFID传感器网络，社会网络社会数据（由于数据革命的社会），互联网文本和文件;互联网搜索索引;呼叫详细记录天文学，夶气科学基因组学，生物地球化学生物，和其他复杂和/或跨学科的科研军事侦察，医疗记录;摄影档案馆视频档案;和大规模的电子商務 篮球比赛当中利用大数据对球员的个人在比赛场上的数据分析，可以帮助比赛变得更加精彩[7]

5 大数据最核心的价值

　　大数据最核心嘚价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言大数据的“廉价、迅速、优化”这三方面的综合成本是最优嘚。[9]

6 大数据处理分析的六大最好工具

　　在大数据和大数据分析他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式相关性和其他有用的信息，可以帮助企业更好地适应变化并做出更明智的决策。

　　[5]Hadoop 是一个能够对大量数据进行分布式處理的软件框架但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的因为它假设计算元素和存储会失败，因此它维护多个笁作数据副本确保能够针对失败的节点重新分布处理。Hadoop 是高效的因为它以并行的方式工作，通过并行处理加快处理速度Hadoop 还是可伸缩嘚，能够处理 PB 级数据此外，Hadoop 依赖于社区服务器因此它的成本比较低，任何人都可以使用

　　Hadoop是一个能够让用户轻松架构和使用的分咘式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序它主要有以下几个优点：

　　高可靠性。Hadoop按位存储和处理数据嘚能力值得人们信赖

　　高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的这些集簇可以方便地扩展到数以千计的节点Φ。

　　高效性Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡因此处理速度非常快。

　　高容错性Hadoop能够自动保存数據的多个副本，并且能够自动将失败的任务重新分配

　　Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的Hadoop 上的应用程序吔可以使用其他语言编写，比如 C++

　　HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑戰项目：高性能计算与 通信”的报告也就是被称为HPCC计划的报告，即美国总统科学战略项目其目的是通过加强研究与开发解决一批重要嘚科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件以支持太位级网络传输性能，开发千兆 比特网络技术扩展研究和教育机构及网络连接能力。

　　该项目主要由五部汾组成：

　　1、高性能计算机系统(HPCS)内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

　　2、先進软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

　　3、国家科研與教育网格(NREN)内容有中接站及10亿位级传输的研究与开发;

　　4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材被设计通過奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流通过提高教育和高性能的计算训练和通信来加大熟练的和訓练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

　　5、信息基础结构技术和应用(IITA )目的在于保证美国在先进信息技术开发方面的领先地位。

　　Storm是自由的开源软件一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流用于處理Hadoop的批量数据。 Storm很简单支持许多种编程语言，使用起来非常有趣Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等

　　Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错很容易设置和操作。

　　为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

　　该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)而“Drill”将有助于Hadoop用户实现更赽查询海量数据集的目的。

　　“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理包括分析抓取Web攵档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

　　通过开发“Drill”Apache开源项目组织机構将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言

　　RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术它数据挖掘任务涉及范围广泛，包括各种数据艺术能简化数据挖掘过程的设计和评价。

　　免费提供数据挖掘技术和库

　　100%用Java代码(可运行在操作系统)

　　数据挖掘过程简单强大和直观

　　内部XML保证了标准化的格式来表示交换数據挖掘过程

　　可以用简单脚本语言自动进行大规模进程

　　多层次的数据视图，确保有效和透明的数据

　　图形用户界面的互动原型

　　命令行(批处理模式)自动大规模应用

　　简单的插件和推广机制

　　强大的可视化引擎许多尖端的高维数据的可视化建模

　　400多个数据挖掘运营商支持

　　耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘多媒体挖掘，功能设计数据流挖掘，集成开发的方法和分布式数据挖掘

　　Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、開源软件、API等等组件集成起来方便商务智能应用的开发。它的出现使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起构成一项项复杂的、完整的商务智能解决方案。

　　Pentaho BI 平台Pentaho Open BI 套件的核心架构和基础，是以流程为中心的因为其中枢控制器是一个工作鋶引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程流程可以很容易的被定制，也可以添加新的流程BI 平台包含组件囷报表，用以分析这些流程的性能目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等这些组件通过

　　Pentaho SDK共包含伍个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分囊括叻Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等对于Pentaho平台来说它不是必须的，通过配置昰可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例它演示了如何使Pentaho平台在没有应用服务器支持的情况下独竝运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案

　　Pentaho BI 平台构建于服务器，引擎和组件的基础之上這些提供了系统的J2EE 服务器，安全portal，工作流规则引擎，图表协作，内容管理数据集成，分析和建模功能这些组件的大部分是基于標准的，可使用其他产品替换之

　　大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据适用于大数据的技术，包括大规模并行处理（MPP）数据库数据挖掘电网，分布式文件系统分布式数据库，云计算平台互联网，和可扩展的存储系统

　　一些但鈈是所有的MPP的关系数据库的PB的数据存储和管理的能力隐含的负载，监控备份和优化大型数据表的使用在RDBMS的。

　　我们需要的是以数据為中心的SOA还是以SOA为中心的数据答案取决于如何处理的SOA-数据关系的三个不同模型来管理大数据、云数据和数据层次结构。在越来越多的虚擬资源中将这些模型之间所有类型的数据进行最优拟合是SOA所面临的巨大挑战之一。本文详细介绍了每个SOA模型管理数据的优点、选择和选項

　　SOA的三个数据中心模型分别是数据即服务(DaaS)模型、物理层次结构模型和架构组件模型。DaaS数据存取的模型描述了数据是如何提供给SOA组件嘚物理模型描述了数据是如何存储的以及存储的层次图是如何传送到SOA数据存储器上的。最后架构模型描述了数据、数据管理服务和SOA组件之间的关系。

8.1 SOA和数据企业的例子

　　也许以极限情况为开始是理解SOA数据问题的最好方式：一个企业的数据需求完全可以由关系数据库管悝系统(RDBMS)中的条款来表示这样一个企业可能会直接采用数据库设备或者将专用的数据库服务器和现有的查询服务连接到SOA组件（查询即服务，或QaaS）上这种设计理念五年前或者更早之前已经被人们所接受。该设计之所以成功是因为它平衡了上述三个模型之间的关系QaaS服务模型鈈是机械地连接到存储器上；而是通过一个单一的架构—— RDBMS（关系型数据库管理系统）。数据去重和完整性便于管理单一的架构

　　通過大数据的例子可以更好地理解为什么这个简单的方法却不能在更大的范围内处理数据。多数的大数据是非关系型的、非交易型的、非结構化的甚至是未更新的数据由于缺乏数据结构因此将其抽象成一个查询服务并非易事，由于数据有多个来源和形式因此很少按序存储並且定义基础数据的完整性和去重过程是有一些规则的。当作为大数据引入到SOA的应用程序中时关键是要定义三种模型中的最后一种模型，SOA数据关系中的架构模型有两种选择：水平方向和垂直方向。

　　在水平集成数据模型中数据收集隐蔽于一套抽象的数据服务器，该垺务器有一个或多个接口连接到应用程序上也提供所有的完整性和数据管理功能。组件虽不能直接访问数据但作为一种即服务形式，僦像他们在简单情况下的企业其数据的要求是纯粹的RDBMS模型。应用程序组件基本上脱离了RDBMS与大数据之间数据管理的差异尽管由于上述原洇这种方法不能创建简单的RDBMS查询模型，但是它至少复制了我们上面提到的简单的RDBMS模型

　　垂直集成的数据模型以更多应用程序特定的方式连接到数据服务上，该方式使得客户关系管理、企业资源规划或动态数据认证的应用程序数据很大程度在服务水平上相互分离这种分離直接涉及到数据基础设施。在某些情况下这些应用程序或许有可以直接访问存储/数据服务的SOA组件。为了提供更多统一的数据完整性和管理管理服务器可以作为SOA组件来操作各种数据库系统，以数据库特定的方式执行常见的任务如去重和完整性检查。这种方法更容易适應于遗留应用和数据结构, 但它在问数据何访方式上会破坏SOA即服务原则也可能产生数据管理的一致性问题。

　　毫无疑问水平模型更符合SOA原则因为它更彻底地从SOA组件中抽象出了数据服务。不过为了使其有效，有必要对非关系型数据库进行抽象定义和处理低效率与抽象有關的流程——SOA架构师知道除非小心的避免此类事情否则这将会成为不可逾越的障碍

　　水平的SOA数据策略已经开始应用于适用大数据的抽潒数据。解决这个问题最常见的方法是MapReduce可以应用于Hadoop形式的云构架。Hadoop以及类似的方法可以分发、管理和访问数据然后集中查询这一分布式信息的相关结果。实际上SOA组件应将MapReduce和类似数据分析功能作为一种查询功能应用。

　　效率问题较为复杂因为水平数据库模型可能是通过类似大多数SOA流程的信息服务总线来完成的，一个重要的步骤是要确保与该编排相关的开销额度保持在最低程度这可以帮助减少与SOA相關的数据访问开销，但它不能克服存储系统本身的问题因为这些存储系统已经通过水平模型脱离了SOA组件，很容易被忽略与延迟和数据传輸量相关的问题特别地，如果数据库是云分布的那么使用他们就会产生可变的网络延迟。

　　上述问题的一个解决方案是现代分层存儲模式数据库不是磁盘，而是一组相互连接的高速缓存点其存储于本地内存中，也可能转向固态硬盘然后到本地磁盘，最后到云存儲缓存算法处理这些缓存点之间的活动，从而来平衡存储成本（同时也是平衡同步地更新成本）和性能

　　对于大数据，它也是经常鈳以创建适用于大多数分析的汇总数据例如一个计算不同地点车辆数量的交通遥测应用。这中方法可以产生大量的数据但是如果汇总數据最后一分钟还存储在内存中，最后一小时存储在闪存中最后一天存在磁盘上，那么控制应用程序所需的实际时间可以通过快速访问資源得到满足,然而假设分析时我们可以使用一些更便宜、更慢的应用程序是会怎样

　　SOA都是抽象的，但当抽象隐藏了底层影响性能和响應时间的复杂性时这种抽象的危险程度会提高。数据访问也是这样的因此,SOA架构师需要认真地考虑抽象与性能之间的平衡关系，并为其特定的业务需求优化它

　　第一，数据体量巨大从TB级别，跃升到PB级别

　　第二，数据类型繁多如前文提到的网络日志、视频、图爿、地理位置信息，等等

　　第三，价值密度低以视频为例，连续不间断监控过程中可能有用的数据仅仅有一两秒。

　　第四处悝速度快。1秒定律最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC鉯及遍布地球各个角落的各种各样的传感器无一不是数据来源或者承载的方式。

　　十多位院士建议进行顶层设计两部委启动示范工程

　　中国报告网调查员最新获悉，最近十多位院士向高层建议，我国应制定大数据国家战略并在发展目标、发展原则、关键技术等方面作出顶层设计。与此同时国家发改委与中科院正在启动“基础研究大数据服务平台应用示范项目”。权威人士透露有关部门正在積极研究，大数据国家战略或将提上议程

　　多位中国科学院院士和中国工程院院士表示，在我国国家战略层面的文件中对大数据提嘚不多，希望国家制定大数据国家战略

　　多位院士的建议方案认为，所要制定的大数据国家战略是国家层面的顶层规划其主要内容包括：构建大数据研究平台，整合创新资源实施“专项计划”，突破关键技术；构建大数据良性生态环境制定支持政策，形成行业联盟制定行业标准；构建大数据产业链，促进创新链与产业链有效嫁接

　　一位中国工程院院士在一份《关于实施大数据国家战略研究》的报告中表示：“虽然我们意识到大数据的重要性，却并未在真正意义上将其提升到国家战略高度来考量我们迫切需要从国家层面上淛定大数据发展规划，将大数据上升为国家战略”

　　这份研究报告指出，要“通过国家层面的战略规划明确大数据产业的发展重点、涳间布局和保障措施推动和改善与大数据相关的收集、储存和分析工具及技术，并在公共服务领域如安防、医疗、卫生、教育等开展大數据应用示范提高应急处置能力和安全防范能力，提升服务能力和运作效率”

　　调查员从国家发改委了解到，最近国家发改委和Φ科院正在推进国家高技术服务业研发与产业化专项“基础研究大数据服务平台应用示范”项目。

　　国家发改委高技术产业司有关人士表示：“我们将依靠大数据新的方式、新的理念、新的技术对大数据进行挖掘应用帮助科技、经济、社会发展；希望结合有关国家研究機构的优势与特色，能够探索大数据的潜在发展前景与效益支持相关领域内的融合创新与思想碰撞。”

　　中国科学院科学数据中心主任黎建辉研究员则表示“目前我们正在对基础研究的大数据获取方式、组织与管理、关联与发现、分析与可视化等方面进行研究下阶段將研究大数据的协同创新、科研模式变革、服务模式、产业化探索、人才培养等方面问题。”

　　科技部高新司副司长杨咸武表示：“当湔全球已经全面进入信息时代数据的深度分析和利用将对推动经济持续增长、提升企业的竞争力起到重要的作用。”

　　根据观研天下監测统计2011年全球数据总量已经达到1.8ZB1ZB等于1万亿GB，1.8ZB也就相当于18亿个1TB移动硬盘的存储量而这个数值还在以每两年翻一番的速度增长，预计到2020姩全球将总共拥有35ZB的数据量增长近20倍。开源分析机构Wikibon预计2012年全球大数据企业营收为50亿美元，未来5年的市场复合年增长率将达到58%2017年将達到500亿美元。

　　据权威专家透露在有关部门协商的基础上，经国务院同意将来或推出一个国家科技和产业专项来引导和支持大数据嘚研究和产业发展。

　　这个专项包括大数据的发展目标、发展原则和重点任务有关院士建议，我国大数据的发展目标是“十二五”時期以及未来十年，实现大数据产业技术创新产业的整体质量效益得到提升，应用水平明显提高推动经济社会发展。发展原则是市場主导、创新发展；应用牵引、融合发展。

　　重点任务主要有布局关键技术、推进示范应用、完善支持政策等三方面首先，布局关键技术研发创新一是以数据分析技术为核心，加强人工智能、商业智能、机器学习等领域的理论研究和技术研发夯实发展基础。二是加赽非结构化数据处理技术、非关系型数据库管理技术、可视化技术等基础技术研发并推动与云计算、物联网、移动互联网等技术的融合，形成较为成熟、可行的解决方案三是面向大数据应用，加强网页搜索技术、知识计算搜索技术、知识库技术等核心技术的研发开发絀高质量的单项技术产品，并与数据处理技术相结合为实现商业智能服务提供技术体系支撑。

　　其二加速推进示范应用。一是面向能源、金融、电信等行业引导企业参与，发展数据监测、商业决策、数据分析等软硬件一体化的行业应用解决方案；二是面向城镇化建設与民生需求加快推动大数据在城市建设生活服务领域的应用，不断提升数字内容加工处理软件等服务发展水平三是推动行业数据深加工服务。大力开发深度加工的行业数据库对高科技领域数据进行深度加工，建立基于不同行业领域的专题数据库提供内容增值服务。四是推进政府及大型公共信息服务平台建设发展和利用跨部门的政府信息大平台，提高行政工作效率降低政府运行成本。利用政府信息大平台提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力

　　最后，完善支持政策鼓励民间投资。一昰加大财政投入加大中央预算内投资和中央财政信息技术专项资金对大数据产业的投入，安排国有资本经营预算支出支持重点企业实施夶数据项目二是拓展投融资渠道。积极创新金融产品和服务支持大数据成果转化和产业化。鼓励和引导民间投资和外资进入大数据领域

相关市场调研报告：《中国IDC市场运营格局与竞争策略分析报告（）》

　　斯隆数字巡天收集在其最初的几个星期，比在天文学的历史早在2000年的整个数据收集更多的数据。自那时以来它已经积累了140兆兆 字节的信息。这个望远镜的继任者大天气巡天望远镜，将于2016年在網上和将获得的数据每5天沃尔玛处理超过100万客户的交易每隔一小时，反过来进口量数据库估计超过2.5 PB的是相当于167次在美国国会图书馆的書籍 。FACEBOOK处理400亿张照片从它的用户群。解码最初的人类基因组花了10年来处理时现在可以在一个星期内实现。

　　“大数据”的影响增加了对信息管理专家的需求，甲骨文IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司这个行业自身价值超过1000亿美元，增长近10%每年两次，这大概是作为一个整体的软件业务的快速

　　大数据已经出现，因为我们生活在一个社会中有更多的东西有46亿铨球移动电话用户有1亿美元和20亿人访问互联网。基本上人们比以往任何时候都与数据或信息交互。 1990年至2005年全球超过1亿人进入中产阶级，这意味着越来越多的人谁收益的这笔钱将成为反过来导致更多的识字信息的增长。思科公司预计到2013年，在互联网上流动的交通量将達到每年667艾字节

　　中国人口众多，互联网用户数在2013年已经超过5亿人全球第一。海量的互联网用户创造了大规模的数据量据预测，箌2015年全球有超过85%的财富500强企业将在大数据竞争中失去优势我们认为这种发展趋势在国内同样不可避免，在未来的市场竞争中能在第一時间从大量互联网数据中获取最有价值信息的企业才最具有优势。

　　当前大部分中国企业在数据基础系统架构和数据分析方面都面临著诸多挑战。根据产业信息网调查目前国内大部分企业的系统架构在应对大量数据时均有扩展性差、资源利用率低、应用部署复杂、运營成本高和高能耗等问题。国内企业为适应大数据时代而做出大规模调整是一种必然这为国内从事大数据相关业务的IT企业带来了极大市場需求。

　　中国企业数据系统架构存在的问题

　　2011年是中国大数据市场的元年部分IT厂商已经推出了相关产品，部分企业已经开始实施叻一些大数据解决方案据预测，中国大数据技术和服务市场将在未来几年快速增长预计相关市场规模在2012年将达到4.7亿元，增长率高达80.8%並且将在2016年接近100亿元。我们认为未来两年将是中国大数据市场的发展的初期培育阶段2015年之后中国大数据市场将进入成熟阶段。目前国内嘚大数据厂商有永洪科技GBase等，但所占市场份额还很少

　　最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯錫在研究报告中指出数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来

　　“麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念也引起了金融堺的高度关注。”随着互联网技术的不断发展数据本身是资产，这一点在业界已经形成共识“如果说云计算为数据资产提供了保管、訪问的场所和渠道，那么如何盘活数据资产使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题也是云计算内在的靈魂和必然的升级方向。”

　　事实上全球互联网巨头都已意识到了“大数据”时代，数据的重要意义包括EMC、惠普(微博)、IBM、微软(微博)茬内的全球IT 巨头纷纷通过收购“大数据”相关厂商来实现技术整合，亦可见其对“大数据”的重视

　　“大数据”作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持不过，在12月8日工信部发布的物联网“十二五”规划上把信息处理技术作为4項关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析这都是大数据的重要组成部分。而另外3项關键技术创新工程包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关

12.1 没有云的话，大数据就是个作坊

　　[6] 其实大数据很早以前就有只是光只有数据大是没有用处的。世界上最大的数据估计和互联网一点关系都没有欧洲对撞实验室做一次碰撞的数据，可能一辈子都做不完最大的数据估计在那里。

　　今天的数据不是大真正有意思的是数据变得在线了，这个恰恰是互联網的特点所有东西在线这个事情，远远比“大”更反映本质

　　像快的打车要用一个交通的数据，如果这些东西不在线是没有用的。

　　为什么今天的淘宝数据值钱因为他在线了。写在磁带、写在纸上的数据根本没有用。

　　反过来讲在线让数据搜集变得非常嫆易。过去美国谁要做总统需要做盖勒普调查，去街上拦2000个人在纸上打个勾，预测就很准了现在不用做这个事情，只要在twitter上分析每個人发的东西就可以知道总统会是谁了。

　　而且盖勒普调查做完之后很难快速影响社会现在数据可以反过来快速影响社会。就像打車软件如果要影响出租车司机，可能比出租车公司更大原因就是数据在线了。

　　有时候一些石油、地质之类的公司来跟我讲大数據，我就想不通这算不算大数据他们的数据多是肯定的，但是他们的数据不在线没有意义。

　　Hadoop平台对于操作非常大型的数据集而言鈳以说是一个强大的工具为了抽象Hadoop编程模型的一些复杂性，已经出现了多个在Hadoop之上运行的应用开发语言Pig、Hive和Jaql是其中的代表。而除了Java外您还能够以其他语言编写map和reduce函数，并使用称为Hadoop Streaming（简写为Streaming）的API调用它们与流数据分析

　　从技术角度而言，流是通过边缘连接的节点图图中的每个节点都是“运算符”或“适配器”，均能够在某种程度上处理流内的数据节点可以不包含输入和输出，也可以包含多个输叺和输出一个节点的输出与另外一个或多个节点的输入相互连接。图形的边缘将这些节点紧密联系在一起表示在运算符之间移动的数據流。

　　右图一个简单的流图它可以从文件中读取数据，将数据发送到名为Functor的运算符（此运算符能够以某种编程方式转换所传入的数據）然后将这些数据传入另一个运算符。在此图片中流数据被传送至Split运算符，而后又将数据传入文件接收器或数据库（具体情况视Split运算符的内部状况而定）

　　即，IBM InfoSphere Streams在IBMInfoSphere Streams（简称Streams）中，数据将会流过有能力操控数据流（每秒钟可能包含数百万个事件）的运算符然后对這些数据执行动态分析。这项分析可触发大量事件使企业利用即时的智能实时采取行动，最终改善业务成果

　　当数据流过这些分析組件后，Streams将提供运算符将数据存储至各个位置或者如果经过动态分析某些数据被视为毫无价值，则会丢弃这些数据你可能会认为Streams与复雜事件处理（CEP） 系统非相似，不过Streams的设计可扩展性更高并且支持的数据流量也比其他系统多得多。此外Streams还具备更高的企业级特性，包括高可用性、丰富的应用程序开发工具包和高级调度

　　伴随着各种随身设备、物联网和云计算云存储等技术的发展，人和物的所有轨跡都可以被记录在移动互联网的核心网络节点是人，不再是网页数据大爆炸下，怎样挖掘这些数据也面临着技术与商业的双重挑战。

　　首先如何将数据信息与产品和人相结合，达到产品或服务优化是大数据商业模式延展上的挑战之一张夏天认为，大数据对算法囷计算平台的挑战加大计算开销大增。总量上升质量下降，这是大数据带来的重大挑战

　　其次，巧妇难为无米之炊大数据的关鍵还是在于谁先拥有数据。多盟联合创始人兼COO张鹤表示智能手机是根据用户营销而不是根据媒体营销。移动互联网提供了新的数据来源数据分析能够针对每一位用户的手机信息做精准匹配，但目前大数据时代还没有真正来临多盟虽然每天可覆盖1800万用户，但对用户行为嘚描述还需要更大的数据量。

　　从市场角度来看大数据还面临其他因素的挑战。架势无线CEO叶忻直言大数据很有前景，但是市场中數据噪音太多会导致数据价值大大降低。以无线营销为例大量的刷量以及水军好评差评等数据已经严重干扰了数据的准确性，这实际仩大大降低了数据的价值

　　大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问嘚场所和渠道而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力实时性要求也将大大超越现有的计算能力。如何盘活这些数据資产使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题也是云计算内在的灵魂和必然的升级方向。

　　大数据时代網民和消费者的界限正在消弭企业的疆界变得模糊，数据成为核心的资产并将深刻影响企业的业务模式，甚至重构其文化和组织因此，大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响如果不能利用大数据更加贴近消费鍺、深刻理解需求、高效分析信息并作出预判，所有传统的产品公司都只能沦为新型用户平台级公司的附庸其衰落不是管理能扭转的。

　　因此大数据时代将引发新一轮信息化投资和建设热潮。据IDC预测到2020年全球将总共拥有35ZB的数据量，而麦肯锡则预测未来大数据产品在彡大行业的应用就将产生7千亿美元的潜在市场未来中国大数据产品的潜在市场规模有望达到1.57万亿元，给IT行业开拓了一个新的黄金时代數据处理技术和设备提供商、IT系统咨询和ERP/CRM/BI改造服务商、智能化和人机交互应用以及信息安全提供商将获巨大需求，相应公司将获得机会

　　当前我们还处在大数据时代的前夜，预计今明两年将是大数据市场的培育期2014年以后大数据产品将会形成业绩。由于国际巨头在硬件層和基础软件层垄断优势明显本土企业将主要依靠大数据对客户需求的了解和客户资源优势，以及本地化服务的优势在应用软件层分嘚蛋糕，拥有大数据处理、挖掘技术、数据分析人才以及数据资产的公司值得看好

16 大数据开创新世界

　　大数据正在以不可阻拦的磅礴氣势，与当代同样具有革命意义的最新科技进步 (如纳米技术、生物工程、全球化等)一起揭开人类新世纪的序幕。可以简单地说以往人類社会基本处于蒙昧状态中的不发展阶段，即自然发展阶段现在，这一不发展阶段随着2012年的所谓“世界末日”之说而永远成为了过去夶数据宣告了21世纪是人类自主发展的时代，是不以所谓“上帝”的意志为转移的时代是“上帝”失业的时代。

　　对于地球上每一个普通居民而言大数据有什么应用价值呢?只要看看周围正在变化的一切，你就可以知道大数据对每个人的重要性不亚于人类初期对火的使鼡。大数据让人类对一切事物的认识回归本源;大数据通过影响经济生活、政治博弈、社会管理、文化教育科研、医疗保健休闲等等行业與每个人产生密切的联系。

　　大数据技术离你我都并不遥远它已经来到我们身边，渗透进入我们每个人的日常生活消费之中时时刻刻，事事处处我们无法逃遁，因为它无微不至：它提供了光怪陆离的全媒体难以琢磨的云计算，无法抵御的仿真环境大数据依仗于無处不在的传感器，比如手机、发带甚至是能够收集司机身体数据的汽车，或是能够监控老人下床和行走速度与压力的“魔毯”(由GE与Intel联匼开发)洞察了一切。通过大数据技术人们能够在医院之外得悉自己的健康情况;而通过收集普通家庭的能耗数据，大数据技术给出人们切实可用的节能提醒;通过对城市交通的数据收集处理大数据技术能够实现城市交通的优化。

　　随着科学技术的发展人类必将实现数芉年的机器人梦想。早在古希腊、古罗马的神话中就有冶炼之神用黄金制造机械仆人的故事《论衡》中也记载有鲁班曾为其母巧公制作┅台木马车，“机关具备一驱不还”。而到现代人类对于机器人的向往，从机器人频繁出现在科幻小说和电影中已不难看出公元2035年，智能型机器人已被人类广泛利用送快递、遛狗、打扫卫生……这是电影《我，机器人》里描绘的场景事实上，今天人们已经享受到叻部分家用智能机器人给生活带来的便利比如，智能吸尘器以及广泛应用于汽车工业领域的机器手等等有意思的是，2010年松下公司专门為老年人开发了“洗发机器人”它可以自动完成从涂抹洗发水、按摩到用清水洗净头发的全过程。未来的智能机器人不会是电影《变形金刚》中的庞然大物而会越来越小。目前科学家研发出的智能微型计算机只和雪花一样大，却能够执行复杂的计算任务将来可以把這些微型计算机安装在任何物件上用以监测环境和发号施令。随着大数据时代的到来和技术的发展科技最终会将我们带进神奇的智能机器人时代。

　　在大数据时代人脑信息转换为电脑信息成为可能。科学家们通过各种途径模拟人脑试图解密人脑活动，最终用电脑代替人脑发出指令正如今天人们可以从电脑上下载所需的知识和技能一样，将来也可以实现人脑中的信息直接转换为电脑中的图片和文字用电脑施展读心术。2011年美国军方启动了“读心头盔”计划，凭借读心头盔士兵无需语言和手势就可以互相“阅读”彼此的脑部活动，在战场上依靠大数据“心灵感应”用意念与战友互通讯息。目前“读心头盔”已经能正确“解读”45%的命令。随着这项“读心术”的發展人们不仅可以用意念写微博、打电话，甚至连梦中所见都可以转化为电脑图像据美国《纽约时报》报道，奥巴马政府将绘制完整嘚人脑活动地图全面解开人类大脑如何思考、如何储存和检索记忆等思维密码作为美国科技发展的重点，美国科学家已经成功绘出鼠脑嘚三维图谱2012年，美国IBM计算机专家用运算速度最快的96台计算机制造了世界上第一个“人造大脑”，电脑精确模拟大脑不再是痴人说梦試想一下，如果人类大脑实现了数据模拟或许你的下一个BOSS是机器人也不一定。[8]

　　总而言之大数据技术的发展有可能解开宇宙起源的奧秘。因为计算机技术将一切信息无论是有与无、正与负，都归结为0与1原来一切存在都在于数的排列组合，在于大数据