提升需求预测准确率的十大利器
我的图书馆
提升需求预测准确率的十大利器
　　需求预测的准确率（FA-Forecast Accuracy）直接影响着公司的固定资本，库存周转率，库存供应总天数，准时交付率，物流成本等重要财务指标。尽管这一概念已经深入人心，但是如何能够提升需求预测准确率则是很多公司所困惑的，因为它确实从来都不容易。这项本来就带有神秘感的工作的目的就是要在纷繁复杂的历史数据中找出发展规律，同时还要考虑到现实环境中纷至沓来几乎难以想象的各种宏观和微观影响因素，最后制定出最符合市场实际而又能被所有人接受的未来需求预测计划。这不仅需要强大的数据分析和处理能力，更是一个公司各部门相互挑战，协调，影响，说服，平衡，配合，妥协和协作的一个流程。　　下面则是从数据分析，流程优化，借助工具等角度阐述如何提升需求预测准确率的十大方法，相信借助这些方法需求预测准确率会有显著的提升并最终影响着公司的top-line销售额和bottom-line利润率。　　1. 历史销售数据的清洗　　2. 在数据聚集的高层次上做预测然后分解　　3. 使用终端销售数据做预测　　4. 正确使用自上而下，自下而上和中间开花的预测方式　　5. 发现并剥离有特殊需求模式的SKU　　6. 正确使用最适合的预测模型　　7. 建立完善的需求预测管理流程　　8. 正确理解需求预测冲突的成因建立激励性而非惩罚性的考核机制　　9. 专业需求预测职能的配备　　10. 争取高层支持　　1. 历史销售数据的清洗　　需求预测的本质之一便是对历史销售数据分析从而判断出趋势，季节性等规律，并认为历史将会重演（history repeats）。因而高质量的历史销售数据则成为确保高预测准确率的基础之一。而在实务中，各种各样的客观原因如销售促销，竞争活动，天灾人祸，新产品的推出，国家政策的突然变化等都会给销售数据带来巨大的影响，并且这些客观因素将来可能是不会再重复或者重复的时间地点和方式不同，从而销售历史数据的清洗（data cleansing）成为需求预测工作的一个必要条件。下面的一些问题的回答则可以为data cleaning指引出清晰的方向：　　数据是否有缺失现象？数据的连贯性是有效预测的基础之一，不连贯的数据往往会导致预测模型不能发挥出最大的功效。　　数据是否能保持统一？例如当进行发货预测（shipment forecasting）时，能否保证所使用的数据都是发货数据而不是客户需求的数据。　　数据是否有异常值（outliers）?异常值就是由于不寻常的事件所造成的异常高值和低值，如5.12地震导致速食产品作为赈灾物资在特定区域销量激增，而相似地震在同一地点同一时间再次发生的可能性非常低，该销售增量就可以被视为一个异常值。而双11的促销活动在联系几年的常态化和固定化后，其所带来的销售增值则就不是异常值。　　数据是否有结构性的变化？数据结构性的变化的两大特点是突然性和永久性。例如竞争对手由于某种突然撤出中国市场，其所留下的市场份额真空被自己填补，由此所带来的销售增长就是结构性的变化。　　数据是否有季节性（seasonality）？季节性意味着销售数据的变化呈现出固定性和周期性。如圣诞节前夕的种种促销活动导致销售数额的大幅上升；春节前的销售高峰也是典型季节性的表现，只不过农历春节未必每年都在同一公历月份从而增加了预测难度　　数据是否产品生命周期有联系？产品处在生命周期不同阶段（引入，增长，成熟，下降，退市）中其销售数据是截然不同的。　　在回答完以上问题后则就可以开始对数据进行清洗，如使用平均法对遗失数据的填补；确定异常值和找到其成因，并判断是否要人为的进行删减和增加；对有结构性变化数据的人工修正等等。　　2. 在数据聚集的高层次上做预测然后分解　　需求预测的另一个原则就是所谓的“大数原则（law of large number ）”即在数据聚集的高层次上去做预测的准确率要比在数据的最底层上所做的准确率要高。例如，比较容易预测出明年中国的GDP的增幅是多少，即使不准确误差也不会很大，然而假如要预测具体某一个行业在某一个特定的区域增长或者减少的额度是多少偏差就可能很大，更不要说多个行业和多个区域的任意组合。以一家快消品公司为例，其销售数据可以整体汇集到公司层面，然后再可以分解到种类，品牌，包装尺寸，SKU，事业部，销售区域，客户，总仓，分仓等。根据“大数原则”，在公司层面的销售预测的整体准确率相对要高，然后再可以分解到所需要的层级中去以达到最好准确率，这也就是所说的“top down”分解法。在分解的时候可以采取同比，环比，自定义等比例进行分配，但如果没有很好工具支持的话，分解的过程还是相当痛苦的。　　3. 使用终端销售数据做预测　　需求管理实务中，不同的公司使用不同类型的数据如发货数据（shipment），客户订单数据(customer orders)，和终端销售数据（POS-Point of Sale）来做预测。而在这些数据中，用终端销售数据来做需求预测的准确率最高因为它代表出消费者的实际需求，并且能够真实的反映的市场的波动和变化。由于终端消费者的消费行为有着“频次高，连贯强，总量大”的特点使终端销售数据更加稳定和连贯，这是高预测准确率的基础之一。然而发货数据则由于库存短缺，订单积压，物流能力的限制等因素则不能真实等同于客户的需求。在“牛鞭效应”中，零售商订单的变动性明显大于终端消费者需求的变动性，为了满足于零售商同样的服务水平，经销商和代理商不得不被迫持有比零售商更多的安全库存，需求信息的不真实性会沿着供应链逆流而上，产生逐级放大的现象。当信息达到源头的供应商时，其所获得的需求信息和终端消费者的需求信息已经发生了很大的偏差，所以来自客户订单的数据也不能代表真实的市场需求。在一个案例中，终端消费持续低迷，零售商决定减少订单量，供应商的发货数量随之开始减少，但终端消费者的需求还可能在相当一段时间内继续保持低迷不变。同理在新产品上市的前期，零售商往往持有大量的库存以保持货源充足，但终端消费者的实际需求达不到预期时，他们的订单量则开始减少，而源头供应商的发货数量则也随之减少。　　然而在中国的需求管理现实中，一些规模较大管理水平高的终端零售商如超市连锁集团愿意将其终端销售数据有偿分享给供应商，以让其对终端销售状况有清楚的把握。然而在幅员辽阔的中国，此类的终端零售商只能覆盖市场的一部分并且主要集中在大中型城市中，很多区域特别是三四线城市的销售则是由不同层级的经销商网络来覆盖。在通过经销商渠道的销售中，经销商往往由于税务隐私，同业竞争，利润机密，争取更好的销售政策等因素而不将自己的库存和销售数据（sell-though）开放给上游供应商；而经销商的终端客户往往由于管理意识和数据搜集能力的参差不齐更是难以将自己终端销售数据有效利用。国内曾经有一个知名日用品企业为自己的需求预测准确率试图对自己的核心经销商的进销存进行管控并找了四个经销商来试点，结果两个经销商明确拒绝，一个经销商虽然同意但实际提供的数据却有很大的虚假成分，该企业最后不得不继续使用自己的出货数据（sell-in）来预测，预测效果就可想而知。虽然使用终端销售数据目前还有很大的障碍，但是这个方向还是要坚持的。在发达国家如澳大利亚由于超过99%终端销售数据都能够采集到并且能和供应商分享，所以一些公司的需求预测准确率超过90%（1-MAPE）也是常见的。　　4. 正确选择自上而下，自下而上和中间开花的预测方式　　几种常见的需求预测方式如自上而下（top-down），自下而上（bottom-up），和中间开花（middle-out）在使用中往往出现混淆的情况，即不知道那种方式在哪种情况下能发挥最大的效用。在自上而下方式中，首先在产品，市场，区域，年/季/月等因素的最高层次做需求预测，然后根据同比，环比，自定义比例等分解原则进行往下分解到种类，品牌，SKU，周/天，顾客，DC等。在自下而上方式中，往往先从SKU层级的需求预测开始做起再逐步往上汇集。而在快消品行业中目前比较流行的方式则是中间开花，即在中间层级如产品种类（category）开始做预测，上可以汇集到品牌，大类，总公司层面，下可以分解到SKU层面，这样既可以利用的高层次预测的准确性，同时又不至于在最底层SKU层面做预测耗费大量的时间和精力。自上而下的优势在于在高层次所做的预测准确率较高，适合用在销售趋势在高层和底层都很平稳的产品中，缺陷在于对于有特殊销售模式的产品如新品，销售数据断断续续的产品等则就有可能无法覆盖。对于高度定制化，生命周期短，销售相互抵消，每个SKU的销售趋势都不一样的产品，自下而上的方式则能发挥最大的效用。一些公司也在使用自上而下和自下而上的混合方式来更好的确保高预测准确率。　　5. 发现并剥离有特殊需求模式的SKU　　不同的SKU即使是属于同一种类，其销售数据也会呈现出不同的模式。在将这些SKU的需求预测汇集到种类层面时则会导致种类预测的趋势季度不稳定，所以在预测时要将有特殊需求模式的SKU暂时从该种类中剥离掉并单独做预测。例如一个医药公司，在做整体需求预测时发现自己的预测数据极端不稳定，很难找到规律可循。在将其数据分析后发现该公司将自己所有的大类产品如政府招投标类产品，经销商渠道销售产品，处方类和非处方类产品完全混在一起。政府招投标类产品的销售额占到总销售额的近三分之一，而其销售的时间和数量几乎没有任何规律可言；但是其通过经销商渠道销售产品则销售态势稳定，有明显的规律和季节性，将这两类产品放在一起预测的结果肯定是有问题的。而当同一种类中的不同SKU的销售有“相互蚕食（cannibalization）”的现象时，将他们进行剥离并分别作预测也是有必要的。　　6. 建立完善的需求预测管理流程　　数学模型的选择对需求预测非常重要，但要明白需求预测管理不是有具体哪一个部门来完全负责，它是一个有计划，销售，市场，供应链，管理层等全部门参与的一项工作，因为各部门都是本领域的专家，在需求预测管理的过程中能够提供独特的，专业的和不可或缺的信息和专业知识，这就要求要有一个完善的需求预测管理流程来支持各个职能各司其责。在一个有效的需求预测管理流程建立起来之前，一系列的准备工作要开始做起来，如需求预测的周期和频次，预测的产品/销售组织层级，需求预测提前期，需求预测的数据来源，需求预测的职能的设置，需求预测所使用的工具如软件，模板等，需求预测的方式-自上而下，自下而上或者中间开花，以及企业中哪些部门要参与到需求预测流程中来和他们的角色，职责，考核指标。例如，在快消品企业中需求预测部门一般负责数据的搜集，清洗和整合，并对销售预测的baseline，在此基础上销售部门要考虑短期（3个月之内）由于销售活动如新客户的开发，现有客户重大的销售行动，竞争对手的主要行为，打折促销等销售活动所带来的销售增减，而市场部门则通过对消费者行为，产品生命周期，品牌形象，宏观经济政策等研究来对长期的销售预测提供自己的专业判断，而财务部门则从投资回报率等角度对销售预测进行支持；而在工业品企业中，产品经理则是需求预测流程的一个重要参与方。在以上流程明确以后各个职能才能真正的协同起来做出最为精准的需求预测。　　7. 正确使用最适合的预测模型　　在需求预测中，预测模型的选择是至关重要的，模型会根据历史销售数据的各种特征模拟出未来的走势，这是需求预测工作的中技术性的一个重要体现，因为涉及到统计学的一些专业知识，模型也是比较具有神秘感的同时也是最容易被误解的部分。实务中总是看到一些公司在苦苦追寻所谓最精确的预测模型，仿佛这些模型一旦用上自己的预测就立刻能够100%准确一样，成了改善需求管理的一个必胜绝技。而模型选择的一个重要原则就是没有奇迹模型，即预测模型在预测中仅仅起到辅助作用，没有任何一个模型能够做到完全正确，最好的预测模型其实就是能够抓取历史数据中大部分的规则和模式，抓取的越多，预测错误就会越少，预测效果越好。而历史数据的不规则性越强，甚至出现缺失和噪音，则预测模型所起到的作用就越为局限。同时在模型的选择中，不要抱有“一招鲜吃遍天”的错误思想，某些模型当前的预测结果还不错，但一旦上个月的销售出现异常，这些模型有可能就会失灵，所以定期对现有的模型进行重新测试还是非常有必要的。而复杂模型的预测效果一定好于简单模型，组合模型的预测效果一定好于单一模型等说法其实也未必正确，在模型选择中只有最适合的没有最复杂的。　　8．正确理解需求预测冲突的成因建立激励性而非惩罚性的考核机制　　评估需求预测的两个重要指标分别为需求预测准确性（1-MAPE）和偏差率（BIAS），前者用于评估误差幅度，后者用于确定系统误差。他们不仅用于在SKU层次衡量，还要在其他层次上如品牌，品类，事业部，总公司等层面来衡量。因为需求预测工作并不是由单一部门独立完成，它需要各个部门如销售，市场等职能强力的参与和配合，没有这些部门的话，需求预测则成了无水之源。然而需求预测对于以上部门来说只能是职责之一，并不完全是其主业，所以从各部门协同的角度来讲，需求预测的考核机制应以激励性而非惩罚性为主，否则将打消各部门参加的积极性。某一知名快消类企业在建立需求预测考核机制的时候，采取了建立大区预测准确性排名机制，在内部树立正面典型并进行经验分享，还给予精神和物资奖励来实施正面激励。同时要清楚需求预测的偏差本身并不可怕，关键它要在可以接受的范围之内，而且要能找出形成偏差的根本原因以找到下次改进的办法，这就是为什么需求预测的表面数字并不是最重要的，最重要的则是这些数字之后的assumption，只有理解这些假设条件对预测的影响之后，才能真正掌握预测的精髓。　　9. 专业需求预测职能的配备　　需求预测是一个专业的职能，而且是各种技能的综合体。他们/她们需要有总经理把控全局的战略观，市场人员敏锐的洞察力，销售人员过人的沟通能力，供应链人员谨慎全面的运营意识，以及财务人员细致入微的分析能力。从文科和理科划分角度来说，这个职务其实是个文理科的结合。需求预测人员不仅要搜集数据更要对数据进行分析和决策，从一个单向信息接收转变为双向的信息互动和控制者，他们既是数据的负责人，又要对产品的非常熟悉，同时又是需求管理流程的总协调人，这就要求此职能在企业中的地位不仅仅局限在支持和后勤的意义，而是要在需求预测的流程中扮演协调者和决策者的角色，这就要求对于他们的培养和招聘以及薪酬待遇等都要不同于普通的岗位。在实务中，越来越多的企业高度重视计划职能，将该职能放在一个相对中立的部门如供应链，甚至把该职能完全独立出来直接向总经理汇报使之完全成为一个指挥中枢。而反观一些企业，根本就没有负责此业务的职能岗位，或者只是由客服，销售支持等人员兼职的在应付此事，并且在企业中的地位低的也惨不忍睹，有的甚至向物流或者客服部门汇报，最终只是沦为数据的搜集者和搬运工。　　10. 争取高层支持　　争取高层支持好似一个老生常谈的话题，如同“正确的废话”。高层一旦支持很多问题都会迎刃而解，但如何获取高层的支持则就成了一个比较有挑战性的任务。没有一个公司的董事会会对管理高层进行需求预测准确性进行考核，既然他们不肩负这个指标，争取到他们的支持是否就听天由命了。如何争取到高层的支持则就要将FA和他们关心的指标如公司固定资本，供应链运营消耗成本，以及运营资本管理的有效性，以及最终的top-line销售额和bottom-line利润率等联系起来，尤其是需求预测准确性对这些的指标的影响并且以数据的形式展示出来，这才能够给高层带来巨大的影响。例如，国际商业预测计划协会（IBF-Institute of Business Forecasting and Planning）通过对不同产业和公司真实数据的研究发现一旦FA降至80%以下时，超过60天的库存开始积压；而FA在50%左右，超过60天库存占总库存的比例则达到惊人的60%，这是任何一个CEO和CFO都不想看到的。通过这个方式，想争取到高层对需求预测管理的支持也不是一件很困难的事情了。　　
发表评论：
TA的最新馆藏针对大数据来说，2016年将是令人振奋的一年。智能算法将接替现在由人类来完成的许多业务。我们将看到数据湖服务作为一种服务解决方案出现，帮助企业以最少的工作更多的使用数据。越来越多的行业将开始试用数据区块链技术（blockchain technology）以改变他们的行业。
日13：30―17：15，由51CTO和新浪微博联合主办的《知微“荐”…51CTO主办的高端技术峰会【WOT2015“互联网+”时代大数据技术峰会】将于11…友盟从2010年成立至今，在大数据领域有独特技术和宝贵经验，51CTO对友盟数…自互联网业务诞生以来，对广告业务的探索就没有停止过。随着大数据技术的进…WOT2015"互联网＋"时代大数据技术峰会于今日在深圳前海华侨城GW万豪酒店盛…WOT2015"互联网＋"时代大数据技术峰会于今日在深圳前海华侨城GW万豪酒店盛…51CTO主办的高端技术峰会【WOT2015“互联网+”时代大数据技术峰会】将于11…商业人士想要通过大数据来了解客户的需求，但他们必须意识到没有数据分析“…多数时候非专业人士无法有效处理收集到的数据，这正是数据科学家供不应求的…
作为士兵和计算机科学家，保罗?沙克瑞恩跟恐怖主义打了14年仗。不久前，巴…在2012年及2013年诸多大型互联网公司其移动端的流量已经超越PC端的流量，很…本文通过研究数据对象的熵，对大数据方法和传统抽样方法的临界关系做了分析…最近闭幕的十八届五中全会把大数据战略提高到一个前所未有的层面―――实施…如果您最近和我参加聚会，我在您耳边说的都是有关数据可视化工具或者最近使…据了解，互联网上每一秒钟传输的视频，需要花费一个人5年的时间才能看完。…
投&&&&票针对大数据来说，2016年将是令人振奋的一年。智能算法将接替现在由人类来完成的许多业务。我们将看到数据湖服务作为一种服务解决方案出现，帮助企业以最少的工作更多的使用数据。越来越多的行业将开始试用数据区块链技术（blockchain technology）以改变他们的行业。
前几天和长辈闲聊之下，“大数据”，竟然也从老人家嘴里蹦出来。真是 duang的一...
2015年两会,“大数据”成为炙手可热的一大关键词，李克强总理在政府工作报告中...
Hadoop 2.0，为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。预计...
R语言是大数据分析和挖掘重要的工具，R是用于统计分析、绘图的语言和操作环境。...大数据预测技术在各行业内的应用前景-应用案例-@大数据资讯
你好，游客
大数据预测技术在各行业内的应用前景
来源：齐鲁晚报&
作者：大数据观察者
　　世界杯预测、 高考预测、 电影票房预测、流行病预测...在时代，预测分析已经逐渐在商业社会中得到广泛应用。
　　但事实上，随着数据源越来越多，数据信息越来越碎片化，不仅给企业的数据管理带来了困局，同时也导致技术人员在大数据处理分析时必须要使用会更加精细化的数据处理工具和更加垂直创新的数据模块。所以，大数据预测分析技术也成为目前大数据领域最难的一个环节，不仅考验企业的大数据处理技术，更是对数据科学家提出了更高要求。
　　9月21日，在数据猿、上海大数据联盟、Dell中国共同主办的《魔方大数据(10)：大数据预测技术的应用与发展》活动上，来自大数据不同领域的企业和技术人员，就目前大数据预测技术发展现状、技术难题、底层数据构架等问题展开了精彩讨论，并有多位来自汽车、航空、金融等领域的大咖向现场观众介绍了大数据预测技术在该行业内的应用前景。
　　要准确预测，底层技术需先行
　　事实上，对于已经完成原始数据积累的企业来说，如何将数据进行整合是做大数据预测分析的前提。然而，很多企业的数据都存在于不同IT系统，比如营销系统、销售系统，那么如何整合这些不同系统的有效数据，剔除无用数据，打破信息孤岛成为了预测分析技术的关键所在。
　　活动中，来自Dell中国解决方案事业部的高级顾问忽林安表示，进入互联网时代以后，数据处于膨胀状态，很多企业数据量基本都在TB到PB量级以上，不仅体量大、增量快，而且数据类型多样化，包括结构化数据、半结构化以及多维数据，而大数据对于企业的作用又非常重要，除了传统报表、统计功能外，预测分析应用也是极为重要的一个方面。
　　此外，忽林安还向在场观众介绍，Dell结合自身实践经验，搭建了切实可行的大数据技术架构和分析平台，从基础架构、数据管理、数据整理、商业智能四方面向企业提供覆盖全数据生命周期的大数据解决方案，并帮助企业客户实现高效、经济、安全的大数据应用。
　　另外，上海Kyligence联合创始人兼CEO韩卿也同时指出，大数据在做预测分析时，要处理很多历史数据，面临极大的数据量难题，而且信息时代，数据在不断更新，要想快速获取和查询数据信息，超大规模的数据处理能力就成为大数据预测技术的强有力保障。 韩卿还强调，在未来商业社会中，大数据预测应用会越来越多的变成&在线应用&，且从目前体育、金融、影视等领域逐步蔓延到其他领域，而这也会对底层数据仓库的高并发带来巨大压力，所以，大规模数据的处理能力对于预测技术的支撑作用就显得更为关键。
　　众所周知，大数据预测分析的最大难度在于其精准度，精准度越高，就越能把结果全面呈现出来。但是要提高预测的精准度，光靠数据挖掘显然不够，就企业而言必须要面向不同行业和领域的客户，把不同特征的数据分别提取出来，如此就又把预测分析技术难度上升了一个层次。
　　多领域&开花&
　　在活动中，几位来自不同领域的嘉宾就目前大数据在该行业内的应用及发展做了介绍。
　　车联网平台总监万佳驹讲到，目前车联网基于各种数据采集技术，比如RFID、传感器技术，把车辆属性、静态信息和动态信息接入互联网络，实现了有效利用的智能网络。
　　首先，通过采集GPS信息、点位信息、发动机转速以及车速等数据，是可以基于汽车本身数据做位置分析，再结合轨迹分析、路网匹配、POI分析、行政区域、线路发现、车型匹配等数据处理，可预测出汽车经常跑的是跑国道、高速还是乡村路，经常去哪些物流园区，停靠哪些地点。
　　其次，通过车辆数据分析，建立司机评价体系，帮助物流、快递等行业获取哪些司机是优秀司机;此外还可基于司机驾驶能力和驾驶习惯，判定司机的不良驾驶行为趋势。
　　第三，大数据预测技术还可以在汽车领域做&金融风控&。一方面，由于很多商用车车主都是贷款买车，贷款公司会依据他们所购汽车的信息判定他们是否有实力偿还贷款;另一方面，对于目前比较热的供应链金融，物流公司究竟有没有运营、有没有业务、业务是否真实、应收帐款是真是假，都能通过分析车辆数据得出结果。
　　第四，根据新车行驶的公里数还可预测汽车工厂的销量数量。
　　大数据预测除了在汽车领域的应用之外，敬众科技总经理瞿天锋还向现场观众介绍了大数据预测技术在航空领域的应用情况。
　　据瞿总表示，目前航空领域的大数据预测应用主要表现在：第一，通过航空数据的不断积累，建立数据模型，从多个维度预测旅客究竟是出于商务目的、旅游目的还是探亲目的购票;第二，搭建民航运营监控平台，实现对民航运营的实时监控和历史保留作用，进而预测民航航班起降安全、延误停飞等风险;第三，为每个坐过飞机的人做用户画像，从频率、消费、出行目的等数据维度了解其商务活动能力、消费能力、消费习惯和收入水平等，以此判定旅客是属于高端人士、高净值人士还是普通乘客，进而得出精准用户画像。
　　此外，&聚信立&运营副总裁喻昊旻和苏州朗动网络科技的CTO刘培彬先生还分别就大数据在金融风控和征信领域的应用进行了介绍。金融领域，换言之就是一个跟钱相关的领域，那么大数据的预测能力或许就是其对于金融风险的预判。
　　喻昊旻指出，在金融风控领域，数据源获取的渠道分成三大类：一是金融机构通过客户授权采集其个人信息;二是通过网络监控数据，以判别贷款人是否属于黑中介或者其他高风险客户群;三是通过SDK嵌入式模式了解企业客户信息。然而，互联网数据类型繁多，形式分散，金融机构必须将散落在网络平台、企业平台以及个人账户信息等分散数据进行精细化整合，才能体现大数据在个人风控领域应用的能力。
　　但是在企业征信领域，刘培彬表示，截止2016年8月，全国135家企业拿到企业征信牌照，但随着信息越来越公开，大数据在征信领域的应用一直存在很多问题。因为全国企业数量近4000万家，个体工商户6000万，其中20%的企业信息变更非常频繁，而深度挖掘企业的信息进行数据分析，能够使企业与用户的关联度更加紧密，包括企业跟企业、企业与投资人、企业股东与法人等关系，才能对企业运营状况做出评测。
　　大数据预测分析，不仅需要大规模数据调用、流式数据处理技术，同时还需建立准确的预测模型。大数据时代下，随着越来越多的数据被记录和整理，未来预测分析必定会成为所有领域的关键技术，未来也欢迎各领域的大数据专业人士和数据猿一起聚焦预测分析技术在各行业应用情况的探讨。
相关新闻 & & &
& (昨 18:15)
& (昨 18:30)大数据在2017年发展的8个预测 - 推荐 - CIO时代—新IT知识与资源库
大数据在2017年发展的8个预测
　　又到了年终岁尾时，业界权威市场研究和咨询机构Ovum公司日前估计，大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长，企业的挑战正在转变，对人们的技能需求正在改变，而大数据服务供应商的景观也在风云变幻。2017年将是大数据专业人士更为忙碌的时刻。以下是一些来自相关行业观察家和技术专家对大数据在2017年的发展预测。
　　1.对数据科学家的需求将减弱
　　组织对数据科学家的需求正在减弱，Ovum公司在其关于大数据趋势的报告中表示。该研究公司引用了来自的数据，显示了组织在过去四年对数据科学家的需求。同时，大学正在培养更多的拥有数据科学证书的大学毕业生。
　　&谁招募这些潜在客户?很可能，排除在线数字业务，在全球2000强以外的一些少数企业会招募他们，但却很少有人会想到如何使用数据科学家。&Ovum公司指出，&对于大量依赖于打包分析的组织来说，不需要数据科学家本身，而是需要应用数据科学的应用程序或工具。
　　2.使数据科学成为团队运动将成为重中之重
　　Ovum公司警告，数据科学家和数据工程师在企业中扮演不同的角色：数据科学家关注数据形成和测试假设，而数据工程师选择数据集，提供集群，并优化他们的生产算法。没有协作，数据科学家开发的模型和假设就会遇到陷入风险之中。
　　&真正的需要是让数据科学家和数据工程师更好地连接，以确保数据科学家在他或她的笔记本电脑上编写和测试的模型正确地部署在集群上合适的数据集。&Ovum写道。
　　同时，机器学习正在嵌入企业软件和工具，用于整合和准备数据，这也给企业带来压力，确保他们的数据科学家和业务分析师密切合作。&如果模型仍然在数据科学家的领导下，企业将无法获得机器学习的全部价值。&Ovum公司表示，&重叠的趋势将是协作环境，其中业务分析师和数据科学家可以在计划，部署，以及执行机器学习模型中共享工作流。&
　　3.将会有更多的压力来保持数据本地化
　　全球律师事务所Morrison&Foerster预测将加强隐私法，旨在将数据保存在各国境内。
　　Morrison&Foerster律师事务所全球隐私+数据安全小组主席MiriamWugmeister说，&预计将会出台更多的数据本地化法律，在最近的发展中，如俄罗斯数据本地化法律得到了俄罗斯法院支持，中国最近也通过自己的数据本地化法律。其他国家将在未来一年内采取行动。
　　4.企业将努力通过数据获利
　　研究机构IDC公司警告说，企业必须投入更多的生产资料产生数据，但它不会是容易做到，许多企业将错过机会。
　　IDC公司在名为&IDC Future Scape：全球CIO2017年议程预测&的报告中写道：&尽管商业领袖希望企业努力成功创造有意义的产品和收入来源。那些取得成功的企业将以坚实的IT战略和数据导向服务为基础：数据采集;运输，转型和储存;分析和仪表板;数据作为产品/服务;以及安全和访问控制。
　　而IDC提供的指导性建议是，IT领导者&建立一个由IT和业务人员组成的创新团队，审查现有和未来的应用程序/系统，以获得可能的结果数据货币化。&
　　5.数据湖将最终变得有用
　　&许多早期采用数据湖的企业花费了大量资金，不仅购买了低成本存储和流程，而且还收集了大量服务，以便汇总和提供大量数据相关和发现以获得更好的见解。&，数据管理供应商Reltio公司首席营销官RamonChen说。企业所面临的挑战一直在寻找有能力理解信息的人;使数据湖能够向操作应用程序提供输入，并从操作应用程序接收实时更新的数据;弥合主要数据管理和运行应用程序，分析数据仓库和数据湖之间的差距。
　　&现有的大数据项目意识到需要一个可靠的数据基础，而新的项目被整合到一个整体的数据管理战略中，数据湖可能会在2017年履行他们的承诺。&RamonChen预测。
　　6.并购活动将加快进程
　　Reltio公司首席营销官RamonChen说，&毫无疑问，人工智能、机器学习、深度学习等新技术得到了企业的关注。&所有交易的关键驱动因素是对人工智能专家的需求。&由于被收购的大多数初创公司的运营历史很短，这些举措是尽可能招募到数量有限的人工智能专家。&他说，并预计在未来一年，行业厂商将会开展更加积极的并购活动。
　　7.对物联网架构师的需求将飙升
　　根据研究机构IDC公司的数据，到2020年，物联网(IoT)市场规模预计将达到1.46万亿美元。因为规模激增，因此也将需要大量熟练的物联网专家。
　　&物联网架构师的作用将使数据科学家们成为人力资源部门最有价值的独角兽。物联网的浪潮将会让边缘计算和物联网操作设计激增。&数据和分析供应商Teradata公司物联网技术营销专家DanGraham预测，届时，数以千计的简历将在一夜之间更新。&此外，不到10%的企业意识到他们需要一个物联网分析架构师，而物联网系统架构师将成为一个独特的物种。因此，能够为物联网设计分布式和中央分析的软件架构师的市场价值将飙升。&
　　8.流式分析将会获得重生
　　&分析运动中的数据并不是什么新鲜事，因为事件处理程序已经存在了近20年。&Ovum公司表示。但是有很多因素正在将实时流技术从利基技术转变为更具广泛吸引力的技术。例如，开源技术使实时流更加容易访问，也为可扩展的商品基础设施带来可用性，Ovum公司指出。在需求方面，物联网正在加强企业对可以实时感测，分析和响应的流应用程序的兴趣。
　　Ovum公司预测，其市场整合不会立即发生。&如今，企业有越来越多的选择，竞争新的工作负载。最终，我们预计市场会下降到三到四个流媒体平台。&但是SparkStreaming和AmazonKinesisAnalytics等平台及其竞争对手的市场竞争仍在进行中。&鉴于市场早期状况，我们预计2017年市场不会下跌;我们预计流式引擎将需要2-3年才能成熟，物联网的实施将达到临界质量。&Ovum公司指出。