您的 IP 地址/地理位置：&&&&
当前位置： &
大数据处理的四大步骤 09:46:21&|&编辑：胡琦&|&查看：&|&评论：
大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。
大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。
大数据处理的流程&　　
具体的方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。
大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
大数据处理之四：挖掘
与前面统计和分析过程不同的是，一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。
搜索"raincent"或扫描下面的二维码全域数据需具备的三大能力：采集、处理和服务
作者：互联网
分类 : 比特网
　6月21日，2016中国大会在北京国际会议中心召开。【友盟+】叶谦在大会期间接受了CCTV、、央广网、、、等近十家主流媒体的采访。
　　【友盟+】COO叶谦在接受央广网记者专访时表示，与数据之间的差别很大，数据挖掘的质量与结果也千差万别。从目前的趋势看，单一渠道获得的数据与多渠道采集的数据结果和价值不同，正往全域数据的方向发展。
　　在叶谦看来，全域数据的能力包含三个层面：首先，是全域数据的采集能力，全域数据不仅是传统的PC互联网加数据的简单相加，它还包括IOT、线下数据、等民生领域。不同领域之间的数据如何打通成为业界热点。“事实上跨屏打通率是很低的，很多公司申称自己有这个能力，但很可能这个能力无法应用于商业。”
　　其次，全域数据的处理能力，做一个级的大数据处理平台，需要很多投入，、技术等。
　　最后，是全面的行业数据服务能力，全域数据服务各行各业，而不是少数的几个行业。A处使用并不是最优的数据，也许在B处使用更好，两处有数据互补性。数据在不同行业应用具有复杂性，如果要让数据服务于各行各业，将数据产品化，发挥更大价值。
　　谈及【友盟+】的竞争力，叶谦表示，2016年初，【友盟+】由三家公司合并，中国领头的移动开发者服务平台——友盟、全球领先的中文网站统计分析平台——CNZZ及国内领先的互联网数据服务平台——缔元信.数据。三家公司在传统的PC互联网和移动互联网这两个领域的数据处理已经在业内领先，加上线下数据和IOT方面的数据支撑，这四个方面的努力，是支撑【友盟+】朝全域数据方向走的支点。
　　据悉，【友盟+】的全域数据产品已经在部分汽车4S店、商城里使用。以上海新一代的书报亭为例，集成了【友盟+】的技术服务，实时分析经过书报亭的人群属性，通过互联网实现数据对接，在书报亭的屏幕上打广告，对不同的人打出不同的广告。
　　叶谦认为，下一个大数据爆发的领域就在之前数据应用落后的领域，比如线下的商城，不是没有数据，而是没有采集。商场每天有多少顾客?哪家店人比较多?哪家用户的客户停留时间长?哪家店的消费高?人群特征?……这对于店面的布局，商家的销售策略都有帮助。“现在很多商场还在用纸质的销售单，排队缴费，通过我们的数据分析，可以让他更加有效方便地了解商场运营情况，提升商场的运转效率。”
　　【友盟+】
　　全球领先的第三方全域大数据服务提供商，依托于自主研发的全域数据平台，为客户提供一站式数据化解决。一方面提供数据产品，包括APP开发工具、基础统计工具、广告效果监测工具等，另一方面提供数据交换及专业的数据分析和咨询服务，包括DMP、垂直领域数据化解决方案、数据运营分析报告等。
[ 责任编辑：佚名 ]
比特网 12:26:26
从《中国互联网+指数报告（2018）》看数字经济
“互联网+”的这些新变化,你知道吗？
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯，最新的软件技巧，最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中，与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊！
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧，帮助网管答疑解惑，成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一，主要关注x86服务器，RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析，让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来，为读者提供企业存储领域高质量的原创内容，及时、全面的资讯、技术、方案以及案例文章，力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设，为企业级用户打造最具商业价值的信息沟通平台，并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比，比特安全周刊运作模式更加独立，对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事，为企业级用户打造重点突出，可读性强，商业价值高的信息共享平台；同时为互联网、IT业界及通信厂商提供一条精准快捷，渗透力强，覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展，全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托，汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台，并持续提供丰富的资讯和服务，探讨信息化建设，推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来，以定向、分众、整合的商业模式，为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容，包括IT新闻、评论、专家答疑、技巧和白皮书。此外，IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊，给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍，同时用户还能参与我们推荐的互动游戏，给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。　　写这篇博客的主要问题是： 之前写了关于数据采集----为什么使用数字输入端口不存在分频现象，而使用模拟输入端口采集数据时，
存在分频现象？&遗憾的是，现在找不到了！
------------------------------------------------------------------------------
1. 数据采集的时候会不会丢失？
　　如果软件上读取数据的循环运行得不够快时，比如100K采样率的时候，软件循环肯定没有这么快，数据是不是就丢失了？
首先，我们要清楚的是，数据采集功能是由数据采集卡来完成的，软件知识将采集到的数据收到电脑上面来，数据采集卡有自身的办法
来解决硬件采集速度快过于软件读取速度的问题。
　　这需要对数据采集过程中的数据的传输作一个介绍：外部的信号进入数据采集卡后，经过各种处理转换，先进入数据采集卡自身的
缓冲区里面，缓冲区是先进先出（FIFO）的，NI采集卡应该都有板载的缓冲区，区别在于缓冲区的大小而已。然后当板载缓冲区中的数
据量到了一定的条件时，数据采集卡将缓冲区的数据上传到计算机内存中，一般以DMA（直接内存访问）方式传入的，但也可以设置为
其它方式，比如中断等。 上传数据的方式和时机可以通过DAQmx的属性节点进行设置或查看，DAQmx中默认的是使用DMA传输方式
（前提： 板载内存非空）。
　　数据传输方式包括：直接内存访问（DMA），中断请求（IRQ）和可编程I/O。DMA是一种DAQ板卡和PC内存间直接通讯的传输
方式，不再需要处理器的干预。 &IRQ传输通常很低，只有150Kb/s,而DMA可以高达20Mb/s。IRQ传输速率与使用的系统设备相关，
如处理器速度等。
　　数据到了内存后，再由程序中的DAQmx Read.vi从内存中读入到计算机中去。这里计算机的内存要和板载缓冲区区分来，板载缓
冲区是厂商固定死的，改变不了，不会出现溢出的情况，它的空间可以很小，比如1Kbit以下， &但计算机为数据采集开辟的内存
建议是采样率的10倍左右，即是说及时DAQmx Read.vi在10秒钟都没有执行一次的话，那么就会出现内存不足以存放采集到的数据的
问题，导致数据丢失，DAQmx Read.vi就会报错。 内存中的大小可以再DAQmx Timing（Sampleclock）.vi的每通道采样输入端进
行设置。但是DAQmx会默认设置一个最小值，如果你在每通道采样输入端设置的值小于这个值的话，DAQmx会忽略你输入的这个值而
使用默认最小值。
　　不过单单将这个缓冲区设置成10倍，并不一定能保证缓冲区不会溢出，因为缓冲区的存储的数据量不但跟它的输入速度(采样率)有关
，还跟它的输出速度有关，它的输出速度就是采集程序从它里面读取的速度，所以一般在使用循环中调用DAQmxRead.vi的时候，一般
是选择多态VI中的多采样而不是单采样。
　　同时将它的每通道采样数设置为-1，表示每次调用DAQmxRead.vi的时候都是将内存中的所有数据读取进来。在一些特殊情况下才将这
个输入设置为其它整数，但就得保证循环能尽快的执行，以免缓冲区溢出。如果设置为100的话，表示每次从缓冲区中读取100个数据回
来，如果缓冲区的数据不足100个，那么就会等到够了100个后才读进来并输出，程序会在这里等待缓冲区的数据够100个才往后执行，
跟串口设置读取缓冲区字节数一样。设置为-1则不会出现等待的情况，有就读，没有就返回空数组。
　　所以，总结一下，为了保证数据不会失丢，要设置好内存缓冲区的大小，还要保证读取缓冲区的程序(DAQmxRead.vi)循环得尽量快
，每一次读取的数据尽量多。
*****************************************************
总结： 1） 数据传输到电脑内存中
　　2) 数据不丢失 & 设置缓存区的大小，读取缓存区的程序DAQmx Read.vi循环的尽可能快。
-----------------------------------------------
2. 数据采集时间问题
　　数据采集时间问题主要两方面。 一是每一个数据点的时间，在NI的数据采集中是通过T0和dt来确定的，T0就是开始数据采集的初始
时间，是任务开始时，数据次啊及卡读取的计算机时间，dt二个数据点之间间隔的时间，是采样率的倒数，比如1K采样率，dt就是
1/=1毫秒。 在施工DAQmxRead.vi的时候要选择波形输出而不是DBL输出，波形输出就带有这些信息，而DBL就只有
数据而没有时间信息了。
　　另一个就是采样率设置的问题。数据采集卡的采样脉冲一般是由它的内部时钟源进行分频后得到的，所以采样率是不是非常准确，得
看时钟源是否能被整数倍地分频到指定的采样率。
　　　问题:我设置采集的采样速率为500,001Hz。如果我在Labview中用NI-DAQmx编成，如何确定实际采样率?　
　　答：您可以用DAQmx定时属性节点来获得此信息。SamPLClk.Timebase.Rate属性提供了产生实际采样率的时基频率
(timebasefrequency)。大多数DAQ设备有两个时基频率：20MHz和100kHz。SamplClk.TimebaseDiv属性提供分频系数，用于从
时基频率分频下来到您所希望的实际采样时钟频率。所以当您设置您的采样速率为500,001Hz，设备利用20MHz时基和分频系数39来
获得实际的采样速率20MHz/39=512,820.51Hz分频系数永远是一个整数，该整数的大小取决于您的数据采集板卡的型号。举个例
子：假设分频系数是一个16位的整数，这样20MHz时基允许您使用的所有频率均大于305.18Hz，因为一个16位整数对应的最大分频
系数为65,535。100kHz时基用于低于该频率的采样速率。进而，如果您指定的频率不能准确得到，驱动将采用最接近于您指定的采
样率且高于您所指定的采样率。
　　另外，如果确实需要指定的采样率，也可以用外部的时钟源作为采样脉冲来进行数据采集。
其实更深入一点的话，在连续采集的应用程序中，数据采集时钟源的准确性问题就会显示出来，假设时钟源的误差是50ppm
(百万分之五十)，即二万分之一，而一天有86400秒，如果连续运行一天的话数据采集的时钟误差最多就会有4秒多，所以到了24
小时后就会出现波形图上的时间与计算机时间差了大概4秒左右的现象，时间越长这个误差就可能越大，如果这个误差不能接受的话就
需要想其它办法解决。其中一个方法是换一个更高精度的时钟源，但长时间运行的话始终还是会有误差的，之前用过的方法是到了0点
的时候关闭任务再重新开启，让数据采集卡与计算机重新对时。
阅读(...) 评论()想从事大数据、海量数据处理相关的工作，如何自学打基础？ - 知乎有问题，上知乎。知乎作为中文互联网最大的知识分享平台，以「知识连接一切」为愿景，致力于构建一个人人都可以便捷接入的知识分享网络，让人们便捷地与世界分享知识、经验和见解，发现更大的世界。<strong class="NumberBoard-itemValue" title="被浏览<strong class="NumberBoard-itemValue" title="2,532分享邀请回答cs109.org/网络课程同样有丰富的资源：机器学习类：数据分析类：编程类：相关问题：水平有限，欢迎补充。另外我制作了一个个人网站 和专栏
希望激发更多人对data science 的兴趣。94526 条评论分享收藏感谢收起23018 条评论分享收藏感谢收起