大数据应用论文
40人评论|1人关注
摘要：大数据在招标采购管理中的应用分为四个主要步骤，分别是:历史采购诊断、提出大数据应用方向、对大数据应用点进行分析、提出大数据在招标采购管理中的具体实施方案。本文主要针对大数据在物资招标采购管理中的应用进行细致分析。
大数据应用论文:大数据应用的交通管理论文
一、上海市公安交通管理信息化的基本情况与“大数据”应用的初步探索和实践
（一）数据深度挖掘与预测研究对海量数据进行挖掘，分析、提炼出有价值的信息，一直是交警总队在常态交通管理中努力和不断尝试并力求达到的分析动态化、管理精细化的目标。在交通事故预警方面，我们通过对370余万条交通事故的地点、人员、车辆等信息分析，每年发布市、区两级事故易发或死亡人数较多的“黑点”，由总队定期督促属地交警支（大）队限期整改。针对一段时间内本市欺诈性交通事故（俗称“碰瓷”）高发的情况，我们建立并不断补充完善了事故“碰瓷”嫌疑人员和车辆黑名单，通过提前预警、发案比对等方式累计锁定相关嫌疑人415人，取得了很好的成效。在交通状况评价方面，我们以道路拥堵程度、交通事故数量为主要评价要素，创新性地将各区（县）地面道路和快速路的整体交通情况以“指数”的形式分色展现，供业务部门和支（大）队参考。为掌握全市快速路交通流结构和集散规律，我们利用分布在中环及中环以内快速路上约300个断面构成的车牌识别系统实时采集流量数据，开展了集散性OD分析的探索，即将全市快速路网划分成20个“小区”，通过数学建模和车辆信息的跟踪，展现各“小区”间交通流转移的时空分布特征，为拥堵成因分析、排堵预案制定等提供参考。在道口安保方面，我们通过对历史数据的分类统计、比较，研究制定了重大活动安保工作的道口查控方案。2010年上海世博会举办前夕，时任市委书记的俞正声同志在G15沈海高速公路朱桥检查站现场，对“车驾查控系统”的技术架构、实时运作以及海量数据的采集、分析及应用状况进行了详细调研，当即要求我们研发“世博道口通行证管理及不停车安检系统”。上海世博会期间，该系统累计实时关联10多个数据库，核发297.7万余张通行证，不仅将进沪车辆安全审核检查关口前移，还通过利用“车驾查控系统”的实时比对功能，既做到了“持证”车辆的快速通行，又实现了“逢疑必查”的目标。世博期间，系统比对命中有关车辆1.5万余辆次，有效提升了民警的工作效率和打击精确度，同时也对预防和缓解全市各道口因安检引发的大面积拥堵问题起到了积极作用，减少了道口现场安检压力及对交通的影响，得到了各级领导和社会的一致肯定。在为“大公安”服务方面，我们尝试定期将网上追逃人员信息与本市机动车档案进行关联比对，筛选出在逃人员可能驾驶的机动车信息，累计抓获在逃人员329名，探索出了“先由人查车、再由车查人”的信息提炼新方法，取得了很好的实战效果。
（二）数据可视化随着各类统计、分析数据的不断增多，各级领导、基层民警都希望通过直接的“可视化”界面展示各类数据和信息。2009年，我们构建了基于GIS地图的应用平台，并将采集或共享的实时路况、“110”交通类报警事件、视频监控、快速路入口匝道控制、停车场泊位等信息在电子地图上进行分层次展现，这些实时、动态的信息可按需随时调阅。2010年上海世博会期间，根据安保工作的需要，我们制作了两张专题图。“进沪陆路道口流量专题图”实时展示当日全市进沪道口的机动车流量、“持进沪通行证”机动车流量、5分钟进沪流量等信息和道口排队区、安检区的视频监控信息。此外，通过对各道口历史流量的数据统计，提供流量预警信息。“世博园区管控区周边道路流量专题图”除整合了全市快速路、高速公路、地面主干道路的实时路况和快速路匝道开闭状态等信息外，实时展示当日进出世博管控区的机动车流量、5分钟流量等。两张图的应用，为市公安局“二指”坐镇指挥的领导以及民警实时掌握交通流量、科学指挥、调配警力等提供了依据，受到了充分肯定。
（三）参与“交通指数”的研究经过多年的建设，上海已经完成市区重要道路的交通流信息的采集，并实现以红、黄、绿三种颜色代表路况的信息发布。为使交通参与者全面、客观地了解本市道路交通的实时通行状态，向其提供了量化的拥堵指标。2009年，交警总队在数据应用上的视野不再仅着眼于自身，而是跨出一步，会同市政府相关部门，将手中的静态数据和市政府相关部门可共享的动态数据关联起来。继参与了荣获上海市科技进步一等奖的“上海世博智能交通系统关键技术及应用”项目研发之后，2011年起，交警总队积极配合上海市城乡建设和交通发展研究院（原上海市交通信息中心）研究“道路交通指数”。通过对大量采集的各类交通实时数据、历史数据进行统计、分析、比较，最终用“道路交通指数”这一数值方式来量化描述道路交通运行状态，同时结合GIS地图加以分色、分块展现，并通过网站、微博、手机APP等向公众实时发布，力争做到既能客观地评价交通拥堵状况，又能方便出行者的理解与记忆。
二、与当今“大数据”应用的差距
目前，“大数据”的应用处于发展初期，在我国更是刚刚起步。通过多年的实践和积极探索，交警总队“大数据”的应用成效明显，但我们感到，与当今国内外成功的“大数据”应用相比，我们还存在差距，主要表现在：
（一）在理念和思维上仍存在差距随着互联网、云计算、移动互联等相关智能技术的飞速发展，可以预见，“大数据”陈志康：公安交通管理“大数据”的应用与研究在公安交通管理方面的应用也将愈加广泛。但与其“4V”（即Volume大量、Velocity高速、Variety多样、Veracity真实性）特点相比，未来“大数据”的应用与发展绝不是简单依赖数据采集量的扩大，也不仅仅是服务器性能、数据的简单扩容或累加，而是对于其中蕴含的理念、思维的转变和突破。与“小数据”时代相比，“大数据”时代的转变是多方面的。例如，传统统计方法追求精确，但“大数据”只预测宏观趋势；传统的统计、研究关注因果关系，而“大数据”更强调数据之间的关联等。
（二）在技术和手段上仍较为匮乏就我们目前拥有的各类交通管理数据而言，其体量并不能称之为“大数据”。如果要同各警种的数据相关联，与市政府相关部门的数据相融合，将数据的应用转化为生产力，其所面临的困境还十分明显，这也直接反映了我们在技术和手段上的匮乏。2009年，我们便已利用“数据仓库”技术等当时较为成熟和先进的技术开展交通管理核心数据的深度挖掘，力求为业务部门提供更丰富、有效的统计数据，但受限于传统关系型数据库的架构，无论在计算效率还是结果表现上均无法得到“质”的突破。此外，我们对于海量视频的快速检索、车辆照片关键特征的提取等方面仍缺少高效的手段，使得对于这类非结构化数据的应用、管理仍处于初级阶段，对其中蕴含的有深层次应用价值的信息无法加以进一步挖掘。“大数据”的处理流程一般可概括为四个步骤，即“采集、预处理、统计分析、数据挖掘”。其中，“预处理”是当前传统数据处理中被忽视或被弱化的部分，除了受限于主流的关系型数据库（如Oracle）、集中式存储等架构外，还与缺少将非结构化数据（例如视频、图片、文本、声音等）向结构化数据（即可以用二维表结构来表达的行数据，例如存储在数据库中的记录）转换的有效技术手段有着重要关系。所以，现有的统计分析、数据挖掘等绝大多数针对的是结构化数据（目前仅占所有数据量的10%至20%，其余均为非结构化数据），难以真正体现“大数据”多样性的特点。
三、今后公安交通管理“大数据”的研究与应用方向
（一）研究和建立“公安交通管理大数据应用平台”结合市公安局“十三五”信息化建设规划，研究和建立“公安交通管理大数据应用平台”。不断学习研究Hadoop、虚拟化等新技术，构建全新的数据存储、处理技术架构，不但要使数据的存储容量更大、运算速度更快、展现形式更丰富，更要突破同类数据的局限，从看似毫不相干的数据之间发现关联性，真正体现“大数据”的精髓。
（二）满足数据采集的需求，提升管理水平“大数据”应用的核心是数据挖掘，为公安交通管理中遇到的难点问题提供原因分析依据，但其基础却是所采集数据的质量和种类。因此，一是要不断提高各类交通管理相关基础信息的采集质量，为后续数据处理奠定坚实的基础。二是要积极建立与市交通委员会、市保监会等社会相关部门的数据共享机制，扩充与机动车、驾驶人、特定行业管理、道路等相关的数据类型。三是依托高校、科研院所等专业力量进行深入研究，力争突破图片、视频等海量非结构化数据的管理难题，运用有效的数据模型和架构，实现类似结构化数据的统一描述、查询和处理。四是积极会同市公安局相关部门，在数据层面加强与市公安局“警综平台”“情报综合研判实战平台”“视频监控平台”“治安卡口信息综合管理平台”等的对接，为公安交通信息研判分析提供支撑。
（三）抓住重点，突破四个阶段的核心技术应用“瓶颈”我们要选择合适的软件、工具，真正将数据转化为信息，并提炼出有价值的信息。在数据采集方面，重点解决高并发数的访问、操作问题，使服务器、数据库负载均衡并分片处理。在预处理阶段，重点做好“生产库”向“资源库”的转移和数据清洗等工作，满足后续数据处理的实时计算需求。在统计分析阶段，要在了解业务需求的基础上，着重在不同数据的“关联性”上下工夫，找到规律。在数据挖掘阶段，要力争实现数据从“事后统计”到“事前预测”的突破。
（四）以管理为中心、应用为导向，建立配套的专业队伍和管理机制“大数据”的决策不能仅凭经验，而真正要“拿数据说话”，从深层次看，还需要建立科学的、与之相适应的管理机制。同时，“大数据”的研究、建设、运行、维护、应用等每个环节都需要由会技术、善管理、懂业务的复合型专业人员来承担。“大数据”时代才刚拉开序幕，目前，其许多技术瓶颈尚未取得突破，数据共享绝非易事，数据安全、共享和隐私保护等方面缺乏法律保护，配套的管理和运作机制尚未形成。但是，“大数据”作为生产力，随着其不断发展、应用，必将对公安交通管理工作产生深远的影响，有力地推动各项业务工作向更高的层次发展。
作者：陈志康单位：上海市公安局交通警察总队
大数据应用论文:大数据时代的职校计算机应用论文
一、大数据时代对学生计算机应用能力的要求
在大数据时代环境下，信息的获取和选择、信息技术的掌握应用，直接影响知识的生产、科技的创新和成果的转化。大数据时代对高校的教学、学生的计算机应用能力提出了新的要求。产业界需求与关注点发生了重大转变，企业关注的重点转向数据，计算机行业正在转变为真正的信息行业，从追求计算速度转变为关注大数据处理能力，软件也将从编程为主转变为以数据为中心。学生要学会对数据的去冗分类、去粗取精，从数据中挖掘知识，要能够把大数据变成小数据，要在不明显增加采集成本的条件下尽可能提高数据的采集质量。要研究如何科学合理地抽样采集数据，减少不必要的数据采集。
二、大数据时代背景下的教学策略
（一）营造适合学生全面发展的软硬件环境信息时代的发展使得高职院校图书馆和数据中心具备了大数据的特征。科学研究和科技创新越来越依赖于对数据的管理和利用，打造良好、适宜的软硬件环境是提高职业院校学生信息素养的基础。目前互联网技术及应用普及度较高，建设智慧校园可为学生提供更多的接触信息资源的机会。加强高职院校数据中心和网络中心的建设力度，在依托传统图书馆文献存储量的基础上，增加馆藏图文电子数据、电子文献与多媒体文献，打造信息化图书馆，为学生提供多元化的信息资源与服务。加强校园社交网络平台的建设，利用微信等新型传播媒介，采用主动推送的方式传递正能量，提供有益于学生健康成长的信息，监控、屏蔽不良信息的传播，过滤影响学生身心健康的不良信息，构建适合高职院校学生学习的良好环境。
（二）发挥数字化图书馆在教育过程中的核心作用数字化图书馆的建设是图书馆业今后发展的主要方向。数字化图书馆也是一个科技含量较高的系统工程，高职院校各级领导应正确认识，加强资金投入，充分发挥其对教育过程的支持作用。数字化图书馆的典型特征是存储数字化、操作计算机化、传递信息网络化、信息存储自由化和结构连接化，可与高职院校的基础建设可以同步推进。在建设与发展过程中，教师要积极引导学生充分利用数字化信息资源。学生在使用数字化图书馆的过程中会产生一系列的行为特征数据。通过对学学习路径和学习偏好的数据分析，根据其特点与实际量身设计合理的信息资源智慧导航，从而为学生学习新技术、新知识提供个性化的服务。
（三）加强学生创新能力的培养在知识经济时代，创新决定着一个国家和民族的综合实力和核心竞争力。培养具有创新能力、实践能力的高素质技能人才，是高职院校人才培养的一个重点方向，也是高职办学的特色及亮点。创新能力培养的关键是创新思维的培养，而创新思维的核心在于思维的独特性和新颖性。在大数据时代，学生面临众多数据资源。教师需要对学生提供专业的指导，让学生学会利用互联网技术和计算机软件工具解决实际问题，在解决问题的过程中培养创新思维。高职院校应努力营造创新教育环境，结合创新教育，大力推进素质教育。将“小发明、小创造”“大学生实践技能展演”“大学生才艺展示”等活动纳入校园文化活动中。组织学生参加各行业举办的职业技能大赛，实现从应试教育向素质教育的转轨，培养实用型、创新型的复合技能人才。充分重视学生的个性发展，建立专业的师资队伍对学生的创造发明活动给予强有力的技术指导。对于技术含量高的、有市场推广价值的创造发明活动，要引导学生进行自主创业，带动就业。加大创新教育课程的开发与建设力度，强化学生创新能力的培养。
（四）培养学生对信息技术的兴趣与爱好兴趣是最好的老师，是激发学生学习积极性的动力，是激发创新能力的必要条件。学生只有对身边的事物发生了兴趣，才会活跃思维，激发潜力。在课程设计中加入了生动、形象、贴近工作、贴近生活的典型案例，可以有效地激发学生的学习兴趣，让学生乐在其中，愉快地完成学习任务。教学实践环节也应紧密围绕着学生熟悉的事物、案例来开展教学。授课教师应了解信息技术在行业的实际应用状况，根据不同专业的特点，结合学生，的知识体系结构精心准备授课内容，确定课程的重难点。在教学过程中，通过师生互动了解学生对课程内容的掌握程度，因材施教、精选案例、突出重点，从培养学生兴趣与爱好入手，让学生在轻松、愉悦的课堂教学中学习信息技术在专业领域的最新应用，了解最新的前沿学科理念，学握较新的实用技术。教师如果在教学活动中能及时、准确地解决学生在学习实践中遇到的疑难，并指导他们完成实训内容，将有助于学生在学习过程中获得成就感，激发学习的积极性、主动性和创造性。教师动手实践能力将使得更多的学生得到有效指导和帮助，实现高质量的课堂教学。
（五）探索高效教学模式根据高职人才培养目标的要求，计算机课程的教学需要与时俱进，随着各行业大数据产业的不断发展与应用而不断进行调整、创新。通过对学生在校期间学习、生活的轨迹进行搜集、整理，形成基础数据，进而分析他们的学习行为、学习喜好和思维模式，制定适合他们全面发展的教学方法，有针对性地培养和提高他们的计算机应用能力。利用各种辅助软件，开展行之有效的教学实践活动，让学生在“做中学，学中做”。提高各专业学生的计算机应用操作能力，使他们掌握互联网技术、计算机信息技术、电子商务等。以医学影像技术专业为例，学生既要学会影像阅片操作，又要掌握最新的X线机、CT、MRI等先进检查设备的使用与操作。如果能够将医学影像技术专业与计算机应用实践教学相结合，找出两者的学科交叉点，构建适合时代发展需要的复合型人才培养模式，将会起到事半功倍的作用。在大数据的背景下，各行各业都需要利用信息技术，特别是数据库技术、大数据分析技术，用以改变生产、经营、管理、工作、生活等的方式。因此各专业的毕业生都面临着行业对大数据的使用与开发的迫切需求。培养学生解决问题的实际操作能力，显得尤为重要。在专业课程的教学中，通过对大数据的应用与计算机应用技术的渗透，不但能激发学生学习专业技能的积极性，而且可以引导学生形成应用计算机解决专业问题的思维模式，对他们将来适应大数据环境下工作具有积极的引导意义。以专业培养目标为基础，合理对计算机课程进行设置与安排教学，将大数据知识、信息技术知识、计算机应用知识融入到各课程的教学中，构建适合高职类学生学习特点的高效教学模式。
（六）加强师资队伍建设加强师资队伍建设是提高学生计算机应用能力的关键。计算机应用基础课程的教师，首先应该是计算机应用方面的专家，既能掌握扎实的理论基础知识，又能熟练地操作计算机，善于使用相关行业软件。在教学中能够起到良好的操作示范作用，给予学生无形的感染力和号召力，增强学习的主动性与积极性。在实践教学过程中，计算机任课教师不仅要与专业课教师紧密合作，整合校内已有的专业资源和信息技术资源，充分利用好大数据，而且要与行业、企业加强联系，采取走出去、引进来的方式，让学生在校期间就能充分接触各种面向实际应用的信息技术产品与工具。学校要制定行之有效的师资队伍培养计划，紧密结合企业、行业的实际需求，建设“双师型”教师队伍，加强现代信息技术应用能力培训。教师应深入企业、行业，了解企业人才需求，了解企业使用的最新应用软件动态与进展，充分利用好企业、行业大数据资源的研究最新成果，更新知识结构，提高实践操作水平。
大数据时代是信息化社会发展的必然趋势。高职院校在教学实践中要跟随时代发展的潮流，在教学思想、教育理念上做出迅速调整，并跟进制定适合学生全面发展的计算机应用能力培养实施方案，有效提高学生的计算机应用能力，增强就业竞争优势，满足行业、企业及社会对复合型职业技能人才的需要。
作者：冯桥华单位：安顺职业技术学院招生与就业指导处
大数据应用论文:大数据应用物流企业论文
一、物流行业大数据的特点
物流行业的大数据，可以从多个维度进行解构：结构化数据、半结构化数据、非结构化数据（刘禹，2013；ElenaGeaninaUlaruetal.,2012）。物流行业的大数据既包括存储在数据库里的结构化数据，也包括日志文件、XML文档、JSON文档和电子邮件等半结构化数据，而更多的数据类型是办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等非结构化数据，半机构化、非结构化数据约占大数据总量75%-85%。内部数据与外部数据。物流企业的大数据既有来自企业经营的内部交易数据、CRM数据，也有来自其他数据源的外部数据。物流企业的大数据兼具公共、私密二重属性。外部数据的公共性特征比较明显，而内部数据由于和行业标准和商业机密密切相关，因而具有私密性。与数据结构的多维特征相对应，物流企业大数据的格式也是多样的。除了传统的纸质文件、档案、报表、表格、记录、信函等之外，更多的是以数字数据存在的Web文本、视频、短信、音频、视频、邮件，存储信息、配置文件、符号、图片、档案等。数据格式的多样性和互不兼容、数据访问的随机性，为数据的采集、存储、分析、应用带来了困难。
二、物流行业大数据的应用特征
（一）大数据的应用潜力巨大
在大数据概念兴起之前，企业主要借助内部数据、结构化数据进行决策。商业智能（BI）技术的应用似乎将企业带入了“智慧世界”，但BI仍然对外部数据、非结构化数据无能为力，没有“走完最后一公里”，无法有效满足决策需求。在大数据时代，企业的外部数据权重急剧上升，决策价值越来越突出，这意味着仅仅依据占数据总量15%左右的结构化数据进行决策越来越失之偏颇（T.K.Dasetal.,2013），物流企业决策者驾驭业务的战情数位仪表盘其实是残缺的。事实上，一些沿袭原来的IT解决方案的物流企业，普遍遇到数据处理系统扩展困难、处理时间长、传输效率低、成本过高的问题（ElenaGeaninaUlaruetal.,2012）。大数据应用技术就是能够妥善解决这些问题的性价比比较高的数据计算与存储方式。据ICT权威研究机构CCWRE-SEARCH的研究结论（2012年），无论是从信息技术应用的契合度还是从短期内投资大数据的可能性进行测度，物流行业都具有大数据应用技术推广的优越条件。但他们同时还指出，虽然物流行业对“大数据”概念的知晓率为91.8%，但究其应用而言，总体上还处于“认知”阶段，这意味着大数据在物流行业应有较大的应用潜力。
（二）大数据的供应链特征明显
物流行业大数据的应用正越来越呈现出供应链特征。这个“数据供应链”，存在着数据收集、数据处理、数据分析、数据价值提取、数据价值消费等多个环节（HsinchunChenetal.,2012），参与者包括原始数据提供者、数据收集者、数据平台商、数据应用技术开发者、数据服务提供者、数据产业投资者，数据价值消费者等多个主体。就物流企业而言，在这个数据供应链中，可以承担多重角色：既可以是原始数据供应者（主要是内部数据、结构化数据），也可以是数据产业投资者、数据价值消费者。实力雄厚者甚至可以向其他角色拓展，具有优秀的数据供应链整合能力的企业将会赢得较大竞争优势。图1给出了物流行业数据供应链的简化模型，并借用MichaelPorter的五力分析模型对数据供应链各个环节的竞争态势进行了分析。
三、大数据应用对物流企业竞争力的影响
（一）大数据应用影响物流企业竞争力的机制
图2给出物流企业竞争力影响因素的分析框架（王海燕，2012；静涛，2010）。物流企业的竞争力影响因素涵盖环境、资源、能力三个方面，其中环境要素可以进一步细化为：行业经济发展水平、宏观调控、社会人文、物流技术等；资源要素可进一步细化为物质资源和无形资源等；能力要素可细化为战略决策能力、运营管理能力、市场营销能力、品牌管理能力、创新发展能力等（张莉，2012）。这里以前文论述为基础，分析大数据应用对物流企业竞争力提升的影响机制，如图3所示：大数据通过影响物流企业竞争力的环境、资源、能力三个要素，提升其竞争力，而物流企业竞争力的提升则表现为快速反应、稳定可靠、灵活性和弹性提升，顾客满意度提升，经济效益提高等等（ElenaGeaninaUlaruetal.,2012）。
（二）大数据应用提升物流企业竞争力分析
在物流企业竞争力三个影响因素中，环境因素是外部、不可控要素，资源和能力属于内部要素、可控要素，因此，这里重点分析大数据在物流企业的应用对两个要素的影响及其表现。1.对资源要素的影响。大数据时代，数据被许多权威人士比作“新型石油”，日渐成为一种战略性资源和企业的核心资产。大数据及其所承载的知识和信息作为一种极具战略价值的经济资源，通过参与企业的经济活动和营运过程，正在充分地发挥其独特的整合效应，促进物流企业提高组织效率、降低成本、创新服务、维系良好的品牌形象和客户关系、增进经济效益等。其作用机制如下：第一，盘活物流企业的人力资本。在大数据日益进行着渗透性应用的背景下，将推动人力资源决策由“经验+感觉”模式向“事实+数据”模式转型，人才测评和任职匹配将更高效、更精准；处于休眠状态的企业内部营运数据将被唤醒，培训需求的甄别将更便利。过程数据和结果数据的空前丰富使得“过程+结果”的绩效考核方式将更容易导入，对绩效辅导和绩效提升更有利。第二，直接增加物流企业的结构资本。大数据应用技术将推动物流企业的组织结构的进一步优化，与战略的匹配度更高，组织内外信息流动更顺畅，协调机制更完善，内部沟通更“智慧”，资源管控和利用率水平更高，对市场机会和环境变化的动态适应能力更强。不仅如此，对物流企业信息技术的升级应用、知识产权的保护、品牌推广和商誉提升也将产生巨大影响。这些都会直接增加企业的结构资本。第三，为企业赢得更多关系资本。在企业内部沟通更舒畅、更外向的情况下，面向客户的、创新型的共有价值观更容易形成和维护，员工所期望的个性化关怀更容易实现，这将推动物流企业的文化建设。同时，大数据的应用还将推动物流企业创新业务模式，主动采用整合传播，提升品牌美誉度，更好地开展公共关系。物流企业在推行个性化定制化服务、高效的商业伙伴和顾客关系管理会更主动，这些都会为物流企业赢得关系资本。2.对能力要素的影响。第一，提升物流企业的战略管理、战略决策能力。大数据的应用有利于企业推行数据驱动的敏捷决策，从长远来看，还会推动企业组织架构和业务流程的全面变革，企业决策权力的配置将更合理，决策的制度化、流程化程度更高，决策更公开、透明、精准、有效、可追溯。基于数据的决策有助于消弭主观偏见和思维定势的消极影响，提升企业的战略洞察力，把握行业发展的新趋势，抓住战略性投资机会。在物流企业竞争力的变现越来越取决于供应链的整体效能的背景之下，物流企业还可以在确保顾客隐私和商业机密的前提下，通过与供应链上各合作伙伴的数据共享、交换或者交易，动态检测行业趋势、聚焦优先目标、优化服务组合、避免无端浪费、探索全新的业务模式等。第二，增强物流企业的运作管理能力。大数据的应用可以提升企业业务营运的可视化程度，推动知识和信息在组织内部的共享；精确掌控企业各项资源的运行情况，比如人员的作业状况，设备运作状况，车辆的位置、时间、速度、性能等，有利于企业高效调度各项资源，提升运作效率。以快递企业为例，大数据的应用可以为企业满足个性化订单、开展定制化服务、实施弹性配送等提供技术支撑。它们可以在业务营运的特殊时期，比如“双11”到来之前，基于大数据的分析，适时调配物流资源，实现业务营运的主动性、前置性，提升配送运作效率和顾客满意度。第三，拓展物流企业的市场营销能力。大数据应用技术有助于提升市场研究的效率，有关顾客偏好、情绪、消费体验等真实信息将更容易取得，有利于对目标客户的精确细分、重点客户和高价值客户高效筛选（徐艺欣，2013）。大数据所承载的有关资源、成本、服务、定价等即时性关键信息，有助于企业动态监测市场动态，有效率开展竞争，更好地赢得客户，增加市场份额。在物流服务营销方面，可以实施针对高价值的顾客的精准营销、广告的精准投放、广告或者促销效果的精准测定等（胡玉萍，2011）。大数据应用技术还有利于物流企业摆脱繁杂的中间环节、传统的营销模块式营销组织的依赖，极大地降低营销成本。第四，提升物流企业的品牌管理能力。物流企业可以有效利用大数据技术进行舆情监控、品牌健康度动态监测、品牌声誉管理，高效监控可能有损品牌形象和企业声誉的负面信息，有效应对恶意炒作或商业欺诈、从容地进行危机管理（ChrisSnijdersetal.,2012）。另一方面，可以通过口碑营销在较低成本的投入情况下扩大品牌影响力。第五，增强物流企业顾客管理和客户关系维护能力。企业可以根据大数据所承载的信息与顾客进行深度沟通，改善顾客体验，取得他们对本企业、竞争对手物流服务的真实评价，有效应对竞争压力，提高快速响应能力，培育顾客粘性和忠诚度，通过建立稳定的忠实客户群，实现客户价值的链式反应增值，支撑企业长期、稳定、高速、可预期的发展。第六，增进企业创新发展能力。大数据应用有助于企业建立广泛的外部合作伙伴网络，推进整体创新战略，将问题的“搜索者”和“创意者”、“解决者”结合在一起，为合作创新机制的建立提供了动力源泉（MerjaMahrtetal.,2013）。大数据的最大价值在于从海量数据中发现新知识，创造新价值，其中的重要体现就在于有助于推动业务模式的创新，比如物流企业在条件成熟时就可以通过数据交易、数据应用辅导等业务获取经济利益、提升竞争优势。
四、物流企业推动大数据应用的思路
物流企业应抓住大数据所带来的机遇，主动借力大数据提升企业竞争力（闫成印，2012）。本文推出涵盖战略（Strategy）、领导（Leadership）、流程（Process）、技能（Skill）、人员（Personnel）的（SLPSP）模式。战略（S）：建立数据资产管理战略，作为物流企业总体战略的一部分，围绕“资源管控”和“服务优化”两个基本命题，在企业整体战略中要有大数据应用的总体方案。这一方案既要着眼企业的实际情况，又要有长远的规划，在软件和硬件投入方面都要有指导性的日程表安排。在保障机制方面，还要通过有效的“顶层设计”打破组织壁垒，促进数据资产的沟通、融合。领导（L）：大数据的应用是“一把手”工程，领导的重视是成败的关键。企业领导层应主动变革思维模式，进行实质性的资源投入支持大数据技术的深入应用。摒弃那种仅仅用数据来粉饰决策、支撑既有观点的做法，从战略高度对数据资产的价值进行再思考、再认识，把大数据的应用、云计算等作为战略实施的有力推手，而不仅仅是将其视为传统IT管理的一个方面。流程（P）：优化数据资产管理和大数据应用的流程。在数据的收集和处理方面，要做好整合，认真发掘组织内部的“休眠数据”并认真评估其价值，同时要高度重视外部数据对企业的战略价值，推动企业内部的数据处理系统与合作伙伴的相关系统的集成，实现顺畅的数据交换和信息交流。在数据的存储与处理方面，优化企业的IT的服务器、存储设备和网络设备，引入能与硬件设施设备无缝对接、合乎大数据应用需求的数据管理和分析软件，必要时要借力基于开发架构的、具有灵活的扩展能力、性能卓越的第三方平台（姚尧，2013）。不断深化大数据的应用，实现人、机、系统等要素的有机化。技能（S）：促进大数据应用技术在组织内的扩散，并内化为组织整体技能。推动员工熟悉数据驱动决策下的业务运作，将数据应用视为业务营运的工具和助手。采取措施推动员工数据应用技能的持续进步，促进企业决策者、管理者、业务人员和数据工程师基于数据分析和数据应用的沟通、共享、协同，消除“数据孤岛”现象。人员（P）：有计划地培养大数据应用的专业人员。这些专业人士应成为“数据工程师”，兼具数学知识、IT技能、业务知识，并能够作为大数据应用的“先锋”，引领企业跨越“数据鸿沟”，并能提供专业的数据应用技术服务。
作者：魏继华单位：河南交通职业技术学院
大数据应用论文:大数据应用技术和潜在问题研究
大数据应用的技术体系
1.云计算及其编程模型MapReduce
1)云计算简述:大约从2007年下半年开始,云计算由于其能提供灵活动态的IT平台,服务质量保证的计算环境以及可配置的软件服务而成为热门话题。文献中给出了云计算的比较完整的定义:云计算一个大规模的由规模经济驱动的分布式模型,位于其中的抽象的、虚拟的、动态可扩展的、可管理的计算能源、存储、平台、服务等通过因特网交付给外围客户。由上述云计算的定义我们知道,云计算首先得是大规模的、分布式的,少量的计算处理用不着云计算;其次,它是跟规模经济相关联的,比较形象的说法是,云计算资源跟“电”和“水”一样,是按需收费的,并且是大规模式销售的,通常在建立数据中心时会考虑成本因素;最后,它从广义上说是给客户的一种服务,可以包括提供存储、计算等资源。云计算可以按服务的内容和交付形式分为基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)等。在单机芯片集成度已进入极小尺度级别,指令级并行度提升也已接近极限的今天,纵向扩展似乎已经不够现实,这也远远不能满足大数据处理的要求,而云计算的要求比较宽松的允许异构网络的横向扩展,无疑给大数据处理带来了方便。云计算能为大数据提供强大的存储和计算能力,可以迅速、方便地为大数据提供服务,另一方面,大数据的处理需求也为云计算提供了更多更好地应用场景。由此,云计算作为大数据的支撑技术而倍受业界关注。
2)MapReduce简述:关系数据库作为一门发展了近40年的主流数据管理技术,主要用于联机事务处理(OLTP)应用、联机分析处理(OLAP)应用和数据仓库等,然而扩展性方面的局限使得其在大数据时代遇到了极大障碍。2004年,谷歌公司提出的MapReduce技术,以其利用大规模廉价服务器以达到并行处理大数据的目的而倍受学术界和工业界的关注,广泛应用于机器学习、数据挖掘等诸多领域。基于MapReduce的大数据分析处理研究也在不断深入,MapReduce作为一种非关系数据库的数据管理工具代表,克服了关系数据库扩展性方面的不足,将计算推向数据也迎合了大数据时代的内在需要,成为大数据处理的基本工具。而Hadoop作为模仿MapReduce而实现的一个云计算开源平台,目前已成为最为流行的大数据处理平台。MapReduce对于大数据处理的基本构思是分而治之,将大数据任务分解为多个子任务,将得到的各个子结果组合并成为最终结果。MapReduce对大数据的处理可抽象为两个主要阶段,Map阶段对初始的键-值(Key/Value)对进行处理,产生一系列的中间结果Key/Value对,然后通过Reduce阶段合并所有具有相同Key值的Key/Value对,得到最终结果。MapReduce对数据进行处理的应用思路如图2所示。
2.大数据获取技术
每天都有大量数据产生,并且这些数据通过不同的途径,以不同的形式被接收和记录。本节将简单介绍几种常见的大数据获取途径。
(1)传感器技术:近年来,传感器技术蓬勃发展,无论是道路交通方面,还是医疗机构方面甚至是个人工作和生活场所,传感器无处不在,大量的数据源源不断地被传感器所接收。可以说,传感器的迅速普及,为大数据的获取提供了有力地保障。传感器技术的快速发展,也促进了传感器网络的逐步完善。由于构建传感器网络的设备、数据收集、数据存储等方面的差异性,网络孤岛普遍存在,如何解决异构网络所带来的数据共享问题一度成为研究者们面临的极大挑战。不过随后美国国家技术标准局(NIST)和IEEE共同组织了关于制订智能传感器接口和连接网络通用标准的研讨会,产生了IEEE1451传感器/执行器、智能变送器接口标准协议族,试图解决传感器市场上总线不兼容的问题。2005年,开放地理空间联盟(OGC)提出了一种新型的传感器Web整合框架标准,让用户能透过Web的界面来进行节点搜寻、数据获取及节点控制功能。文献[12]对无线传感器网路的路由协议进行了研究,指出多路径路由发展的趋势和挑战,而文献[13]则从生物学、商业、环境、医疗、工业以及军事等领域探讨无线传感器的重要用途。
(2)Web2.0技术:“Web2.0”的概念2004年始于出版社经营者O'Reilly和MediaLiveInternational之间的一场头脑风暴论坛,所谓的Web2.0是指互联网上的每一个用户的身份由单纯的“读者”进化为了“作者”以及“共同建设人员”,由被动地接收互联网信息向主动创造互联网信息发展。Web2.0伴随着博客、百科全书以及社交网络等多种应用技术的发展,大量的网页点击与交流促使了大数据的形成,给人类日常生活方式带来了极大的变革。
(3)条形码技术:条形码的使用给零售业带来了革命性的改变,通过内嵌ID等信息,条形码在被扫描之后,快速在数据库中进行ID匹配,便很快就获知该产品的价格、性能、产商等具体信息,条形码被广泛应用于零售商店的收银以及车站售票等业务中,每天大量的商品销售记录通过扫描条形码而产生。近年来的智能手机的盛行,手机应用如微信中的二维条形码也随处可见,文献[14]中设计了一种应用于手机应用的彩色二维条形码,改善了用户对应用程序的感受。
(4)RFID技术:RFID与条形码相比,扩展了操作距离,且标签的使用比条形码容易,携带一个可移动的阅读器便可收集到标签的信息,被广泛应用于仓库管理和清单控制方面。RFID标签可以分为两类,一类是被动的,如今被广泛使用,其造价便宜,但是没有内部电源,依靠阅读器的射频波产生能量,操作距离也很近,因而其适用性也受到了制约;另一类是主动的,其拥有内部电源,因此造价较贵,但是操作距离远,存储能力强,因而适用范围广,在未来这种标签会受到普遍欢迎的。学术界在RFID技术的研究上已经取得巨大的进步。较早的工作重心大多集中在对标签进行搜集的问题上,即尽可能快地在大量标签中搜集他们的ID,而这方面最大的挑战是解决多标签同时竞争较窄的信道引起冲突的问题。研究者们提出了两类解决思路,即基于ALOHA的协议[15-17]和基于树的协议[18-20]。而其他的工作专注于标签评估问题,即使用统计学的方法来评估一个庞大系统中的标签数目[21-23]。总之,RFID由于具有操作范围广泛、性能稳定以及高存储能力等特性,在工业界中将具有巨大的潜力。
(5)移动终端技术:随着科学技术的发展,移动终端诸如手机、笔记本、平板电脑等随处可见,加上网络的宽带化发展以及集成电路的升级,人类已经步入了真正的移动信息时代。如今的移动终端已经拥有极强的处理能力,通信、定位以及扫描功能应有尽有,大量的移动软件程序被开发并应用,人们无时无刻不在接收和发送信息。目前,智能手机等移动设备的数量仍然在迅猛增长中,移动社交网络也会日益庞大和复杂,海量的数据穿梭其中,针对移动数据的处理也将越来越复杂。
3.文件系统
文件系统是支撑上层应用的基础,本小节将简要介绍面向大数据处理的文件系统如谷歌分布式文件系统(GFS),以及一些其他的分布式文件系统。
1)分布式文件系统GFS:谷歌自行开发的文件系统GFS[24],是一个基于分布式集群的大型的分布式文件系统,它为MapReduce计算框架提供底层数据存储和数据可靠性。GFS采用廉价普通磁盘,并把磁盘数据出错视为常态,其自动多数据备份存储也增加了可靠性。GFS基本构架中,GFSMaster保存了GFS文件系统的3种元数据:命名空间、Chunk与文件名的映射表、Chunk副本的位置信息,前两个数据通过文秘站－您的专属秘书，中国最强免费文秘网！操作日志提供容错处理能力,第3个数据存储在ChunkServer上,可在Master失效时快速恢复Master上的元数据;GFSChunkServer是用来保存大量实际数据的数据服务器。GFS基本工作过程如下:(1)在程序运行前,数据已经存储在GFS文件系统中,程序执行时应用程序会告诉GFSServer所要访问的文件名或者数据块索引是什么。(2)GFSServer根据文件名和数据块索引在其文件目录空间中查找和定位该文件或数据块,并将这些位置信息回送给应用程序。(3)应用程序根据GFSServer返回的具体Chunk数据块位置信息,直接访问相应的ChunkServer。(4)应用程序直接读取指定位置的数据进行计算处理。后来谷歌对GFS进行了改进,并对新版本命名为Colosuss,主要对原有的单点故障、海量小文件存储等诸多问题进行了修正和改进,使得系统更加安全和健壮。
2)其他文件系统:除了谷歌的GFS,业界其他针对大数据存储需求的文件系统也层出不穷。Hadoop的文件系统HDFS[25]作为模仿GFS的开源实现,同样也为Hadoop的底层数据存储支撑,提供数据的高可靠性和容错能力,拥有良好的扩展性和高速数据访问性;SUN公司开发的Lustre[26]是一个大规模的、安全可靠的、具备高可用性的开源集群文件系统,美国能源部在此基础上实现了新一代的集群系统,显着提高了输入输出速度,已在高校、国家实验室和超级计算研究中心产生了深远影响;Facebook推出的针对海量小文件的文件系统Haystack[27]有效地解决了海量图片存储问题,它实现多个逻辑文件共享一个物理文件功能,并且增加缓存层,部分元数据直接被加载到了内存。
4.数据库系统
1)上在索引、数据压缩、可视化等技术方面的不断扩展,使其具有了高性能的优势。但是诸多因素导致了其扩展性面临严峻的挑战,主要体现在:(1)单机方面,并行数据库基于高端硬件设计,认为查询失败是特例且纠错复杂,不符合大规模集群失效常态的特性;(2)集群方面,并行数据库对异构网络支持有限,各节点性能不均,容易引起“木桶效应”。总之,并行数据库的扩展性方面的缺陷使其面临大数据的处理往往力不从心。
2)MapReduce分布式数据库BigTable:由前述知,并行数据库由于扩展性方面的缺陷无法胜任大数据的处理工作,以谷歌公司推出的BigTable为代表的未采用关系模型的NoSQL(NotonlySQL)数据库由此诞生,NoSQL数据库具有模式自由、简易备份、接口简单和支持海量数据等特性,对于大数据的存储和处理十分有效。谷歌在GFS之上又设计了MapReduce的分布式数据库BigTable[28],为应用程序提供了比单纯地文件系统更方便、更高层的数据操作能力,BigTable提供了一定粒度的结构化数据操作能力,主要解决一些大型媒体数据(Web文档、图片等)的结构化存储问题。BigTable主要是一个分布式多维表,表中数据通过行关键字、列关键字和时间戳来进行索引和查询定位,并且BigTable对存储在表中的数据不做任何解释,一律视为字串,具体数据结构的实现由用户自行定义。BigTable的基本构架如图3所示,BigTable中的数据均以子表形式保存在子表服务器上,最终以GFS文件形式存储在GFS文件系统中。客户端程序直接和子表服务器通信,Chubby服务器完成对子表服务器的状态监控,主服务器通过查看Chubby服务器目录来终止出现故障的子服务器并将其数据转移至其他子服务器。另外,主服务器还完成子表的创建和负载均衡等操作。当然,由于MapReduce将本来应由数据库管理系统完成的诸如文件存储格式的设计、模式信息的记录、数据处理算法的实现等工作转移给了程序员,从而导致程序员负担过重。另外,MapReduce是面向非结构化的大规模数据处理的,往往是一次处理,因而同等硬件条件下的性能也比并行数据库低[29]。
3)数据库的深层探讨:并行数据库具有高性能的优势,但扩展性问题阻碍了其在大数据处理上的进一步发展,而MapReduce性能和易用性上提升空间较大,因此目前两种方案均不理想。业界经过长时间的探讨,基本一致认为并行数据库和MapReduce各取其长,相互融合,也许是一种不错的道路[30]。由此诞生了并行数据库主导型、MapReduce主导型以及并行数据库与MapReduce集成型3类大数据处理数据库。
(1)并行数据库主导:型这类数据库的基本思路是在并行数据库上增加MapReduce的大数据处理能力,将数据分析过程转移到数据库内进行,使得原系统同时获得SQL的易用性与MapReduce的开放性。但是,并行数据库的扩展能力与容错能力并未得到改善,典型的系统如Greenplum[31]、Asterdata[32]等。
(2)MapReduce主导型:这类数据库的基本思路是利用关系数据库的SQL接口和模式支持技术改善MapReduce的易用性。通过SQL接口,可以很简便的完成查询分析等操作,大大减轻了程序员的负担,但MapReduce的性能方面仍有待提升,典型的系统如Facebook的Hive[33]和Yahoo!的PigLatin[34]等。
(3)并行数据库与MapReduce集成型:这类数据库兼顾并行数据库与MapReduce的长处,主要分两种思路:按功能将并行数据库与MapReduce分别设计到相应的部位以形成一个完整系统,以及整合并行数据库和MapReduce这两套完整的系统以构成一个混合系统。第一种思路典型代表是耶鲁大学提出的HadoopDB[35],它将Hadoop作为调度层和网络沟通层,关系数据库作为执行引擎,尽可能地将查询压入数据库层处理,Hadoop框架的应用可以获得较好的容错性和对异构环境的支持,库内数据查询的使用则可获得关系数据库的高性能优势。第二种思路的代表是Vertica数据库[36],它拥有两套独立完整的系统,Hadoop负责非结构化数据和耗时的批量复杂数据的处理,Vertica负责结构化数据的处理以及高性能的交互式查询。当然,这些思路仍非理想的方案,例如,HadoopDB丧失了MapReduce较低的预处理和维护代价等,Vertica则依旧存在Vertica扩展性问题和Hadoop的性能问题。因此,在大数据面前,数据库系统的研究还有很长的路要走,我们在 总结传统的数据库经验的同时,还要积极了解新兴的数据库系统,才能更好地促进适应现今大数据发展的优良数据库的面世。
5.大数据分析技术
用于大数据集的分析方法很多,包括统计学、计算机科学等各个领域的技术。本小节将简要介绍其中几种典型的大数据分析技术,当然,这些技术同样适用于少量数据集的分析,但大数据集环境下的应用无疑会发挥更加明显的作用。
(1)A/B测试:传统的A/B测试,是一种把各组变量随机分配到特定的单变量处理水平,把一个或多个测试组的表现与控制组相比较,进行测试的方式。现在的A/B测试主要用于在Web分析方面,例如通过对比统计新旧网页的用户转化率,来掌握两种设计的优劣等。大数据时代的到来为大规模的测试提供了便利,提高了A/B测试的准确性。由于移动设备及技术的迅猛发展,移动分析也逐渐成为A/B测试增长最快的一个领域。
(2)聚类分析聚类分析:
指将物理或抽象的集合分组成为由类似的对象组成的多个类的分析过程。聚类分析是一种探索性的数据挖掘分析方法,不需事先给出划分的类的具体情况,主要用在商业、生物学、因特网等多个领域中。对于大数据的分析处理,通过聚类可以简化后续处理过程,并且可以发现其中隐藏的某些规则,充分发挥了大数据的作用。
(3)集成学习:集成学习指的是使用一系列“学习器”进行学习,并使用某种规则把各学习结果进行整合从而获得比单个“学习器”更好的学习效果的一种机器学习方法。对于大数据的集成学习,可以更好地提炼和把握其中的本质属性。
(4)神经网络:神经网络是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型,它依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,来达到处理信息的目的。神经网络作为一门新兴的交叉学科,是人类智能研究的重要组成部分,已成为脑科学、神经科学、认知科学、心理学等共同关注的焦点。神经网络对于大数据的并行处理,无疑也是一种比较可行的方式。
(5)自然语言处理:自然语言处理是计算机科学领域与人工智能领域中的一个重要方向,它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。人与计算机的通信交流往往存在很多歧义,如何消除这些歧义,将带有潜在歧义的自然语言输入转换成某种无歧义的计算机内部表示,是自然语言处理的主要问题。大数据时代意味着有大量的知识和推理来完成消除歧义现象的可能,这也给自然语言处理带来了新的挑战和机遇。大数据分析技术还有很多,例如模式识别、空间分析、遗传算法等等,并且研究者们还在不断地寻找新的更有效地分析方法,另外通过结合多个方法来实现数据分析往往也能达到非常明显的效果。
6.大数据的可视化
面对海量的数据,如何将其清晰明朗地展现给用户是大数据处理所面临的巨大挑战。无论是学术界还是工业界,对大数据进行可视化的研究从未停止。通过将大数据图形化、图像化以及动画化等展示出来的技术和方法不断出现,本节将介绍几种典型的案例。
(1)宇宙星球图:俄罗斯工程师RuslanEnikeev根据2011年底的互联网数据,将196个国家的35万个网站数据整合起来,并根据200多万个网站链接将这些“星球”通过“关系链”联系起来组成了因特网的“宇宙星球图”[37]。不同颜色代表不同的国家,每个“星球”的大小根据其网站流量来决定,而“星球”距离远近根据链接出现的频率、强度等决定。类似地,对于具有复杂结构的社交网络,“宇宙星球图”同样也十分适用,可以根据个人的知名度、人与人之间的联系等进行绘画星球图。
(2)标签云:“标签云”的设计思路主要是,对于不同的对象用标签来表示,标签的排列顺序一般依照字典排序,按照热门程度确定字体的大小和颜色。例如对于某个文档,出现频度越高的单词将会越大,反之越小。这样,便可以根据字母表顺序和字体的大小来对各单词的具体情况一目了然。文献[38]通过将地图上的各个物理位置根据描述的具体程度用“标签云”表示,使得用户对各个场所的知名程度有个清晰的认识。
(3)历史流图:文献[39]提出了一种用于可视化文档编辑历史的“历史流图”,对于一个面向大众的开放文档,编辑和查阅都是自由的,用户可以随时自由的对文档进行增加或删除操作。“历史流图”中,横坐标轴表示时间,纵坐标轴表示作者,不同作者的不同内容对应中间部分不同颜色和长度,随着时间的推移,文档的内容不断变化,作者也在不断增加中。通过对“历史流图”的观察,很容易看出各人对该文档的贡献,当然,除了发现有人对文档给出有益的编辑外,也存在着一些破坏文档、删除内容的人,但总有逐渐被修复回去的规律。像维基百科等的词条注释文档,“历史流图”的可视化效果十分明显。关于大数据可视化的方面努力还有很多,不同的“源数据”有不同的可视化策略,大数据可视化的研究工文秘站－中国最强免费文秘网！作仍有待进行下去。
大数据应用所面临的问题
大数据时代面临的首要问题是人力和财力问题,IDC分析称,大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据调查,仅美国就缺少大约14万到19万的具有深层次数据分析技巧的专业技术人员以及150万针对大数据的经理人。据阿里巴巴称,虽然其各类业务产生的数据为数据分析创造了非常好的基础条件,然而却招聘不到合适的数据科学家而影响了研发进展。高德纳公司预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。其中有190万个工作岗位将在美国,每一个与大数据有关的IT工作,都将在技术行业外部再建3个工作岗位,这将在美国再创建将近600万个工作岗位。数据科学家是复合型人才,是对数学、统计学、机器学习等多方面知识的综合掌控,能对数据做出预测性的、有价值的分析。因此,各国对大数据人才的培养工作应当快速有效地着手执行。大数据的接收和管理也需要大量的基础设施和能源,无论是传感器还是数据中心的服务器,都需要大量的硬件投入和能源消耗,这也就意味着大数据处理的财力需求极为可观。如何处理好大数据产生的资金投入比例,也成为了各国和各企业决策者面临的难题。另外,大数据还将面临严重的安全和隐私 问题。首先,随处可见的传感器和摄像头等设备,会监视并记录人们位置等信息,通过海量数据的分析,便可轻易了解人们的行踪规律,从而可能给人们带来生命和财产安全;其次,“云设施”的经济划算,推动了僵尸网络的发展及海量并行处理破解密码系统的可能性;最后,由于云计算要求我们放弃自主计算能力,当整个社会的信息,包括个人信息、商业信息都存储在巨头们提供的“云”上时,我们只能寄希望于这些巨头们都是道德高尚的圣人,否则我们将面临灾难性损失。面对这些安全威胁,学术界和工业界也都纷纷提出自己策略。针对基于位置服务的安全性问题,文献[40]提出了一种k-匿名方法,即将自己与周围k-1个用户组成一个范围集合性对象来请求位置服务,从而模糊了自己的准确位置。文献[41]提出的策略是,搜集周围的k-1个用户的位置信息,并以其中的某一个的名义发送位置服务请求,从而也达到隐藏准确坐标的目的。Roy等人将集中信息流控制和差分隐私保护等技术融入云中的数据生成与计算阶段,提出了一种隐私保护系统Airavat[42],防止MapReduce计算过程中将非授权的隐私数据泄露出去,并且支持对计算结果的自动除密。Mowbray等人在数据存储和使用阶段使用一种基于客户端的隐私管理工具[43],提供以用户为中心的信任模型,帮助用户控制自己的敏感信息在云端的存储和使用。苹果最近申请了一项专利,叫做电子分析污染技术,能够将用户在苹果产品上产生的行为数据进行污染和混淆,让其他厂商获取不到真正的用户数据。这类信息安全保护的思路是:当各种加密措施无法彻底保护个人信息时,不如将大量的垃圾信息、错误信息充斥在真实有效的信息之中,让窃取者不得不耗费巨大的成本从中分析。高德纳公司分析指出,大数据安全是一场必要的斗争,并且大数据本身更可用来提高企业安全。因为解决安全问题的前提是,企业必须先确定正常、非恶意活动是啥样子的,然后查找与之不同的活动;从而,发现恶意活动,基于大数据来建立一个基线标准就很好地达到了这个目的。
最后,大数据的出现会促使IT相关行业的生态环境和产业链的变革。传统的网络公司运营模式是在自己的服务器上来管理若干产品和服务,并通过网络连线提供给用户终端,产生的数据归公司独有。然而,在大数据时代,这种模式已经难以胜任,服务公司往往会选择租赁第三方的开放平台来运营自己的业务。这样,用户提供数据,服务方处理数据,但数据的实际存储地却在第三方。大数据影响的IT产业链大致包括数据资源、应用软件、基础设施三大部分。数据资源方面,各大信息中心、通信运营商等积极研制和引用大数据技术,挖掘大量数据分析相关人才,数据资源的收集和开发产业逐步完善;应用软件方面,随着高性能云平台的出现,云应用软件也不断被开发出来,用户再也不必烦恼复杂的软件安装和配置过程,便可以轻松享受各种网络应用服务;基础设施方面,大数据对硬件的依赖,迫使高性能硬盘、低能耗服务器、小巧化个人终端等行业的快速发展。另外,大数据技术的日益成熟也会促使跨行业经营模式的发展。第三方可以将用户的各种服务请求进行打包,然后利用大数据分析来寻求最好的服务商的组合以反馈给用户。对服务提供方来说,借助第三方可以更好地推销自己的服务。而对第三方而言,可以获得大量的分析数据,其中的利益也是可观的,真正的实现了“双赢”,同时也使得用户获得更好的服务体验。
大数据时代挑战与机遇并存,正确处理好大数据,不仅符合企业的利益,也给人们日常生活带来极大的便利。本文对大数据的基本概念、处理流程以及相关技术进行了简要的探讨,并分析了大数据可能带来的一些问题及应对策略。云计算目前是处理大数据的基础技术,但其在安全和隐私方面的保障工作仍让不少人感到怀疑,根本原因还是个人和商业的信息都存放在远端的巨头们提供的看不见的“云”上。大数据时代已经到来,但是,相应的技术体系和社会保障仍是亟需研究的应用课题
大数据应用论文:参加大数据审计应用培训心得
近日，__市审计局开展了面向全体业务人员的大数据应用审计业务培训会，旨在提升业务人员在项目审计过程中的审计效率，运用大数据审计思维和计算机审计手段，充分发挥审计功能。通过培训，审计人员不仅学习了新的技术，还对当前我国审计事业的发展有了新的认识,为共同创造我省审计事业的新成绩，打下了基础。
日，国家行政学院常务副院长马建堂在国家行政学院召开的“大数据与国家治理”圆桌论坛上表示“要积极拥抱使用大数据，以提高政府公共管理能力、公共服务水平、公共政策质量。”随着当代信息技术的蓬勃发展，各行各业均所产生的数据量将呈指数级增长，数据种类和格式也日渐丰富，除了储存这些数据，审计人员更多是要利用这些大数据，对它们进行收集，整理，清洗，分析，利用这些数据创造新的价值。随着被审计单位财务软件和业务软件的不断更新升级，审计人员运用“低成本、低风险、高效率”的审计技术变得尤为重要。__省审计厅审计云系统的搭建，为基层审计工作者节约了数据采集、整理及转换的时间，同时通过云系统进行数据分析，进一步的提高了审计工作效率，变审计工作重点从“现场审计找疑点”为“现场审计核实疑点”，实现“快、准、稳”的审计目标要求。
计算机审计的效果，取决于审计人员将计算机技术与审计方法结合能力的高低。要推动大数据审计的落实与发展，基层审计机关必须建立高素质的计算机审计队伍。加强审计人员计算机操作技能的培训，是推进基层大数据审计的重要手段。此次__市审计局开展的业务培训会，除了对word￥excel及审计软件的基本操作进行解析外，着重强调了审计人员应当培养充分应用计算机审计的工作意识。在此基础上，加入了计算机软硬件及网络应有的安全控制方法、计算机知识与审计知识的融合两方面培训内容，旨在培养具备计算机常识、网络知识以及掌握信息系统审计技术的现代审计业务人员，促使审计人员在审计工作中将审计知识与计算机技术进行有效结合。
日，中国政府网公布中共中央办公厅、国务院办公厅印发《关于实行审计全覆盖的实施意见》，是对国家审计监督提出实现审计监督全覆盖的时代要求。面对一个个数量庞大、种类繁杂的数据信息源，如何整合审计数据中心数据资源、挖掘跨行业、跨单位、跨系统的核心数据就变得十分重要。此次__市审计局开展的业务培训会，以本级财政预算审计为例，将财政四大业务系统与财务系统进行跨系统数据整理及对比分析方法及操作核心详细解读，为审计业务人员提供了跨系统数据比对分析思路，激发了审计业务人员对进一步实现跨单位、跨行业的全覆盖审计思路。
在大数据时代，挑战与机遇并存，计算机信息技术的广泛运用和审计业务已经深度融合，为审计事业带来了新发展。
大数据应用论文:国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见
国办发〔2016〕47号
各省、自治区、直辖市人民政府，国务院各部委、各直属机构：
健康医疗大数据是国家重要的基础性战略资源。健康医疗大数据应用发展将带来健康医疗模式的深刻变化，有利于激发深化医药卫生体制改革的动力和活力，提升健康医疗服务效率和质量，扩大资源供给，不断满足人民群众多层次、多样化的健康需求，有利于培育新的业态和经济增长点。为贯彻落实《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号）要求，顺应新兴信息技术发展趋势，规范和推动健康医疗大数据融合共享、开放应用，经国务院同意，现提出如下意见。
一、指导思想、基本原则和发展目标
（一）指导思想。深入贯彻落实党的十八大和十八届三中、四中、五中全会精神，牢固树立并切实贯彻创新、协调、绿色、开放、共享的发展理念，按照党中央、国务院决策部署，发挥市场在资源配置中的决定性作用，更好发挥政府作用，以保障全体人民健康为出发点，强化顶层设计，夯实基层基础，完善政策制度，创新工作机制，大力推动政府健康医疗信息系统和公众健康医疗数据互联融合、开放共享，消除信息孤岛，积极营造促进健康医疗大数据安全规范、创新应用的发展环境，通过“互联网+健康医疗”探索服务新模式、培育发展新业态，努力建设人民满意的医疗卫生事业，为打造健康中国、全面建成小康社会和实现中华民族伟大复兴的中国梦提供有力支撑。
（二）基本原则。
坚持以人为本、创新驱动。将健康医疗大数据应用发展纳入国家大数据战略布局，推进政产学研用联合协同创新，强化基础研究和核心技术攻关，突出健康医疗重点领域和关键环节，利用大数据拓展服务渠道，延伸和丰富服务内容，更好满足人民健康医疗需求。
坚持规范有序、安全可控。建立健全健康医疗大数据开放、保护等法规制度，强化标准和安全体系建设，强化安全管理责任，妥善处理应用发展与保障安全的关系，增强安全技术支撑能力，有效保护个人隐私和信息安全。
坚持开放融合、共建共享。鼓励政府和社会力量合作，坚持统筹规划、远近结合、示范引领，注重盘活、整合现有资源，推动形成各方支持、依法开放、便民利民、蓬勃发展的良好局面，充分释放数据红利，激发大众创业、万众创新活力。
（三）发展目标。到2017年底，实现国家和省级人口健康信息平台以及全国药品招标采购业务应用平台互联互通，基本形成跨部门健康医疗数据资源共享共用格局。到2020年，建成国家医疗卫生信息分级开放应用平台，实现与人口、法人、空间地理等基础数据资源跨部门、跨区域共享，医疗、医药、医保和健康各相关领域数据融合应用取得明显成效；统筹区域布局，依托现有资源建成100个区域临床医学数据示范中心，基本实现城乡居民拥有规范化的电子健康档案和功能完备的健康卡，健康医疗大数据相关政策法规、安全防护、应用标准体系不断完善，适应国情的健康医疗大数据应用发展模式基本建立，健康医疗大数据产业体系初步形成、新业态蓬勃发展，人民群众得到更多实惠。
二、重点任务和重大工程
（一）夯实健康医疗大数据应用基础。
1.加快建设统一权威、互联互通的人口健康信息平台。实施全民健康保障信息化工程，按照安全为先、保护隐私的原则，充分依托国家电子政务外网和统一数据共享交换平台，拓展完善现有设施资源，全面建成互通共享的国家、省、市、县四级人口健康信息平台，强化公共卫生、计划生育、医疗服务、医疗保障、药品供应、综合管理等应用信息系统数据采集、集成共享和业务协同。创新管理模式，推动生育登记网上办理。消除数据壁垒，畅通部门、区域、行业之间的数据共享通道，探索社会化健康医疗数据信息互通机制，推动实现健康医疗数据在平台集聚、业务事项在平台办理、政府决策依托平台支撑。
2.推动健康医疗大数据资源共享开放。鼓励各类医疗卫生机构推进健康医疗大数据采集、存储，加强应用支撑和运维技术保障，打通数据资源共享通道。加快建设和完善以居民电子健康档案、电子病历、电子处方等为核心的基础数据库。建立卫生计生、中医药与教育、科技、工业和信息化、公安、民政、人力资源社会保障、环保、农业、商务、安全监管、检验检疫、食品药品监管、体育、统计、旅游、气象、保险监管、残联等跨部门密切配合、统一归口的健康医疗数据共享机制。探索推进可穿戴设备、智能健康电子产品、健康医疗移动应用等产生的数据资源规范接入人口健康信息平台。建立全国健康医疗数据资源目录体系，制定分类、分级、分域健康医疗大数据开放应用政策规范，稳步推动健康医疗大数据开放。
（二）全面深化健康医疗大数据应用。
3.推进健康医疗行业治理大数据应用。加强深化医药卫生体制改革评估监测，加强居民健康状况等重要数据精准统计和预测评价，有力支撑健康中国建设规划和决策。综合运用健康医疗大数据资源和信息技术手段，健全医院评价体系，推动深化公立医院改革，完善现代医院管理制度，优化医疗卫生资源布局。加强医疗机构监管，健全对医疗、药品、耗材等收入构成及变化趋势的监测机制，协同医疗服务价格、医保支付、药品招标采购、药品使用等业务信息，助推医疗、医保、医药联动改革。
4.推进健康医疗临床和科研大数据应用。依托现有资源建设一批心脑血管、肿瘤、老年病和儿科等临床医学数据示范中心，集成基因组学、蛋白质组学等国家医学大数据资源，构建临床决策支持系统。推进基因芯片与测序技术在遗传性疾病诊断、癌症早期诊断和疾病预防检测方面的应用，加强人口基因信息安全管理，推动精准医疗技术发展。围绕重大疾病临床用药研制、药物产业化共性关键技术等需求，建立药物副作用预测、创新药物研发数据融合共享机制。充分利用优势资源，优化生物医学大数据布局，依托国家临床医学研究中心和协同研究网络，系统加强临床和科研数据资源整合共享，提升医学科研及应用效能，推动智慧医疗发展。
5.推进公共卫生大数据应用。加强公共卫生业务信息系统建设，完善国家免疫规划、网络直报、网络化急救、职业病防控、口岸公共卫生风险预警决策等信息系统以及移动应急业务平台应用功能，推进医疗机构、公共卫生机构和口岸检验检疫机构的信息共享和业务协同，全面提升公共卫生监测评估和决策管理能力。整合社会网络公共信息资源，完善疾病敏感信息预警机制，及时掌握和动态分析全人群疾病发生趋势及全球传染病疫情信息等国际公共卫生风险，提高突发公共卫生事件预警与应急响应能力。整合环境卫生、饮用水、健康危害因素、口岸医学媒介生物和核生化等多方监测数据，有效评价影响健康的社会因素。开展重点传染病、职业病、口岸输入性传染病和医学媒介生物监测，整合传染病、职业病多源监测数据，建立实验室病原检测结果快速识别网络体系，有效预防控制重大疾病。推动疾病危险因素监测评估和妇幼保健、老年保健、国际旅行卫生健康保健等智能应用，普及健康生活方式。
6.培育健康医疗大数据应用新业态。加强健康医疗海量数据存储清洗、分析挖掘、安全隐私保护等关键技术攻关。积极鼓励社会力量创新发展健康医疗业务，促进健康医疗业务与大数据技术深度融合，加快构建健康医疗大数据产业链，不断推进健康医疗与养生、养老、家政等服务业协同发展。发展居家健康信息服务，规范网上药店和医药物流第三方配送等服务，推动中医药养生、健康养老、健康管理、健康咨询、健康文化、体育健身、健康医疗旅游、健康环境、健康饮食等产业发展。
7.研制推广数字化健康医疗智能设备。支持研发健康医疗相关的人工智能技术、生物三维（3D）打印技术、医用机器人、大型医疗设备、健康和康复辅助器械、可穿戴设备以及相关微型传感器件。加快研发成果转化，提高数字医疗设备、物联网设备、智能健康产品、中医功能状态检测与养生保健仪器设备的生产制造水平，促进健康医疗智能装备产业升级。
（三）规范和推动“互联网+健康医疗”服务。
8.发展智慧健康医疗便民惠民服务。发挥优质医疗资源的引领作用，鼓励社会力量参与，整合线上线下资源，规范医疗物联网和健康医疗应用程序（APP）管理，大力推进互联网健康咨询、网上预约分诊、移动支付和检查检验结果查询、随访跟踪等应用，优化形成规范、共享、互信的诊疗流程。探索互联网健康医疗服务模式。以家庭医生签约服务为基础，推进居民健康卡、社会保障卡等应用集成，激活居民电子健康档案应用，推动覆盖全生命周期的预防、治疗、康复和健康管理的一体化电子健康服务。
9.全面建立远程医疗应用体系。实施健康中国云服务计划，建设健康医疗服务集成平台，提供远程会诊、远程影像、远程病理、远程心电诊断服务，健全检查检验结果互认共享机制。推进大医院与基层医疗卫生机构、全科医生与专科医生的数据资源共享和业务协同，健全基于互联网、大数据技术的分级诊疗信息系统，延伸放大医疗卫生机构服务能力，有针对性地促进“重心下移、资源下沉”。
10.推动健康医疗教育培训应用。支持建立以国家健康医疗开放大学为基础、中国健康医疗教育慕课联盟为支撑的健康医疗教育培训云平台，鼓励开发慕课健康医疗培训教材，探索新型互联网教学模式和方法，组织优质师资推进网络医学教育资源开放共享和在线互动、远程培训、远程手术示教、学习成效评估等应用，便捷医务人员终身教育，提升基层医疗卫生服务能力。
（四）加强健康医疗大数据保障体系建设。
11.加强法规和标准体系建设。制定完善健康医疗大数据应用发展的法律法规，强化居民健康信息服务规范管理，明确信息使用权限，切实保护相关各方合法权益。完善数据开放共享支撑服务体系，建立“分级授权、分类应用、权责一致”的管理制度。规范健康医疗大数据应用领域的准入标准，建立大数据应用诚信机制和退出机制，严格规范大数据开发、挖掘、应用行为。建立统一的疾病诊断编码、临床医学术语、检查检验规范、药品应用编码、信息数据接口和传输协议等相关标准，促进健康医疗大数据产品、服务流程标准化。
12.推进网络可信体系建设。强化健康医疗数字身份管理，建设全国统一标识的医疗卫生人员和医疗卫生机构可信医学数字身份、电子实名认证、数据访问控制信息系统，积极推进电子签名应用，逐步建立服务管理留痕可溯、诊疗数据安全运行、多方协作参与的健康医疗管理新模式。
13.加强健康医疗数据安全保障。加快健康医疗数据安全体系建设，建立数据安全管理责任制度，制定标识赋码、科学分类、风险分级、安全审查规则。制定人口健康信息安全规划，强化国家、区域人口健康信息工程技术能力，注重内容安全和技术安全，确保国家关键信息基础设施和核心系统自主可控稳定安全。开展大数据平台及服务商的可靠性、可控性和安全性评测以及应用的安全性评测和风险评估，建立安全防护、系统互联共享、公民隐私保护等软件评价和安全审查制度。加强大数据安全监测和预警，建立安全信息通报和应急处置联动机制，建立健全“互联网+健康医疗”服务安全工作机制，完善风险隐患化解和应对工作措施，加强对涉及国家利益、公共安全、患者隐私、商业秘密等重要信息的保护，加强医学院、科研机构等方面的安全防范。
14.加强健康医疗信息化复合型人才队伍建设。实施国家健康医疗信息化人才发展计划，强化医学信息学学科建设和“数字化医生”培育，着力培育高层次、复合型的研发人才和科研团队，培养一批有国际影响力的专门人才、学科带头人和行业领军人物。创新专业人才继续教育形式，完善多层次、多类型人才培养培训体系，推动政府、高等院校、科研院所、医疗机构、企业共同培养人才，促进健康医疗大数据人才队伍建设。
三、加强组织实施
（一）强化统筹规划。建立党委政府领导、多方参与、资源共享、协同推进的工作格局。国家卫生计生委要综合统筹、强化实施，各有关部门要密切配合、形成合力，推动重点任务落实。各地区要重视健康医疗大数据应用发展，切实搞好总体规划、基础建设、安全监管，确保各项任务措施落到实处。推进健康医疗大数据军民融合发展，促进军地健康医疗数据规范衔接、互通共享、协同应用。加强对健康医疗大数据应用发展的指导，强化对技术研发、新业态构建、应用推广的统筹协调，研究建立专家委员会，组织研究制定发展战略及相关政策、法规、标准。
（二）抓住重点着力突破。从人民群众迫切需求的领域入手，重点推进网上预约分诊、远程医疗和检查检验结果共享互认等便民惠民应用。加快推进基本医保全国联网和异地就医结算。支持发展医疗智能设备、智能可穿戴设备，加强疑难疾病等重点方面的研究。选择一批基础条件好、工作积极性高、隐私安全防范有保障的地区和领域开展健康医疗大数据应用试点，总结经验，扎实有序推进。
（三）加大政策扶持力度。研究制定政府支持政策，从财税、投资、创新等方面对健康医疗大数据应用发展给予必要支持。推广运用政府和社会资本合作（PPP）模式，鼓励和引导社会资本参与健康医疗大数据的基础工程、应用开发和运营服务。鼓励政府与企事业单位、社会机构开展合作，探索通过政府采购、社会众包等方式，实现健康医疗大数据领域政府应用与社会应用相融合。充分发挥已设立的有关投资基金作用，充分激发社会资本和民间资本参与热情，鼓励创新多元投资机制，健全风险防范和监管制度，支持健康医疗大数据应用发展。
（四）加强政策宣传普及。加强健康医疗大数据应用发展政策解读，大力宣传应用发展的重要意义和应用前景，积极回应社会关切，形成良好社会氛围。积极引导医疗卫生机构和社会力量参与开展形式多样的科普活动，宣传普及健康医疗大数据应用知识，鼓励开发简便易行的数字医学工具，不断提升人民群众掌握相关应用的能力和社会公众健康素养。
（五）推进国际交流合作。有序推进健康医疗大数据应用发展的人才技术交流与合作。鼓励相关企业和科研单位开展对国际先进技术的引进、消化吸收和再创新，推动我国自主技术与全球同步发展。加大对国际健康医疗大数据应用标准的跟踪、评估和转化力度，积极参与国际标准制定，增强相关规则制定的话语权。坚持以我为主、加强监管、确保安全原则，稳步探索国际健康医疗大数据应用发展合作新模式，不断提升我国健康医疗大数据应用水平、产业核心竞争力和国际化水平。
大数据应用论文:大数据在现代旅游管理中的应用
［摘要］大数据是近年来非常火热的一个词汇。大数据的利用可以更好地服务广大消费者，因而有着极大的应用价值。结合旅游管理工作，探讨现代旅游管理实践中的大数据应用。
［关键词］现代；旅游管理；大数据；服务
随着近些年来游客们的出行方式越来越多样化，各种丰富多样的旅游主题网站、微博、微信等等社交媒体层出不穷，人们在旅游方面生产的数据越来越多。相应的，多种来源收集数据、储存数据、分析数据的能力也在飞快的发展，在现在旅游管理工作中，大数据的技术能够应用于多个方面，本文就这一问题进行简要分析。
1结合大数据内涵，突出旅游价值
总的来说，所谓大数据就是数量特别庞大的数据资料，不能通过已有的软件工具进行提取、储存、分析、共享等处理的复杂数据的集合。而对于旅游业来说，其核心内容即旅游服务供应链的每一个组成分支，都在连续不断地持续生产着数据，不论是从提供基础设施的合作商、提供衣食住行的旅游合作商、介绍旅客的中介商甚至是出行的游客以及管理的旅游部门无一例外，在整个旅游供应链中，数据类型的类型众多并且十分庞大，产生数据的题量大、数据的类型多、数据的流速高且能提供参考价值的数据密度低。对于旅游管理部门来说，合理利用旅游大数据，积极进行数据深度挖掘，对于旅游的可持续发展具有较高的价值，能够有效地通过人民的出行以点带面地带动整个经济。在我国多个文化产业方向都由十分巨大的经济潜在价值和应用前景。旅游大数据主要分为两个主要部分，结构化大数据和非结构化大数据，结构化大数据就是按照已经规定好的格式进行数据的整理，存储到数据库中以便能被核心管理系统进行分析。而非结构化的大数据就是指其他类型的数据格式，例如一些办公文件、文本、图片、音频、报表等。非结构化的旅游大数据一般包括旅游景点的监控视频、社交媒体上的音频、视频、出行数据、线上旅游的营销状况等。
2利用大数据分析，推动旅游决策
利用旅游大数据可以有效地分析游客的需求，这样的预测可以更好地帮助旅游运营商设计旅游路线，为推出新的旅游决策提供强有力地依据。究其根本，针对旅游需求的预测不仅仅可以帮助管理局更有目的的规划旅游决策，制定旅游方案，还可以使得旅游服务链上的各个环节衔接得更加紧密，上下协调一致，大大提高旅游业循环效率。旅游需求一般包括以下两个方面的内容，一方面是旅游者对于旅游过程中享受的硬件设备的要求，另一方面是旅游服务人员等软件的需求。但是旅游产业是一个较为独特的工作链，首先，旅游设施的建设是一个长期的过程，由于其地理位置的特殊性和所需材料的庞大，必定需要长期的时间和大量的工程技术人员 ；其次，在旅游行业中，季节性十分明显，并且不具有其他服务行业的可储存性、无形性等特点，这就造成了旅游行业的不确定因素太多，很容易就造成了成本风险，使得行业内部的竞争变得越来越明显。因此，利用大数据进行预测未来旅游业发展趋势是一项非常必要的工作，能够为整个旅游业指明发展的方向，并在一定程度上降低投资风险。其次，大数据还可以在拟定好的运营方案正式上线之前进行模拟，模拟投入运行时市场可能出现的多种情况，分析其特征和规模，进行有效的市场分析以及定位，预测未来可能会出现的运营状况，并通过市场分析进行定位，尤其是对于旅游热门地区来说，对于改变旅游行业规划晚于市场发展这一现状有显著的作用。
3通过大数据特征，优化旅游营销
当完成了预测任务后，旅游管理部门可以利用大数据对整个旅游市场进行细致的划分，分析大数据中游客们的基本属性、需求、共同的行为特征，以及一些特定人群的偏好，例如青少年、老年人等，进行多个角度的分析，从而做到精准定位旅游行业，设计出更具有针对性的旅游项目，以达到大幅度提高旅游业发展的最终目的。具体来说，游客的基本属性是指性别、年龄、财产状况以及受教育程度等自身属性，需求则是旅客们期望的出行方式、热门出行地点，各个旅游网页的实时搜索热度等。对于旅游管理部门来说，可以通过统计各个景区内部的大数据，例如周围酒店入住情况、景区门票销售情况等，管理部门可以与网络营销平台、景区做到三方联合，进行大数据的整理，根据旅客的基本属性进行资源的预备，应对未来可能出现的庞大客流量和客流需求。管理部门可以与每个景区的监控系统实现网络互通，以便当发生一些突发紧急事件，如踩踏、堵塞等进行实时监控并及时给出建议和反馈。从整个旅游管理行业的宏观方向来看，大数据的信息引导往往比其他的理想规划引导、行政干涉、法律规范等其他调控工具来说更加敏捷迅速准确，因为大数据具有庞大的数据分析作为先天优势，能够较为精确地帮助旅游业各个环节精准定位。这也说明了，旅游服务行业如果想成长成为一个完整的不可撼动的整体，必须要实现各个环节之间的无缝对接，多个部门同时运作，协调一致，达到旅游大数据信息的共享与合理分配。总之，将大数据的管理思想融入到旅游服务行业中去，是提高旅游管理水平、实现高效旅游的一个有力途径，但正如事物都有两面性一样，大数据也不可避免地会泄露一些游客的个人隐私，导致游客提供的数据不能确保真实性，因此如何攻克这一点，做更精确的大数据分析是目前旅游市场需要攻克的难题。
作者:高璐 单位:江苏省南通市旅游局办公室
大数据应用论文:大数据技术在企业战略管理的应用
摘要：随着企业的发展和信息技术的不断发展，企业逐渐进入了大数据时代。如何对纷繁复杂的数据进行分析，从中找出对企业的发展有用的信息来促进企业的发展在科学技术现代化的今天越来越中重要。企业管理者只有采用先进的科学技术对企业的各项活动进行管理。企业的管理者要根据大数据分析技术进行战略决策。在现代化科学技术比较发达的今天大数据技术与企业的管理融合是未来的发展趋势。
关键词：大数据;企业管理战略;信息技术;大数据时代
大数据的发展改变了社会的生活方式生产方式及企业的管理方式。大数据改变了企业的营销方式，使企业能够从繁复的信息中找新的经济增长点。只有利用好大数据才能够使企业的核心竞争力适应环境的不断变化。大数据时代科学技术在企业中的广泛应用,不断改变了人类社会的生活方式和生产方式。企业要不断提高自身对数据的分析能力才能够提高对数据综合分析能力。
1大数据时代下的企业管理战略
1.1企业通过大数据技术的分析进行企业战略决策
大数据时代的到来企业已经改变了企业原有的生产管理方式。企业已经逐渐通过大数据的分析进行企业战略决策。企业庞大的信息库已经不是人力所能够分析的，企业必须要采用现代化的科学技术进行数据分析提供科学的战略决策。大数据的分析与数学模型的建立有着千丝万缕的联系。企业要提高数据分析的准确性就要建立更多的数学模型让数据能够找到适应的模型。同时数学模型要能够适应数据的不断增长和发展。管理者要通过多种数学模型分析数据不断提高企业的竞争能力。随着社会的不断发展企业家都希望通过挖掘数据找到商业的价值，帮助企业快速发展实现利益增长。大数据的分析技术可以使企业发展更加良性化。
1.2大数据分析技术有助于优化企业的战略决策
大数据推动了企业进行深入的变革，现代的企业逐渐的朝着科技革命和创新管理模式方向发展。企业要提高自身的经济利益就要对企业内部和外部的环境都进行分析，通过对企业的数据进行预测、分析、规划和控制等的处理使自身利益得到最大化。针对企业内部和外部的环境因素纷繁复杂、数据众多，企业必须要通过大数据分析选定合理的战略方案进行企业管理。企业要利用大数据对周围的环境进行分析，制定正确的战略抉择，准确的把握企业的信息，合理地组织企业架构，实现企业利益最大化。大数据技术能够对管理环节和市场需求进行分析，利用大数据建立起相应的数学模型，提供科学的、有利于企业发展的决策。
1.3大数据分析有助于企业决策者进行企业的决策
企业决策者通过大数据进行信息技术分析选择正确的战略决策。企业要在大数据分析技术的指导下进行使企业不断的适应时代的发展。企业在战略管理抉择方面对大数据进行分析，不断对企业的运营和管过程监控评价，不断的修改原有的方案，使企业慢慢地强大起来。
2大数据在企业管理中的具体应用
2.1数据挖掘与战略管理
知识的发现过程主要涉及到“数据仓库，数据选择，数据清理，数据预先处理，模型选择”等内容，管理决策发展的过程就是利用假设检验将信息转化为知识的过程。在数据的挖掘方面可以发现很多有趣的数学模型对信息决策非常有用，这些数学模型可以存储在数据仓库、数据库等信息库中，在解决相关问题是只要调出相关模型就可以了。数据挖掘实施方法论在的应用非常广泛。这种数据挖掘方式通过提供方法和参考模型，帮助用户进行数据方面的挖掘。这种方法在企业决策方面的数据挖掘方面运用很普遍。
2.2跨行业标准数据挖掘方法论的主要数据挖掘技术
这种数据挖掘理论涉及到的技术主要有关联数据技术、分类数据技术、聚类数据技术、时间序列分析技术等。
2.3跨行业标准数据挖掘论的生命周期
跨行业标准数据挖掘论的生命周期主要分为六个阶段，主要包括业务理解、数据理解、数据准备、数学模型建立、数据评估、数据发布等几个阶段。
3利用数据模型进行战略管理
3.1利用数据技术进行企业的战略管理
企业利用数据技术进行战略管理的策略主要有SWOT战略、差异化竞争战略、相关联的多元化战略、市场预测战略等。企业的战略管理主要涉及五个方面的内容，主要包括：企业的愿景和使命，企业的战略目标，企业的环境分析，企业的战略制定，企业的战略实施，企业的战略评估。
3.2数据管理与企业战略管理间的映射
关联规则与SWOT战略：关联规则在数据可中的应用非常广泛，SWOT主要用来对企业的战略环境进行分析。SWOT是一种分析方法。企业战略管理运用SWOT这种分析方法来发现组织不同环境因素之间的关系。这两种分析方法目的都在于能够发现和理解不同参数之间的关系。
3.3分类和数据差异化战略
数据库中的分类是根据数据库中的一些属性构造模型，并且使用这种模型分类。战略管理的差异化策略能够为不同的客户提供与其他同行业企业不同的产品和服务。这种策略不仅能够满足用户的需要，还不容易被同行业的产品取代。运用差异化战略用户只要根据产品形态上的差异就能够预测，可以看做是一个分类问题。
3.4聚类与相关多元化
聚类就是把数据按照相似性的要求分成不同的类别。企业管理的多元化战略主要论述公司在业务竞争上有价值的“战略匹配关系”。这种新的业务问题可以看作是一个聚类问题。
4大数据技术对决策系统的影响
企业的决策大数据是企业的信息数字化、并对这些数据进行整理和分析。首先企业要按照企业的层级功能建立数据采集系统，从多个维度采集信息。第二，企业推进信息决策的自动化、分算化、前端化。要提高决策的信息指标和科技含量。随着社会的不断发展，传统的决策已经没有办法满足企业快速发展的需要。企业要以网络技术为基础，通过大数据分析建立分散的决策模式。在这个复杂的决策环境中决策的时效性对企业管理更为重要，传统的决策模式已经不能够适应社会的发展需求，大数据技术为企业带来了新的决策分析方法。企业要通过决模型的创新，建立适应企业发展的决策模型。
随着大数据技术的不断发展，社会政府和企也都把大数据作为关注的重点。通过大数据技术对企业进行精确的管理，为企业提供科学的决策。大数据技术有助于企业综合实力的提升，有助于企业适应未来的发展。在企业的竞争中人才是最根本的因素。企业要重视人才的培养。
作者:姚欣欣 张峰 孙雷 单位:国网辽宁省电力有限公司盘锦供电公司
大数据应用论文:大数据在物资招标采购管理中的应用
大数据在招标采购管理中的应用分为四个主要步骤，分别是:历史采购诊断、提出大数据应用方向、对大数据应用点进行分析、提出大数据在招标采购管理中的具体实施方案。本文主要针对大数据在物资招标采购管理中的应用进行细致分析。
大数据;物资;招标;采购管理;应用;分析;研究
1具体研究思路
由于对大数据在物资管理中的研究尚且处于初级阶段，很多的应用理论都比较缺乏，再加上现有的知识体系达不到招标采购大数据的应用需求，所以主要根据当前招标采购管理业务的一些特点和趋势，将大数据招标采购管理应用细化，分为以下几个步骤。第一点是对之前历史保留下来的采购数据进行重新的整合与诊断，对