基于大数据的网络舆情分析系统
谌志华摘 要： 针对互联网数据快速增长和舆情信息飞速传播的问题，提出一种基于大数据的网络舆情分析系统。该系统包括数据采集、预处理、分析和报告汇总四个模块，实现舆情信息的全网自动搜索与采集，大规模舆情数据的格式化存储以及舆情信息的分析、统计汇总等功能。该系统还使用Hadoop平台进行数据处理，并使用HDFS分布式文件系统存储舆情数据，使用MapReduce技术完成舆情分析和报告。仿真结果表明，该系统有助于及時、准确地分析网络舆情，能较好地满足网络舆情分析的需求。关键词： 大数据； 网络舆情； 舆情分析； Hadoop； HDFS； MapReduce中图分类号： TN711?34； G206.3 文献标识码： A 文章编号： X（5?03Abstract： In allusion to the rapid growth of Internet data and the rapid spread of public opinion information， a network public opinion analysis system based on big data is proposed. Four modules of data collection， preprocessing， analysis and report aggregation are included in the system to realize the automatic search and collection of the overall network public opinion information， the formatted storage of large?scale public opinion data， and the analysis and statistical summary of public opinion information. In the system， the Hadoop platform is used for data processing， the HDFS distributed file system is used to store public opinion data， and the MapReduce technology is used to complete public opinion analysis and report. The simulation results show that the system can help analyze network public opinion timely and accurately， and meet the requirement of network public opinion analysis well.Keywords： big data； network public opinion； public opinion analysis； Hadoop； HDFS； MapReduce0 引 言目前，我国互联网普及率[1]已超过全球平均水平4.6个百分点，达到54.3%。网民规模占全球网民总数的，达到7.51亿，并有超过70%的网民使用微博、博客等参与话题讨论并发表观点。互联网已逐渐成为热门话题和事件讨论的重要平台以及舆情事件的放大器[2?3]。网络舆情[4]是指网络媒体或网民使用互联网对热门话题和事件进行讨论，所产生的具有一定倾向性与影响力的言论或意见，通常具有开放性、迅速性、丰富性、互动性和落地性等特点。虽然正面积极的舆情信息具有示范效应并能带来良好的社会影响力，然而消极负面的舆情信息将严重威胁社会的稳定和安全。因此，如何利用并控制网络舆情已成为相关管理部门与政府机关所关注的核心问题。传统的舆情分析系统由舆情搜索和舆情分析两部分组成，并使用B/S模式将舆情分析系统分为功能层、数据访问层和业务逻辑层三层架构。其中，功能层用于响应用户的请求、展现请求结果和转发控制；数据访问层实现数据库的封装访问；业务逻辑层用于分离业务和逻辑。然而，当前互联网数据急剧增长，且具有价值巨大但密度低的特点，如何全面抓取信息，并及时、准确地分析网络舆情已成为当前网络舆情分析亟需解决的问题[5]。本文针对互联网数据急剧增长和舆情信息传播速度快的问题，提出一种基于大数据的网络舆情分析系统，将大数据及数据挖掘技术应用到网络舆情分析中。该系统包括舆情信息采集、预处理、分析和报告四个模块，实现了全网自动搜索、采集舆情信息、大规模舆情数据的格式化存储以及舆情信息的分析、统计汇总等功能。1 网络舆情分析系统架构本文将大数据和数据挖掘技术应用到网络舆情分析中，实现了基于大数据的网络舆情分析系统。该系统使用Hadoop平台进行数据处理，使用HDFS文件系统存储舆情数据，并使用MapReduce技术完成舆情分析。系统整体包括数据采集、预处理、分析和报告汇总四个模块，系统整体架构如图1所示。2 系统实现2.1 数据采集模块舆情数据采集模块是本文舆情分析系统的基础模块，主要负责使用网络爬虫从新闻、论坛、贴吧、微信和微博等Web页面采集舆情信息，具体流程如图2所示。基于大数据的舆情分析系统不仅需要使用传统搜索引擎爬虫保证所下载网页的全面性，且还需要使用聚焦爬虫保证所采集信息的精确性。通过设置黑白名单，保留有用的URL链接，并依据确定的搜索策略重复搜索，直至达到停止条件。在抓取Web信息时，主要采集网页的文章内容和版块列表两种信息。其中，文章内容采集即通过分析网页的HTML源码抓取和保存网页内容，版块列表采集即通过确定初始网页的URL、设定爬行深度、制定爬行参数和采集规则等操作抓取初始网页源文件[6]。endprint2.2 预处理模块舆情信息预处理模块是本文舆情分析系统的数据准备阶段，该模块先将采集到的各种网页信息进行去重、去噪等预处理。然后，选择文本特征并格式化为文本向量，最终得到文本向量集。其工作流程如图3所示。由于新闻、论坛和微博等的网页结构各不相同，因此需要清洗与文本无关的HTML源码，并保留網页标题、内容摘要、发布时间以及评论等与舆情相关的信息。过滤掉无意义或重复的网页信息后，为了避免噪声干扰并保证数据的完整性需要剔除或填补缺失数据。为了便于后续的文本分析，本系统使用MapReduce技术和分词工具并行处理格式化文本，提取词频特征，构造文本向量集。同时，将其保存到HDFS分布式文件系统中。2.3 舆情分析模块舆情分析模块是本文舆情分析系统的核心模块，主要完成识别、跟踪舆情话题和评估舆情情感，其具体工作流程如图4所示。舆情分析模块先使用聚类算法将预处理模块得到的文本向量集进行汇总，并识别出主要舆情话题；然后检测后续更新的向量化文本，判断其与已存在的话题的相关性，如果相关性达到一定的阈值则将其归类到该话题中；最后分析各话题的情感倾向性。本系统使用Hadoop平台Mahout机器学习库中MapReduce的K?means算法实现文本聚类[7?8]。只需要输入文本向量集、聚类中心数和迭代终止条件即可得到归类文件及中心点。其中，Map函数将文本向量集划分为小块并发送到各子节点的执行程序中，并行执行计算任务，计算得到键值对形式的中间结果后传递给Reduce服务器；Reduce汇总各子节点的结果，并求和平均后得到聚类中心。2.4 舆情报告模块为了满足不同用户的需求，本系统使用舆情报告模块自动推送舆情热点、统计汇总相关内容、关键词推荐和辅助采编。当某一热点或负面舆情达到预先设定的报警阈值后，舆情报告模块可使用邮件、短信等方式通知检测人员。3 实验与结果分析基于大数据的舆情分析系统使用1台交换机和6台普通PC机来搭建Hadoop集群，分别在6台PC机上安装Ubuntu 16.04系统，并设置1台Maste服务器和5台Slave服务器。为了验证本文提出的基于大数据技术的文本预处理效率，使用一份160 MB的预料文档在不同规模的集群中运行预处理程序，得到如表1所示的实验结果。从表1可以看出，增加节点的数目可以加快预处理的速度，表明节点数越多，任务分块数越多，具有更高的并发运行程度。同时，加速比并不与节点数成正比，这是因为节点数增加，节点间的通信所消费的时间也在增加，从而影响了系统并行运行的效率。如图5所示为文本预处理、特征提取和向量化三步骤的加速比对比。从图5可以看出，文本向量化的加速比较小，原因是在计算词频时启动各子任务需要占用一定的系统开销。而特征选择将计算分配在Mapper中并行执行，故具有较大的加速比。综上所述，基于大数据的舆情分析系统使用分布式并行化处理技术，能大幅提高舆情分析的速度和数据处理能力。4 结 语互联网数据快速增长和舆情信息飞速传播给舆情分析带来了较大的挑战，本文使用分布式并行化处理技术，提出一种基于大数据的网络舆情分析系统。该系统实现了舆情信息的全网自动搜索和采集，大规模舆情数据的格式化存储以及舆情信息的分析、统计汇总等功能。仿真结果表明，该系统有助于及时、准确地分析网络舆情，能较好地满足网络舆情分析的需求。参考文献[1] 周红福，贾璐，张婷婷，等.微博舆情分析中信息转发路径提取方法研究[J].信息网络安全，2016（4）：61?68.[2] 张昕，孙江辉.舆情监测系统设计[J].现代电子技术，）：98?102.[3] 马梅，刘东苏，李慧.基于大数据的网络舆情分析系统模型研究[J].情报科学，）：25?28.[4] 孙彬，王东.微信息舆情的主动介入导引模式[J].沈阳工业大学学报，）：584?589.[5] 宫泽林，徐艳红.大数据时代网络舆情分析与研究[J].黑龙江科技信息，2016（17）：169?169.[6] 冯登国，张敏，李昊.大数据安全与隐私保护[J].计算机学报，）：246?258.[7] 苏毅娟，邓振云，程德波，等.大数据下的快速KNN分类算法[J].计算机应用研究，）：.[8] 刘若冰.面向大数据云存储系统的关键技术研究[J].现代电子技术，）：21?24.endprint
现代电子技术
2017年24期
现代电子技术的其它文章客服热线：400-990-8687
7*24小时循环监控，自动危机预警，自动生成多种报表
性价比最高的舆情监控系统
舆情监控、口碑监测、数据分析的理想选择
舆情监测大师具有强大的监测及分析功能，当你在选择一款优秀的舆情监测产品的同时，又考虑其性价比的时候，无疑舆情监测大师是你最理想的选择。
舆情管理系统介面友好直观明了，简易的操作让您无需理解太多的专业术语就能轻易上手，只需简单的设定就能让您在短时间内找到你所关注的东西。
极少的经济付出，就能让你得到利用 1%的精力创造100倍的高效体验，舆情监测大师不会存在任何功能、时间限制，是危机预警、口碑检测、数据分析、采集的理想帮手。
400-990-8687
24小时服务热线（免长途费）最权威的国内舆情监测系统对比分析_独家邨_新浪博客
最权威的国内舆情监测系统对比分析
舆情是一种资源，而舆情监测是一种复杂的需求。如果认为舆情系统是信息的简单罗列的话，那不是舆情。真正的舆情系统应该是一个发现，分析，处置的完整过程。舆情系统的运转应该是基于事件库的积累和模型分析，从而提供最优的解决方案，而非只停留于关键词的分析。对于大企业来说，它们需要舆情系统扮演资深公关的角色，维护品牌形象和品牌知名度。对于机构高层而言，舆情系统应该是突发事件的总参谋，为他们提供时间的来龙去脉及最优的解决方案。而对于中小企业，精准的行业分析，详尽的消费数据更能引起他们的兴趣。
任何行业的发展和完善，都是一个螺旋式上升，曲折性前进的过程，而行业洗牌，优胜劣汰似乎成为这个过程的催化剂。只有那些拥有核心技术和创客精神，善于挖掘客户潜在需求，提供差异化的产品服务的企业，才能避免洗牌和被迫转型的结局。据统计，目前我国提供舆情监测服务的企业达1000家。但由于舆情监测行业发展的历史不长，企业提供的舆情产品和服务良莠不齐。因此，甄别优质的舆情产品就成为了客户的首要难题。对于目前国内提供舆情监测服务的企业来说，大致可以分为两类，一类是以拓尔思舆情监测，军犬舆情监测系统，乐思舆情监测http://www.knowlesys.cn/为代表的拥有核心技术，自主知识版权和品牌影响力的舆情监控系统厂商。一类是以人民网舆情检测室、新华网舆情监测为首的掌握一定的科研实力与传播渠道资源的媒体舆情监测机构。我们通过对舆情行业的分析和整理，基于客观公正的原则，力图为大家提供最权威的舆情监测软件分析，供大家参考，希望对各位有所启发。
拓尔思舆情监测
拓尔思（又名TRS）是中文全文检索的创始者，其早期的舆情监测产品是雷达系统，而目前使用的是互联网舆情管理系统。它背靠北京信息科技大学，得到北京市政府的支持。它在非结构化数据管理方面积累了多年的实践经验。拓尔思以自己的检索功能为根基，针对不同用户开发相应的舆情监测需求，应用领域跨越文化教育、食品安全、医疗卫生、交通能源、质检监察等企事业单位，家电、IT、银行、汽车、房地产、电信等各类企业。但其短板在于虽然宣称敏感词库上万，但文本处理功能不强，后果是信息的正负面标示没起到多大作用，而舆情系统http://www.knowlesys.cn/最重要的就是文本处理和语义分析功能。TRS大数据舆情分析平台的采集方式是模板抓取，但其对客户的响应速度不高。总而言之，由于其舆情产品仅仅是内容产品管理线中的较小一环，投注的精力有限。而从市场占有率上看，由于其起步较早，因而它每年的项目数量虽不多，但项目金额较大。
乐思网络舆情监测平台
乐思舆情监测可称得上是国内信息抽取的最早期研究者，自03年成立以来，专注于网络信息采集和舆情监测。该采集系统除了支持常见的文本格式采集，还支持pdf，rar等附件自动采集，无须单独配置模板该系统支持。同时，该系统支持中文,英文,法文,德文,日语,韩语,维文,阿拉伯语等多国语言，其项目遍布全球。乐思舆情监测系统http://www.knowlesys.cn/能根据用户提供的关键字，在15分钟内发现15万个基于微信，微博，知乎，论坛，博客，搜索引擎等网络舆情，并提供短信，邮件预警。系统利用中文分词技术、自然语言处理技术、中文信息处理技术，对信息进行垃圾过滤、去重、相似性聚类、情感分析、提取摘要、自动聚类、自动发现热点等处理，配合专业分析师生成详细的舆情分析报告。不足的地方是由于专注于两大业务板块，公司的规模不算很大，同时，舆情报告方面的实力不强。总体而言，其匠人精神值得尊敬。若能在专注的领域做到极致，提升舆情报告的品质，在未来大有可为。
军犬舆情监测系统
军犬舆情监测为中科院下属公司研制，以政府，军队客户为主，提供舆情监测系统与舆情SAAS平台服务，客户集中在省、市、县级政府部门与企业。军犬舆情监控系统以强大的网络舆情信息采集、舆情智能分析与应对、舆情预警、舆情报告生成等16项核心功能组成，专业提供网络舆情监测、网络舆情监控服务。其主营业务为舆情监测，具备很强的专业性，其主要提供舆情系统建设应用。在同类软件中，乐思网络舆情监测平台是其直接竞争对手。但其后续的服务仅有舆情简报一项，功能较为单一，且服务客户以政府为主，企业服务经验不足。一言蔽之，军犬舆情监测系统舆情采集范围和危机预警方式上较为全面，建立了自身的舆情数据中心。但其服务领域偏重政府机构，后续服务尚待改进。
人民网舆情监测平台
人民网舆情监测室（也称人民日报舆情监测室）依托人民网的优质资源快速进入舆情监测软件行业，其舆情监测系统实时监控和采集Internet网站内容，通过过滤、分类和排重提取文章标题、摘要相关数据，以直观的图表、简洁的文章列表等形式表现出来。由于其官媒地位，其专长为舆情分析服务。因此人民网舆情监测平台的主要盈利来源为saas服务及报告收入。舆情培训产出占比也不小。但是值得注意的是，其舆情监测和信息采集方面缺乏竞争力，而且由于其官媒背景，其中标的软件（或软件+服务）项目金额都较大，但普遍社会认同度不算很高。总的来说，人民网的舆情监测报告在行内首屈一指，但如果不加强技术的研发，提高其核心竞争力，未来的前景十分堪忧。
新华网舆情监测系统
由新华网舆情监测中心开发的新华网舆情监测系统服务旨在提供系统、全面的解决方案，在跟踪最新热点方面颇具优势，其内容包括日常性舆情监测与分析、突发事件舆情监测与分析、化解舆情危机系统方案及后续形象修复工作等。依托新华社强大的专家咨询团队和官方背景，其完成了多次重大、紧急舆情监测http://www.knowlesys.cn/任务。但其舆情监测报告比不上人民网的舆情监测报告，舆情监测和信息采集方面不如乐思舆情监测系统，拓尔思舆情监测系统和军犬舆情监测系统三大舆情监控系统厂商。总的看来，新华网舆情监测还有很长的路要走，学习竞争对手才有超越的可能。
博客等级：
博客积分：0
博客访问：1,481
关注人气：0
荣誉徽章：目前国内十大互联网舆情监测系统对比_文库下载
1亿文档 免费下载
当前位置： &
& 目前国内十大互联网舆情监测系统对比
目前国内十大互联网舆情监测系统对比
国内10大舆情监测系统厂家!
目前国内十大舆情监测系统公司排行
舆情监控系统通过对热点问题和重点领域比较集中的网站信息，如：网页、论坛、BBS等，进行 24小时监控，随时下载最新的消息和意见。下载后完成对数据格式的转换及元数据的标引。对下载本地的信息，进行初步的过滤和预处理。对热点问题和重要领域实施监控，前提是必须通过人际交互建立舆情监控的知识库，用来指导智能分析的过程。对热点问题的智能分析，首先基于传统基于向量空间的特征分析技术上，对抓取的内容做分类、聚类和摘要分析，对信息完成初步的再组织。然后在监控知识库的指导下进行基于舆情的语义分析，使管理者看到的民情民意更有效，更符合现实。最后将监控的结果，分别推送到不同的职能部门，供制定对策使用。
No1.阳光安吉舆情监测系统：北京阳光安吉(Sunshine Angel)是一家专注于网络信息采集、数据挖掘、搜索引擎核心技术、自然语言处理等领域的科学研究与软件应用开发的互联网技术企业；阳光安吉云监测平台是公司代表核心产品之一。北京阳光安吉舆情监测公司主要业务:舆情监控、舆情监测、媒体监测、品牌监测、竞品监测,提供专业的舆情监测、舆情分析和舆情报告。公司成立于2008年，先后获取了国家高新企业技术认证、国家双软认证等资质；公司一直致力于舆情监测相关技术的研发与创新，为政府、企业和个人提供互联网信息的监测与咨询服务。是唯一一家较早全面以软件、SAAS、报告为一体的舆情监测公司。
No2.本果舆情监测软件：本果舆情监测软件适用于公安、检察、司法、宣传等政府部门应用的网络舆情监测软件；并针对企业提供信息咨询和网络舆情监测服务。北京本果信息技术有限公司（简称“本果”）是全球中文信息监测领域的领衔企业，始终致力于网络舆情监测系统的研发、信息采集和数据挖掘技术的创新。
Word文档免费下载：（下载1-3页，共3页）
最新国内十大互联网舆情监测系统对比_互联网_IT/计算机_专业资料。随着政府和企业...在此, 本着为大家服务的目的, 根据一定的信息汇总, 列出当前舆情监测市场最具...目前国内十大舆情监测系统公司排行 舆情监控系统通过对热点问题和重点领域比较集中的网站信息, 如: 网页、 论坛、 BBS 等,进行 24 小时监控,随时下载最新的消息和...最新国内十大互联网舆情监测系统对比_互联网_IT/计算机_专业资料。最新国内十大...在此,本着为大家服务的目的,根据一定 的信息汇总, 列出当前舆情监测市场最具...最新国内十大网络舆情监测系统排行榜随着网络舆情的重要性越来越凸显, 政府和企业对舆情监测的需求不断上升, 这推动了 舆情监测市场进入高速成长期。 看到这块不断...2013 年度国内最具影响力的十大网络舆情监测系统品牌排行榜随着网络舆情的重要性越来越凸显, 政府和企业对舆情监测的需求不断上升, 这推动了 舆情监测市场进入高速成...最新十大舆情监测系统_互联网_IT/计算机_专业资料。...在此,本文列出当前舆情监测市场 2014 年 最具影响...领域的领导企业, 也是中国最大的搜索技术和内容管理...国内舆情监测系统技术对比分析_互联网_IT/计算机_专业资料。国内舆情监测系统对比...国内网络舆情监测系统对... 2页 免费 最新国内十大互联网舆情... 3页 免费...十大舆情监控公司之比较_互联网_IT/计算机_专业资料...cn/show.asp 新天网络舆情监测 系统 2008 谷尼国际...图书 馆、档案馆、知名网站、上市 公司、国内的知名...国内五大舆情监控系统的对比测评 Ra nk 舆情监测提供 国内五大舆情监控系统的对比测评由于网络传播的自由性、交互性和开放性,使以往在传统新闻传 媒上无法实现的个人...列出当前舆情监测市场最具影响力的十大舆情监测系统品牌, 供各地政府企事业单位采购时 参考: 一、整体概况中国网络舆情服务产业,正经历着从无到有、从小到大、从粗...