网络舆情热点挖掘系统设计与实现

第１４卷第７期　２０１　５年７月　软件导刊　Ｓｏｆｔｗａｒｅ　Ｇｕｉｄｅ　Ｖｏ１．１４ＮＯ．７　Ｊｕｌｙ．２Ｏｌ５　网络舆情热点挖掘系统设计与实现　王大鹏　，张大为　，张　鹏　（１．辽宁师范大学计算机与信息技术学院；２．辽宁师范大学管理学院，辽宁大连１１６０２９）　摘　要：网络舆情对政治、经济、文化和社会各方面的影响越来越大。对互联网和社交网络发布的信息及各种反馈和　观点进行舆情分析与判断，是舆情挖掘的重要手段。设计了网络舆情热点挖掘系统，通过文本处理、分词处理、复杂　网络聚类及舆情热点提取等功能，使纷繁复杂信息中的热点话题及其舆情得以突出体现，为舆情热点定位、分析提供　了有力的工具支持。　关键词：网络舆情；数据挖掘；舆情热点　ＤＯＩ：１０．１１９０７／ｒｊｄｋ．１５１３２３　中图分类号：ＴＰ３１９　文献标识码：Ａ　文章编号：１６７２—７８００（２０１５）００７—０１１１—０３　０　引言　舆情挖掘就是找到文字表达中的某些观点、情感、情　１　分词向量空间　文本向量空间模型由Ｓａｌｔｏｎ　等人提出，每一篇文档　的向量模型为：　（　）一｛（ｔ　，叫　），…，（ｔ　，叫　），…，（￡　，　叫　）｝，其中权值Ｗｋ—ｔｆ　×　＾，ｔｆ　为特征词ｔ　在文档　ｄ中出现的频率或频率函数，逆向文档频率　厂　＝　ｌｏｇ（　），其中Ｎ为文档总数，　为包含特征词ｔ　的文档　＾　绪、价值观和态度等，通常分为积极、消极和中立几方面，　是近年来自然语言处理和文本挖掘领域的研究热点　］。　随着现代传媒技术和互联网的发展，个人声音的表达呈爆　炸趋势，与之形成鲜明对比的是对这些观点的有效收集和　分析滞后。收集大众舆情的瓶颈降低了预控大规模群体　事件的可能性　］。　舆情分析在社会、科学、人文、军事和商业等各个层面　数，当　为０时，定义　，　一０。由此，特征词权重Ｗ　被　称为ＴＦ－ＩＤＦ权重。　具有较大的应用空间口　。通过社会网络的舆情挖掘，用于　分析政治、宗教和安全问题，并为制定相关政策提供决策　支持；消费者的舆情反馈可用于产品销售、采购定价和生　产制造。在网购大行其道的今天，收集客户的反馈信息，　是经销商为未来的销售趋势和产品升级作预测分析的重　要方式。通过对媒体反馈信息的收集可以进行公共舆情　管理、广告收益评价和人文价值观评价等。　根据ＴＦ－ＩＤＦ权重计算方法，ＴＦ越高表明其受关注度　越高，ＩＤＦ越大则区分度越大越切题。每个词除了ＴＦ－ＩＤＦ　权重特征外，还可能包含如词性、词长度等有效信息。由　此，在文档空间中选择热词时，可考虑将权重修订为：　一　ｘ尸【）Ｓ（ｔｋ）×Ｌ（　），其中ＰＯＳ（　）为词性权重，名词　取２，动词取１．５，其它词性取１，Ｌ（　）为词的长度。　利用所有文档的候选词可以构造一个面向词的向量　空间：　（￡）一｛（　ｆｌ，训　１），…，（　叫　），…，（ｄ　，Ｗ　））。　词向量空间是进行文本处理和舆情挖掘的主要数据结构　和数据存储方法，也是系统进行舆情热点挖掘和舆情分析　舆情挖掘的基本过程包括３个阶段　］：①舆情检索和　文本处理；②舆情分类和提取；③舆情摘要和汇总。这个　的主要数据对象。　基本过程得出的结论往往只有积极、消极和中立这３个人　类特定情绪的价值取向判断。但舆情不止是人类特定情　绪反应的总结，更准确地说是人类所关注热点的表达，如　“反腐”、“医疗”、“教育”等。　本系统通过网络聚类［５　发现舆情热点，以达到舆情　分析的目的。　２　系统设计　如图１所示，系统总体架构分为４个层次，自下而上：　舆情信息检索层、分词倒排处理层、网络聚类分析层和热　点舆情分析层。每个层次又分为两个子层次，每个子层次　基金项目：大连市社科联（社科院）与大连市高校工委联合立项课题（２Ｏ１３ｄ１ｓｋｙｂｇｘ１３）；辽宁省社会科学规划基金项目（Ｌ１４ＢＷＪ０１０）　作者简介：王大鹏（１９６８一），男，辽宁大连人，硕士，辽宁师范大学计算机与信息技术学院讲师，研究方向为网络工程与网络安全；　张大为（１９７１一），男，辽宁大连人，辽宁师范大学计算机与信息技术学院副教授，研究方向为软件工程与数据挖掘；张鹏　（１９７６一），女，辽宁大连人，硕士，辽宁师范大学管理学院讲师，研究方向为文化产业与公共危机管理。　第７期　王大鹏，张大为，张鹏：网络舆情热点挖掘系统设计与实现　定位得到的热点微博有２条，其热词、热词结构、分类和舆　情特点如表１所示。通过表１可知，该处热点与网购具有　５　结语　紧密联系，是男性和女性的共有话题。　表１热点１的热词结构及舆情特点　基于文本处理和复杂网络聚类，本文提出并实现了网　络舆情热点挖掘分析软件系统。系统设计目标是尽可能　地开放、实用和高效，但各种软件组件的挂接仍然具有过　高的耦合性，需要编程实现。实验结果表明：通过网络聚　类发现舆情热点，再进一步分析提取舆情，方案可行，但在　（２）热点２。如图２左下角所示，联系紧密的热词有：　具体实验过程中发现需要设定的参数较多，而且反复调试　梦想、想要、世界、心情、女人、感谢、有些、支持共８个。设　相对繁琐。　热点阈值为２，得到如表２的热词结构及舆情特点，主要　本系统在软件松耦合模块化、软件操作自动化，提高　反映男生和女生共同关注的成长和情感类话题。　舆情热点和舆情分析的精准性、有效性和实用性等方面还　表２热点２的热词结构殛舆情特点　有大量的工作要做。　参考文献：　［１３　ＮＩＳＨＡ　ＪＥＢＡｓＥＥＬＩ　Ａ，ＫＩＲｕＢＡＫＡＲＡＮ　Ｅ．Ａ　ｓｕｒｖｅｙ　ｏｎ　ｓｅｎｔｉ—　ｍｅｎｔ　ａｎａｌｙｓｉｓ　ｏｆ（ｐｒｏｄｕｃｔ）ｒｅｖｉｅｗｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１２，４７（１１）：３６—３９．　［２３　张寿华，刘振鹏．网络舆情热点话题聚类方法研究口］　小型微型计　算机系统，２０１３，３４（３）：４７１—４７４．　［３］ＨＡＳＥＥＮＡ　ＲＡＨＭＡＴＨ　Ｐ．Ｏｐｉｎｉｏｎ　ｍｉｎｉｎｇ　ａｎｄ　ｓｅｎｔｉｍｅｎｔ　ａｎａｌｙ－　ｓｉｓ　ｃｈａｌｌｅｎｇｅｓ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ａｐｐｌｉ—　ｃａｔｉｏｎ　ｏｒ　Ｉｎｎｏｖａｔｉｏｎ　ｉｎ　Ｅｎｇｉｎｅｅｒｉｎｇ＆Ｍａｎａｇｅｍｅｎｔ，２０１４，３（５）：　４Ｏ１－４０３．　Ｅ４］ＣＨＡＮＤＲＡＫＡＬＡ　Ｓ，ＳＩＮＤＨＵ　Ｃ．Ｏｐｉｎｉｏｎ　ｍｉｎｉｎｇ　ａｎｄ　ｓｅｎｔｉｍｅｎｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ：ａ　ｓｕｒｖｅｙ［Ｊ］．ＩＣＴＡＣＴ　Ｊｏｕｒｎａｌ　ｏｎ　Ｓｏｆｔ　Ｃｏｍｐｕｔｉｎｇ，　２Ｏ１２，３（１）：４２０—４２７．　［５］谢凤宏，张大为，黄丹，等．基于复杂网络社团划分的文本聚类方法　（３）热点３。在图２的左上角，热词包括：珍惜、男人、　Ｉ－Ｊ］．计算机工程与设计，２Ｏｌ１，３２（３）：１０５９—１０６１．　给你、参与、老师共５个，其舆情特点反映男人的情感，见　［６］ＤＡＷＥＩ　ＺＨＡＮＧ，ＦＵＤＩＮＧ　ＸＩＥ．Ｆｕｚｚｙ　ａｎａｌｙｓｉｓ　ｏｆ　ｃｏｍｍｕｎｉｔｙ　ｄｅ—　表３。　ｔｅｅｔｉｏｎ　ｉｎ　ｃｏｍｐｌｅｘ　ｎｅｔｗｏｒｋ［Ｊ］．Ｐｈｙｓｉｃａ　Ａ，２０１０，３８９（２２）；５３１９—　表　热点３的热词结构及舆情特点　５３２７．　［７］　ＳＡＬＴＯＭ　Ｇ，ＷＯＮＧ　Ａ，ＹＡＮＧ　Ｃ　Ｓ．Ａ　ｖｅｃｔｏｒ　ｓｐａｃｅ　ｍｏｄｅｌ　ｆｏｒ　ａｕｔｏｍａｔｉｃ　ｉｎｄｅｘｉｎｇ［Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｏｆ　Ｔｈｅ　ＡＣＭ，１９７５，１８　（１１）：６１３—６２０．　（责任编辑：杜能钢）　Ｄｅｓｉｇｎ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　Ｉｎｔｅｒｎｅｔ　Ｏｐｉｎｉｏｎ　Ｈｏｔｓｐｏｔ　Ｍｉｎｉｎｇ　Ｓｙｓｔｅｍｓ　Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｅｆｆｅｃｔｓ　ｏｆ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ｏｎ　ｔｈｅ　ｐｏｌｉｔｉｃａｌ，ｅｃｏｎｏｍｉｃ，ｃｕｌｔｕｒａｌ　ａｎｄ　ｓｏｃｉａｌ　ａｓｐｅｃｔｓ　ｍｏｒｅ　ａｎｄ　ｍｏｒｅ　ｂｅ　ａｔｔｅｎｔｉｏｎ．　Ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｕｂｌｉｓｈｅｄ　ｏｎ　ｔｈｅ　ｉｎｔｅｒｎｅｔ　ａｎｄ　ｓｏｃｉａｌ　ｎｅｔｗｏｒｋｉｎｇ，ａｓ　ｗｅｌ１　ａｓ　ａ　ｖａｒｉｅｔｙ　ｏｆ　ｆｅｅｄｂａｃｋ　ａｎｄ　ｉｄｅａｓ。ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ａｎａｌｙｓｉｓ　ａｎｄ　ｊ　ｕｄｇｍｅｎｔ　ａｒｅ　ｉｍｐｏｒｔａｎｔ　ｍｅａｎｓ　ｆｏｒ　ｏｐｉｎｉｏｎ　ｍｉｎｉｎｇ．Ｄｅｓｉｇｎ　ａｎｄ　ｉｍｐｌｅｍｅｎｔ　ｉｎｔｅｒｎｅｔ　ｈｏｔｓｐｏｔ　ｍｉｎｉｎｇ　ｓｙｓ—　ｔｅｍ　ｗｉｔｈ　ｔｅｘｔ　ｐｒｏｃｅｓｓｉｎｇ，ｔｅｘｔ　ｓｅｇｍｅｎｔｉｎｇ，ｃｏｍｐｌｅｘ　ｎｅｔｗｏｒｋ　ｃｏｍｍｕｎｉｔｙ　ｄｅｔｅｃｔｉｎｇ　ａｎｄ　ｐｕｂｌｉｃ　ｈｏｔｓｐｏｔｓ　ｅｘｔｒａｃｔｉｎｇ，ｓｕｃｈ　ａｓ　ｆｅａｔｕｒｅｓ，ｍａｋｅｓ　ｈｏｔ　ｔｏｐｉｃｓ　ａｎｄ　ｉｔｓ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ｔｏ　ｂｅ　ｈｉｇｈｌｉｇｈｔｅｄ　ａｎｄ　ｒｅｆｌｅｃｔｅｄ　ｉｎ　ｃｏｍｐｌｅｘ　ｎｅｔｗｏｒｋ　ｉｎｆｏｒｍａｔｉｏｎ，ａｎｄ　ｐｒｏ—　ｖｉｄｅｓ　ｐｏｗｅｒｆｕｌ　ｔｏｏｌｓ　ｆｏｒ　ｈｏｔｓｐｏｔ　ｐｏｓｉｔｉｏｎｉｎｇ，ａｎａｌｙｓｉｓ　ｏｆ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ｓｕｐｐｏｒｔ．　Ｋｅｙ　Ｗｏｒｄｓ：Ｐｕｂｌｉｃ　Ｏｐｉｎｉｏｎ；Ｄａｔａ　Ｍｉｎｉｎｇ；０ｐｉｎｉｏｎ　Ｈｏｔｓｐｏｔ