基于WUM的Web舆情监测引导系统

摘 要 ：网络舆情监测与引导是个复杂的技术和管理过程,必须充分利用Web使用挖掘技术的优势,提升网络舆情监测与引导的信息化、自动化和智能化.基于WUM的Web舆情监测引导系统,具有良好的可扩充性,可提高网络舆情监测与处理的及时性与准确性,有效地推动我国网络舆情预警与引导工作.

关 键 词 ：网络舆情；监测引导；Web使用挖掘

中图分类号：G203 文献标识码：A 文章编号：1007—9599 （2012） 14—0000—02

一、时代背景

近年来,网络、通讯等技术的发展之迅速,传播信息速度之快,参与民众之多,影响范围之广,已成为不争的事实.网络已成为大众获取信息、表达民意的重要渠道.在经济全球化、政治化、价值多元化特别是世界金融危机严重影响的大背景下,中国30年经济增长和社会转型所积累的各种深层次矛盾日益凸显,社会整体上已进入高速发展的黄金期和突发事件高发期.我国Web舆情监测引导系统的研究起步较晚,目前迫切需要提升与之相应的理论和技术支持.舆情分析与监测是信息深加工,以往“剪报”式低价值、粗加工的信息怎么写作,虽可按主题范围搜集,但提供的结果仅局限于单一的信息内容.传统的人工分类收集方式,已无法应对现实需求.

二、Web舆情监测引导的技术支撑

(一)Web使用挖掘

在浩瀚的网络中,政府如果仅依靠人工完成Web上海量信息的收集和处理是不现实的.普通的数据库管理系统无法发现隐藏在数据中的规则和关系,并根据现有数据预测未来.Web挖掘的出现,为自动和智能地把互联网上的海量数据,转化为有价值的知识提供了保证.Web使用挖掘（Web Usage mining,WUM）可以追踪Web访问日志（Web access log）等有关用户访问和交互的信息,通过提取、转换、分析和其它模型化处理,提取用户的行为特征,发现信息存在特点和变化规律,以及信息内容的特定模式,利用历史数据预测未来的趋势.应用于网络舆情,可化被动防、堵为主动梳理、控制、监测和引导,为网络舆情应急处理提供极大地帮助.

(二)WUM过程

WUM分为数据收集、预处理、模式发现和模式分析四个挖掘阶段,如图1所示.

1.数据收集

网络信息的收集是网络舆情监测的源头,其广度和深度决定了监测效果.对于明确主题的舆情信息采集,可以借助搜索引擎方法.由于各个现存搜索引擎索引数据库的构造方法不同,其索引数据不尽完整,所以应将多个单搜索引擎搜索结果进行整合、调用、控制和优化.在Web中往复搜索可凭借启发模式、深度或宽度优先地发现相关信息,将Web空间按IP地址或域名划分为独立子空间仔细搜罗；或按照信息的具体类型来划分,如XML、HTML、FTP、Newsgroup、Word和各种音、视频格式文件等.Web舆情信息检索结果,可按相关舆情、人物、地区、机构、内容、正负面等划分,以不同维度分类统计展示,以便短时间内检索到精确信息.

2.预处理

预处理是为了从多个异构性的数据库、文件系统中提取并集成舆情数据,将形式不同的数据统一化,消除重复与冗余的数据.经过清洗数据,提取、分解、合成舆情信息,改进舆情数据质量,为舆情数据库表提供所需的源数据,提高后续挖掘精度和性能.例如,对采集到的Web舆情信息进行转换格式、清理和统计数据的初加工；对于新闻评议,剔除无关联数据,保存其发布的时间、来源、题目、内容、点击到达率、评议人、评议内容和数量等；对于BBS论坛,保存帖子题目、作者、发贴与回应的时间、内容、数量等,最后汇成标准化数据.

3.模式发现

利用Web挖掘算法,可以进行Web流量分析、典型的时间序列和用户行为模式分析、事务分析,发现网络信息传播交流的规律,创建、更新舆情模式库.若在模式挖掘中,一旦评估发现某一步骤与预期目标不符,都需重新调整,反复执行WUM步骤,各步骤间相互影响、不断反复,形成螺旋上升过程.

统计分析：利用统计、概率的原理对网络舆情数据各个关系中的属性进行统计分析.对用户浏览路径的长度和时间、页视图,进行访问量的时间分布、中间值、均值、频繁访问页和频率等的描述性统计分析,提高网络舆情挖掘的效率和质量.

路径分析：挖掘网站中最常被浏览的路径信息.对于信息搜集过程中的静态数据可采用该技术,用图的方法来分析Web页面间的路径关系.G等于（V,E）,其中：V是页的集合,E是页间的超链接集合,页面定义为图中的顶点,而页面间的超链接定义为图中的有向边.顶点v的入边表示对v的引用,出边表示v引用了其它页面,这样形成网站的结构图,从中可确定最频繁访问路径,此路径指向的信息极有可能就是互联网上的“热点”和“焦点”.

关联规则：发现Web用户访问站点的各种信息之间的联系,抽取数据项集间可能存在的潜在规则.利用该算法可从纷杂的舆情数据中,找出促使其出现、变化的内在因素,将影响因子间的彼此关联挖掘出来.如通过Cookie logs,可发现用户在一个访问期限中,从怎么写作器问的页面间的联系,即便不存在直接参引关系.

序列模式：可把网络舆情交易集之间,有着时间序次关系的模式挖掘出来,由此明确用户将来的访问动向.在互联网舆情信息进行汇集和解析的基点上,可早期预报社会事件发展中,靠近负向质变的临界值状况,提前发现不良事件的苗头,尽早梳通,快速应对,达到预防和控制的作用.

分类分析：给出一个特殊群体的公共属性的描述,挖掘某些共同特性.把Web舆情数据库中的数据项映射到给定类别中,通过分类函数或分类器确定模型的相应类目,由特征化了的属性集合标记.舆情抽取时,按需求选出已分类的训练集,如设置“事件”、“北京7.21暴雨”、“校车相撞”、“醉驾”等.建立分类器,有针对性地选择数据,避免无目标搜索,从而得到更精确、更有价值的信息.

聚类分析：聚类的目的也是对Web对象归类,但不事先定义主题类别.将Web对象特征化之后归类剖析,使同类的对象具较高相像度,而不同的类中对象差别较大[3].在网络舆情研究中,既可以对互联网中海量信息聚类,也可以依据信息内容特征与使用情况等对用户聚类,归纳出各个聚类的特点,以便更深入的研究.