污染源自动监控系统数据传输交换技术

更新时间:2024-03-22 作者:用户投稿原创标记本站原创 点赞:6185 浏览:20360

摘 要 :污染源自动监控是环保执法部门对排污企业监管的重要手段,监控系统数据的有效传输决定了系统的使用效能,本文总结了近年来江苏省在污染源自动监控系统数据传输交换方面的做法和经验,对污染源监控系统数据传输交换技术做了一定的归纳和研究.

关 键 词 :污染源自动监控 数据传输 BIztalk数据交换技术

污染源自动监控系统是加强环境监管、推进污染减排的重要手段.实现重点污染源在线监控,对提升环境执法效率、执法水平及打击环境违法行为有很大意义.通过对污染物进行实时、连续的在线动态监测监控,完成统一可比的数据处理、统计,准确、及时地反映污染源变化,对环保工作将起到重大作用.

1.污染源数据传输交换情况概述

2007年,江苏省环境保护厅按照国家环保部的要求,开始实施省、市污染源自动监控数据的联网交换工作,采用中心到中心的数据交换方式,省厅系统不直接从现场数据采集仪采集数据,所有数据全部经市级系统转发至本地的一个中间数据库,再通过数据交换软件将中间数据库中的数据传输到省厅的接收怎么写作器,从而实现全省污染源自动监控数据的集中.自2008年开始,为提高数据交换质量,江苏省环境保护厅推出了联网率、基础数据完整率、数据上传完整率、监控中心稳定运行率、达标率等细化的考核指标,并对每个市的综合指标进行汇总排名,将排名结果上网公布.各市为提高自身的排名,纷纷借鉴省、市联网交换方式,实施市、县污染源联网.2011年,江苏省开发了太湖流域污染源自动监控统一软件平台,并在省、市、县监控中心统一部署,太湖流域污染源自动监控系统从此代替了原有全省污染源自动监控系统的作用,系统采用Biztalk中间件开发实现了一个相对独立的数据交换平台,以代替原有的数据交换软件,在数据传输的安全性、可靠性方面实现了进一步的提升,并有效解决了数据的双向交换问题.目前,该数据交换平台已在太湖流域各市、县投入应用,其它地区则仍沿用原有的数据交换软件,将在2013年逐步用新的数据交换平台替换.

江苏省级污染源监控系统数据汇总收集后,通过HJ/T352-2007《环境污染源自动监控信息传输、交换技术规范》上传至国家环保部污染源监控中心上位机.

2.数据交换的内容

2.1 交换信息内容 江苏省污染源自动监控数据交换的内容主要参照国家环保总局HJ/T352-2007《环境污染源自动监控信息传输、交换技术规范》进行制订,主要分为11个类别:污染源基本信息、污水处理厂基本信息、废水排放口基本信息、废气排放口基本信息、污水处理厂废气排放基本信息、污水处理厂进出水口基本信息、污染源自动监控信息、污水处理厂自动监控信息、污染源申报登记信息和污水处理厂申报登记信息,每类信息的内容严格按照HJ/T352-2007的要求设定相关数据集及其字段.

2.2 编码体系 为保证数据在交换过程中不产生岐义,必须对相关的编码体系进行统一,在江苏省污染源自动监控数据交换系统中,参照HJ/T352协议,对污染源编码、排放口编码、行政区编码、流域编码、污染因子编码、计量单位编码等进行了统一规定,其中污染源编码采用法人代码表示,排放口编码采用污染源编码+1位污染源类别码+2位流水号表示.

2.3 数据更新规则 在数据交换过程中,支持新增和更新两种操作,为每个信息集设定一个(或一组)关键字,目标系统在接收到一条信息后,先根据关键字判断该内容是否已存在,如存在,则用新的信息更新原有信息,否则新增一条信息.如在污染源基本信息集中,以污染源编码作为关键字,如发送方多次向目标系统发送某个特定编码的污染源基本信息,则目标系统只保留最后的一条信息,采用这种方式可有效实现数据的更新.

3.数据交换的实现方式

3.1 基于中间数据库中转的技术实现方式 交换流程:2007年开始实施的数据交换系统采用中间数据库方式进行数据中转,实现数据从下级监控中心到上级监控中心的传输.整体系统分为发送方和接收方两大部分,其中:发送方包括自动监控数据库、中间数据库、数据转换软件、数据发送软件等,自动监控数据经现场数采仪采集后,进入所在地环保局自动监控数据库,然后经本地的数据转换软件(由各地监控系统开发商根据中间数据库格式单独开发)将数据写入中间数据库,数据发送软件定时调用接收方的数据传输怎么写作将中间数据库中的内容向接收方发送.接收方包括数据传输怎么写作、中间数据库、数据解析软件、自动监控数据库等,数据传输怎么写作是一个Web怎么写作软件,提供登录验证及数据接收怎么写作接口,将接收到的数据写入接收方的中间数据库,数据解析软件从中间数据库中读取数据后,更新接收方的自动监控数据库.数据组织方式:在以上交换流程中,中间数据库是上下级污染源自动监控系统的交接界面,下级系统只需将待发送数据按既定规则和格式写入中间数据库,其余工作由上级部署的数据交换系统负责.为提高数据传输效率,我们参照HJ/T352规范中的数据交换格式,将数据按“包”的形式进行组织,为每个数据包建立一个报文头,标记包的生成时间、发送方和接收方等信息,在中间数据库中,我们建立一张报文信息表,利用自动增量ID作为报文的唯一标识,在每个信息集中,均有一个对应的报文ID与之对应,以便确定每个报文所应包含的内容.


为区分已发送和未发送的报文,在报文信息表中,我们还设计了一列交换状态,该状态由数据发送软件根据接收方传输怎么写作返回的状态进行更新.安全及可靠性设计:接收方的数据传输怎么写作接口提供安全验证怎么写作,发送方的数据发送软件须定时调用该接口,由该接口对发送方行政区编码、用户名、信息进行匹配验证,验证通过后,该接口将返回一串授权码,发送方在发送数据包时必须将该授权码一并发送,以避免跨区域或未经授权的数据交换.

数据发送软件采用C/S结构实现,需在发送方本地电脑上进行安装,为降低软件升级更新所需的大量工作,我们设计实现了软件的自动更新功能,发送方在登录接收方怎么写作接口时,可取得最新软件的版本号及其下载位置,并与本地版本进行比较,如低于最新版本,则自动下载更新. 由于污染源自动监控的数据量比较庞大,中间数据库的体积会变得越来越大,导致对数据库访问速度的急剧下降,为此,数据发送软件中增加了一个自动维护功能,每天定时将三个月前生成的且已发送成功的报文数据进行清理,以保证数据交换速度.

部署实现:数据交换系统采用VS.Net开发,中间数据库采用SQL Server 2005.

在省环保厅,利用1台IBM X366怎么写作器作为专用的数据交换怎么写作器,部署数据传输怎么写作接口及中间数据库,在各地市,统一配备了1台DELL PC作为专用的数据发送怎么写作器,安装数据发送软件和中间数据库.由于当时环保专网尚未建成,所以采用公网作为数据交换网络.

3.2 基于Biztalk数据交换平台的技术实现方式 上述数据交换系统虽然基本满足了全省污染源自动监控数据交换的需要,但还存在以下不足:难以实现双向交换.以上数据交换系统具有分工较为明确的发送方和接收方,适用于下级向上级的单向传输,难以实现上级向下级的数据分发.传输效率不高.由于利用了Web怎么写作传输数据,在单次发送数据量较大时,系统不会自动分包,如果遇到网络拥堵,可能造成发送失败,导致效率下降.缺乏灵活性.在以上方案中,各个发送方的数据从本地监控系统数据库中进入中间数据库需要原有开发商开发一个独立的数据转换软件,无法灵活适应不同的源系统.为此,江苏省在太湖流域污染源自动监控软件平台中,提出了采用成熟中间件构建数据交换平台的设想,并利用Biztalk设计实现.

数据交换平台的总体交换流程与原有系统类似,但存在以下三点明显的区别:不再有固定的发送方和接收方,数据在各个环节的流动均可双向进行,使上级向下级的数据分发成为可能,在实际应用中,我们已通过该平台实现了公众信息、通知公告、督办单等信息的自动下发.使用消息队列代替了原有的数据发送软件,利用消息队列具备的自动拆包、自动重发、数据压缩等功能,有效地提高了数据传输的效率和可靠性.使用数据适配/映射工具代替了原有的数据转换软件,利用Biztalk自带的数据适配器及数据映射工具,可在不编写程序的情况下,灵活配置各种异构数据库与中间数据库之间的对应关系,快速实现数据的交换任务.

4.结语

目前,污染源自动监控工作是实现政府对排污企业监管的重要的现代化手段,其网络信息化技术也需紧跟最新信息化技术潮流,本文总结归纳了江苏省在污染源自动监控系统数据传输交换方面的一些做法,期望通过交流对该项工作的发展完善做出贡献.

相关论文范文