电话:13339436556
项目建设背景
根据“互联网+”现代农业发展建设需要,以移动互联网、物联 网、云计算、大数据等技术为手段,以现代农业监管、生产、物流、 营销、服务为重点,全面整合现有农业资源信息,搭建面向区域的农 产品质量安全追溯综合监管与服务、促进农业信息资源共享和整合应 用,有效提升农业信息化与智能化应用水平。 按照国家颁布有关标准建设农产品质量安全追溯平台,实现企业 与农产品品种注册管理、数据实时传输与质量管理、追溯链条合成与 数据统计分析、市场监测预警与应急管理等功能,实现与微信公众号 等对接,为消费者提供简便适用的查询通道。农产品质量安全追溯平 台将建设成为整个区域农产品追溯管理体系的核心管理系统,以分级 管理模式便可实现多级用户、多级系统的统一采集、统一监管、统一 分析。建立起“生产有记录,信息可查询,流向可跟踪,责任可追究, 产品可召回”的农产品质量追溯体系。
项目建设意义
溯源安全体系,最早是 1997 年欧盟为应对“疯牛病”问题而逐 步建立并完善起来的食品安全管理制度由政府进行推动,覆盖食品生 产基地、食品加工企业、食品终端销售等整个食品产业链条的上下游, 通过类似银行收取款机系统的专用硬件设备进行信息共享,服务于最 终消费者。一旦食品质量在消费者出现问题,可以通过食品标签上的溯源码进行联网查询,查出该食品的生产企业、食品的产地、具体农 户等全部流通信息,明确事故方相应的法律责任。此项制度对食品安 全与食品行业自我约束具有相当重要的意义。
据 2010 年全球民意调查机构盖洛普发布的数据,物价、房价和 食品安全位列居民最关注的十大热门话题前三位,而让人不安的食品 安全是导致民众幸福指数较低的主要原因。对威胁食品安全的生产 者、经营者加大处罚力度的呼声一直很高,但总是看到反复出现问题 产品的企业在接受不痛不痒的处理之后照做照卖。比如各种吃到异物 事件,大部分找不出症结。强制建立农产品安全追溯体系,及时查找 问题再解决问题,刻不容缓。而监管重心主要是加强生产源头的监督, 细化生产工艺流程和卫生环境要求。为保证农产品在生产加工流通环 节的安全,可以逐步建立农产品溯源制度,对食品安全的自检抽检记 录都有据可查。 农产品安全溯源体系的建立由政府主导推动,通过产品产业链上 的各方参与进来实现,其中主要包括农产品生产基地、农产品加工企 业、流通企业、零售企业、终端消费者。 农产品安全溯源体系的建立有赖于信息技术的应用和制度的建 立,具体是通过开发出农产品溯源专用的监管平台应用于参与市场的 各方,并进行联网互动,对众多异构信息进行转换、融合和挖掘,实 现农产品质量安全溯源大数据管理平台,完成从农产品生产、加工、 流通、消费等诸多环节的信息采集、记录与交换。
通过农产品溯源体系,我们对农产品生产的消费品能够实现全程 的质量监控。针对大众消费品销售范围分散的特点,溯源网络能够为 质量监管部门提供全范围内的农产品质量统一监督管理,对一处发现 的问题全网联动,确保及时发现、及时追查、及时控制,这将在很大 程度上减少农产品质量问题,特别是减少农产品安全问题的产生及危 害。通过农产品溯源体系,我们对农业生产还能够实现精确的产能控 制。消费品附加信息条码之后,农产品的生产、运输、销售状况都转 化为标准化可处理的数据信息,通过对这些信息的分析处理,政府管 理部门及企业可以及时准确地了解市场需求,精确控制产能,防止过 度生产,避免资源浪费。 随着物质生活水平的不断提高,人们对产品安全的关注程度也与 日俱增,消费者的产品安全意识比以往任何时候表现得更为强烈,各 级政府和职能部门的责任和压力倍感重大。只有充分发动全社会的力 量,以强化行政职能部门监管为着力点,以强化生产、经营者自律为 关键点,以强化社会监督为辅助点,真正做到产品安全无缝隙、不间 断监管,才能保障人民群众的身体健康和生命安全,才能保障我国农 业,工业的蓬勃发展。
实行农产品溯源制度有以下重要意义:
(1)提升农产品安全性。当发生产品事故时,透过溯源产销履 历能有助于锁定焦点,迅速回收相关原料,并探究事故原因,可将危害风险降至最低限度。产销履历更有助于收集长期而言对健康无法预 期之相关资料,有助于风险管理技术之发展。
(2)政府公信力提升。在相关法律法规的基础上,进一步制订 和完善产品溯源制度、市场准入制度等法律制度和具体的实施细则, 明确政府、生产者、消费者三个行为主体的责任和义务,使质量追溯 工作从企业自愿转向一种政府强制行,加强政府的监督管理。从源头 抓起,严厉处罚违法违规行为,减少企业间的不公平竞争现象。
(3)提升生产及经营技术。导入农产品溯源制度,生产者必须 配合标准作业规范从事生产、经营管理,将有利于农民进行合理化生 产,提升生产技术与管理能力。
(4)有利于产品差别化。产地为农产品重要品质指标,产品溯 源制度有助于消费者选择特定地区之产品,生产者更能以地区来形成 产品之差别化,为不同产品或品级农产品定价。
(5)有利于提高消费者的信心。通才全面公开产品溯源信息, 对公众开放功能齐全的查询手段,使消费者“食的安心,用的放心”, 从而提高对政府的企业的信息,促进经济消费。
由于我国产品生产、经营的基础设施薄弱,产品生产、经营者的 法律意识和卫生安全意识淡薄,加上我国当前存在着比较严重的环境 污染问题,农药、兽药滥用得不到有效管理,导致农产品和畜产品农 药、兽药残留和污染问题严重,特别是掺杂使假等不法行为更使产品 安全雪上加霜。
项目建设目标
(1)为区域农产品提供统一的农产品质量安全追溯平台,平台 贯穿了生产、加工、包装、储存、运输、销售全过程,将生产管理过 程透明给消费者,促进企业品控和品牌推广;
(2)基于区域农产品品牌得到全程可控可监管、产品安全与品 质得到保障的基础上,进一步推进区域农产品品牌的线上线下营销体 系的构建,以品控溯源夯实营销,以营销反促品控溯源,最终形成区 域农产品品牌先进管理模式;
(3)设计区域农产品统一追溯标签,树立本地区特色产品原产 地品牌统一形象,打击不法商家滥用特色品牌、引进外地产品滥竽充 数,实现每件优质农产品可追溯可召回,强化本区域品牌农产品意识, 推广品牌影响力;
(4)以区域农产品质量安全追溯平台项目为抓手,普及溯源农 产品的概念和优势,打造本地可追溯农产品的品牌标签,扩大区域农 产品的品牌影响力,以“优质、绿色、生态”的产品理念促进农业发 展;
(5)以溯源二维码为载体,基于“码”的应用,可进行互动营 销,引流消费者,推动电商农产品营销。
项目技术方案
系统总体设计
从农田或养殖场再到终端的餐桌,一种食物要经历从生产品加工 到流通消费等多重环节。某一个环节出问题,农产品安全就会有风险, 因此农产品质量安全监管必须着眼全环节和全过程。
具体思路如下:
(1)建立追溯(Tracing)的系统平台。指从供应链下游至上游 识别一个特定的单元或一批产品来源的能力,即通过记录标签的方法 回溯某个实体来历、用途和位置的能力。
农产品质量追溯示意图
(2)建立跟踪(Tracking)的系统平台。指从供应链的上游至 下游,跟随一个特定的单元或一批产品运行路径的能力。对于农产品 是指从农场到POS零售跟踪的能力。
农产品质量跟踪示意图
(3)确定农产品供应链全过程中跟踪追溯信息。建立各个环节 信息管理、传递和交换的方案,从而对供应链中食品原料、加工、包装、贮藏、运输、销售等环节进行跟踪与追溯,及时发现存在的问题, 理行妥善处理。
(4)建立有效的信息系统。通过农产品供应链中的所有参与方, 在信息交互、管理等方面的合作,实现农产品安全跟踪与追溯。彼此 之间交换信息的内容,表述和形式达成一致,交换的数据采用标准化。 在发生产品质量问题时,这些问题可以在供应链中的,溯源系统主要 有三个显著的功能:信息的获取、信息的传递和信息的管理。
系统总体设计架构
1、总体技术架构
为了适应农委、商务局、新型农业经营主体、农资经营企业、消 费者等不同用户的不同业务需求。根据招标文件要求,该平台的系统 整体架构如下图所示:
区域农产品质量安全追溯平台总体架构
2、总体功能设计
从农产品溯源角度出发,对农产品溯源体系各个环节进行剖析,考虑到农产品溯源过程涉及的参与主体较多,并且分布在不同地域, 不确定性因素较多,为提高系统追溯性能,系统采用面向服务的体系 架构(SOA)设计,将系统分为用户层、展示层、应用层、支撑服务 层、数据层、设备层,其体系架构如图所示。
平台总体功能设计图
(1)设备层,以服务器为中心,以电子标签打印机、农残检测 仪、无线二维码扫描仪等为信息采集终端,并以网络通讯设备为桥梁, 构成农产品质量安全追溯系统的硬件框架,该层是整个系统运行的基 础。
(2)数据层,是支撑系统正常运行的基础,其中包括与系统业 务逻辑密切相关的所有数据以及对数据进行增、删、改、查的所有操作。基于对农产品的调研分析,结合农产品质量安全可追溯系统的业 务功能需求,按照系统数据库建立的基本流程,构建农产品质量安全 追溯系统数据库,为系统业务流和信息流的有效集成提供数据支持, 实现从种植到最终产品的正向追踪及其过程的反向追溯,实现消费 者、企业、政府单位之间的信息共享。
数据层的信息包括:1 企业数据库:企业名称、工商注册登记号、 负责人等;2 产品数据库:产品名称、产品编号、种植日期、采收日期、 销售客户等;3 其它数据库:标签打印数据库、编码数据库、溯源数据 库、系统用户数据库等。
(3)支撑服务层,SOA 支撑服务层是整个平台的中心,其强大 的整合能力是整个平台的基础,为设计基于农产品供应链的质量安全 可追溯系统业务和信息处理提供技术服务支持,主要包括:面向对象 的设计和开发架构、网络组件服务、网络通信能力服务、数据同步、 工作流引擎、权限管理等。
(4)应用层,针对农产品质量安全追溯系统的关键环节和核心 内容,按照农产品溯源流程,划分为基地注册子系统、基地生产管理 子系统、企业管理子系统、政府监管子系统、农产品溯源查询子系统, 整个系统具有实现多维数据输入、全程追溯管理、接口功能强大的特点。
(5)展示层,为系统用户提供人机交互接口,系统采用 Web 的 方式供用户操作,不同用户可根据权限利用智能手机、笔记本、平板 电脑等多种渠道进行交互。对生产企业内部用户来说,提供的是一个农产品生产管理子系统,方便企业用户对农产品生产相关信息的跟踪 和管理;对政府监管用户来讲,提供的是一个政府监管子系统,便于 政府机构人员对农产品生产档案信息的审核和管理,实现网上办公, 提高监管效率;对于广大普通消费者而言,提供的是一个快捷的信息 查询服务平台,消费者通过扫描二维码或者手动输入追溯码的方式来 查询农产品的生产档案信息,增加信息透明度和公开度,保障消费者 的知情权。
(6)用户层,指对农产品质量安全追溯系统有明确需求的所有 用户。包括:监管部门人员、基地人员、企业人员、消费者和管理员 等。
系统设计原则
根据系统建设标准及业务需求,总体框架以高内聚,低耦合为指 导思想,以前瞻性原则、实用性原则、安全性原则、扩展性和开放性 为设计原则。保证系统的先进性和伸缩性。
1、可扩展性
优良的体系结构设计取决于系统能否适应将来新技术和新业务 的发展。系统设计要满足不断更新的业务和用户不断变化的需求,这 就需要系统在满足现有系统需求的基础上具有充分的可扩展性。系统 软件结构模块化,任何软件模块的维护和更新不影响其它软件模块, 通过动态菜单和模板化设计以适应用户不断变化的需求,更好的便于 系统维护。
2、成熟性
系统的软硬件平台和整体方案比较成熟,符合信息化发展的趋势; 系统采用软件幵发的主流模式,体现了先进的应用设计水平,为今后 系统的使用和维护打下基础。本系统釆用 SSH 框架和 PHP 技术相结合 架构,是目前最成熟先进的架构之一,是信息系统发展的方向。
3、可靠性
系统建立在已经成熟的应用基础上,釆用的系统结构、技术措施、 幵发手段以保证系统服务的高可靠性,从软件技术和系统结构角度来 确保系统的“通畅性”,采用适量冗余及其他保护措施,保证信息的录 入和浏览时的不堵塞、不停顿以及在技术允许范围内进行适当的延时, 平均故障间隔时间长,故障率低,提供容错设计,支持故障检测和恢复。
4、开放性
对通用的软硬件平台具备良好的兼容能力,系统采用和用户无关 的协议规范,符合国际标准,系统既有自己的独特优势,同时所选的产 品又具有很强的与其他主流产品互连的能力,从而构成开放、稳定的 软件系统。
5、安全性
系统设计采用统一的权限和身份认证机制,为每个用户分配唯一 的用户标签符,使系统拥有可靠的用户身份认证手段,在可信任的安 全基础之上实际实现系统的业务功能。
6、实用易用性
系统界面友好、客户化,树态逻辑列示的条目,管理条理清晰,一 目了然,易于使用和推广,具有实际可操作性,便于管理人员操作。系 统在设计中力求所见即所得,系统功能操作简单、快捷,紧密结合实际 中的具体业务功能。在浏览器中进行系统功能操作,方便使用和维护。 满足用户的实际业务需求,使用户有一个有效而安全的传递和共享交 互信息平台,进而用户容易操作。
7、可维护性
系统设计逐渐标准化、规范化,通过分层设计实现软件构件化。 釆用系统结构分层将业务与实现分离,逻辑与数据分离,使用开放标 准,以统一的服务接口规范为核心,通过系统管理模块对数据进行备 份,以及对日志等进行管理和维护。
平台功能开发与设计
农产品质量安全追溯平台门户
1、平台介绍
介绍平台服务内容,追溯环节、应用行业、平台 优势,让人从整体上了解农产品质量安全追溯平台。
2、溯源动态
发布最新溯源动态、政策法规、通知公告、专业知识、行业资讯、违规曝光等。
3、溯源查询,在线查询,输入溯源码可查询溯源信息
4、企业注册与登录入口,企业注册后由管理员审核,符合要求者可开通帐号。
农产品追溯管理子系统
1、系统包括主体备案、基地管理、分类管理、产品管理等功能,可实现对基地的电子地图标注,产品管理支持自定义,可扩展各种产品规格与信息。
2、系统可实现对基层单位信息及基础资料的备案登记,主要编 码要遵循国家或行业标准,具有唯一性和通用性。
3、能够建立种植业、农牧业、家禽养殖、水产业、海产业以及 食品加工等各种不同的生产档案,并符合现行生产档案的规范,具有 从生产到销售的全部过程记录。
4、支持自定义生产过程字段自定义,可详细记录各种生产过程 数据。
5、支持数据互联互通,能够直接调用企业的自检数据和监督检 验数据。
6、用户可根据自身产品的特点选择标签的规格,可同时支持打 印标签和印刷标签;能够同时打印二维码和条码等;能够满足生产基 地、收购单位等不同类型的单位。
7、支持电脑、手机、触摸屏等多种查询方式,便于各类用户进 行追踪溯源;对问题产品能快速查找源头信息。
8、检测认证实现对原料种植及产品加工、流通、销售各个环节 的责任主体的信息进行认证与审核,对原料的种植,产品的加工、流 通各个环节的追溯信息的真实性、完整性、准确性进行审核和认证, 对责任主体进行信用等级评估与审核,对产品进行权威的第三方检测 与认证,提升产品追溯信息的公信力。
9、追溯码生成与追溯身份标识
农产品质量安全追溯平台的建设,应用到的核心技术包括区块 链、地理位置信息、密码学、大数据、机器学习等的算法创新。企业 产品溯源身份标识将根据产品的具体应用提供不同的溯源身份码来 进行防伪,不干胶溯源标签的形式,并且产品的追溯身份标识将具体 到最小包装销售单元,实现从生产端到零售终端的全程信息追溯。使 得产品数量、流向等信息具备精确数据,为产地输出、企业从销地召 回等制度的确立,构建强有力的数据支持。
10、一物一码:采用赋码技术为每个产品生成唯一性的二维码, 实现产品的“一物一码”,为溯源信息的上下游传递、标签防伪、动 态激活等功能奠定基础。
追溯查询子系统
1、通过访问农产品质量安全追溯网站,输入追溯码后,可在网 站上查询到该追溯码所对应农产品的具体生产过程数据,包括生产基 地、基地资质、生产情况、肥料使用情况、药物使用情况、检测情况 等信息。
2、二维码标签扫描后,可以查询到农产品的生产过程信息及企 业相关信息。二维码查询在国际上是一项成熟的追溯及防伪技术,是 由于二维码能在很小的面积内承载大量的信息,印刷和识读成本更 低、信息的安全性更高、识别精度也更高。农产品生产企业将系统自 动生成的追溯二维码制成标签贴在农产品包装上,当消费者购买产品时,只需通过手机扫码,即可随时随地查询其购买农产品的生产厂家 以及生产过程当中产生的一系列农事信息数据的记录。
3、消费者通过扫码产品外包装二维码可查询产品追溯信息,企 业可通过产品二维码实现产品追溯与防伪。产品防伪子系统主要实现 对产品种植、流通、销售环节的异常查询信息进行统计、展示,借助 二维码防伪技术,有效对地域防伪窜货进行线上监管。
溯源大数据监控子系统
1、产品追溯大数据分析系统
在大数据时代,基于其海量的信息数据库和对用户行为的分析, 不断探索深化对大数据的整合和深度挖掘。依托农产品追溯系统平台 各模块系统,实现资源整合,信息共享,为业务工作及领导决策提供 强大的信息保障。
"大数据驱动"使得生产管理变得更有效率、更开放、更精细;基 于大数据的分析,帮助企业有效监控产品流通、销售情况,及时纠正 生产中的偏差和失误;有助于开展产品监测预警,通过深入挖掘并有 效整合散落在各产区的产品生产和流通数据,进行专业分析解读,为 产品生产和流通提供高效优质的信息服务,以提高资源利用率和流通 效率,保障企业的产品安全。
2、企业溯源大数据监控系统
搭建大数据监控系统,实时监测和展示企业种植基地、生产加工 基地、仓储监测情况、产品流通数据、企业产品销售与客户情况等。
3、扫码区域统计分析 统计区域内所有产品的扫码方式,产品销量排名、实时访问数据等。
4、平台扫码量分析 溯源大数据致力于分析挖掘大量用户的真实扫描数据,找出用户 偏好和各类商品的市场发展趋势,为用户提供更具价值的购买推荐, 为企业提供极具商业价值的行业趋势和消费偏好,助力企业推出更为 精准的产品设计和品牌营销;
5、对企业所有已贴标签的产品扫码量进行汇总分析;
6、平台支持对各个品种的扫码进行分析,可以看到各种产品的 受欢迎程度,从而支撑下一年辣椒决策种植品种布局;
7、对各区域的扫码量进行排名,掌握扫码人群地域分布特征;
8、统计各区域(省级、市级等)产品扫码数量,了解并掌握产品消费分布区域;
9、统计企业各品种产品的扫码数量,了解并掌握各品种产品扫 码率。
溯源营销子系统
1、产品营销包括产品展示和有奖活动(以大转盘形式展现)为消费者提供购买产品的链接地址,也会为消费者推荐一些产品。
2、自动获取有过扫码记录的消费者资料,提供会员资料查询功能。
3、微信会员随时可以反馈,并可回复会员的问题
4、客服服务为消费者提供电话客服和微信客服和上报。
5、可对接各商城入口,一站式购物。
农业物联网子系统
利用物联网设备及无线技术采集监测当地环境的空气温湿度、风 速、风向、大气压强、光照强度、降雨量、土壤温湿度等数据,设备 其主要由传感器、百叶箱、数据采集器、云主机、机箱、支架、视频 监控系。
地上信息收集:运用温湿度、光照、雨量、风速、风向、气压等 传感器收集地上气候信息。当气候信息超出正常值可及时采纳办法, 减轻自然灾害带来的损失。
地下信息收集:运用土壤温度、水分、水位、营养含量(N、P、 K)、溶氧、PH 值等信息监测,实现合理灌溉,根绝水源糟蹋和很多 灌溉导致的土壤营养丢失。
溯源标签设计
根据区域农产品的特点,农产品的溯源标签设计样稿如下:
平台数据集成实现技术
作为农产品服务平台的重要组成部分,数据互联互通共享集成通 过构建覆盖多个子平台、多个用户角色、多个数据库,围绕跨各个子 系统间的业务协同,以平台业务信息为基础,确定系统交换信息指标 及信息交换流程,实现不同系统间异构应用系统间松耦合的信息交 换,形成系统间信息资源物理分散、逻辑集中的信息交换模式,提供 系统间横向按需信息交换服务。
1、基础架构和业务模型
数据集成平台由信息库系统和信息交换系统组成。信息库系统由 若干交换信息库以及政务应用系统的各种公开业务接口组成;信息交 换系统由交换桥接、前置交换、交换传输、交换管理等子系统组成。
信息库系统:组成信息库系统的交换信息库是政务部门为实现信息交换而建立的中间存储信息库,或者在 SOA 体系下,由各个政务应 用系统所公开的服务接口,可被外界所访问。交换信息库中包括提供 和接收的交换信息。
信息交换系统:前置交换子系统:由交换前置服务器、交换信息 库和交换适配器等组成。前置交换子系统与部门业务应用系统之间隔 离,保证部门业务信息库和业务应用系统的独立性。
交换桥接子系统:部门业务信息库与前置交换信息库之间的信息 交换接口,以实现两个信息库之间的信息交换。
交换传输子系统:根据部署的交换流程,实现部门前置交换信息 库之间的信息处理和稳定可靠、不间断的信息传递。
交换管理子系统:实现对整个信息交换过程的流程配置、部署、 执行和整个信息交换系统运行进行监控、管理。
通过交换桥接子系统将部门需要交换的信息交换到前置交换信 息库,在交换管理子系统的流程控制下,通过交换传输子系统、前置 交换子系统,把需要交换的信息定向传输到接收部门。
这样的体系平台,通过集成应用系统,不同政务应用系统之间形 成松散耦合连接,实现信息交换、路由、分发、转换等功能。以消息 和异步通讯技术为手段,面向服务体系为框架,服务总线非基础,XML 为信息描述语言,实现各个政务应用系统之间的集成。
完成这样的一个成体系的数据交换平台,需要有如下的一些产品 组件:
交换桥接组件、适配器体系组件、数据传输基础组件、统一管理组件。
通过对数据集成业务模型的分析,可以将数据集成平台的业务模 型拆分成如下的关键步骤:
交换数据信息构造,前置数据采集,数据清洗/影射/比对/加工,数据路由, 数据推送持久,统一部署、监控和管理。
这几个关键步骤相辅相成,一个环节作为另外一个环节的基础, 实现部门间信息的互联互通。
2、公开数据服务接口
出于安全、保密等方面的考虑,某些高度机密部门的数据,必须 经过筛选与审核,通过数据导出的方式,产生交换数据。对于这样的 部门,在进行数据交换时,往往通过公开服务接口的形式,对外暴露 数据资源。
这些服务接口,是符合 WebService 规范的应用接口,向部门外 公开,并可由部门外的其他应用系统所调用。
或者,这样的部门,会采取数据导出的方式,提供数据信息资源。 将自身的业务数据导出成 Excel、Txt、XML 等文件,以手工或者联机 报备的方式,提供给外界使用。
3、前置数据采集(物联网传感器接口数据采集)
当数据资源已经产生之后,整体数据交换平台,需要能够对这些 将被进行交换的数据资源进行数据采集,并且进行封装,并发送到整 体交换网络中去。
由于数据资源的产生有多种模式,可能存在于前置交换数据库 中,也可能是一个公开的 Web 服务接口,也有可能是报备上来的资源 文件。针对多种不同的数据资源模式,数据采集也将会有多种不同的 模式。
这些模式,将通过各种丰富的、针对不同存储介质进行访问的适 配器来完成。
4、前置数据库数据采集 部门前置数据库为关系型数据库,需要有数据库适入站配器来完 成前置数据库的数据采集。数据库入站适配器需要提供如下的功能:
支持主流关系数据库的主流版本,如 MySQL6、Oracle9i、 Oracle10g、SQLServer2000、SQLServer2005、DB28 等;
能够自动分析前置库中的变化量数据;
能够从前置库中提取变换量数据,并且,将数据封装成 XML 的标准格式;
同时,考虑到存在一些应用场景,数据库中存放的是附件路径 数据,而附件本身保存在文件系统中,数据库入站适配器需 要能够在采集数据的同时,采集附件。
5、Web 服务接入
部门将自身的数据资源信息以 Web 服务的方式暴露公开,需要有 Web 服务入站适配器来完成 Web 服务的接入和调用。Web 服务入站适 配器需要提供如下的功能:
支持接入松散耦合的、与语言和平台无关的、跨组织、跨因特 网链接的 WebService ;
全面支持 XML、WebService、SOAP、LDAP、UDDI 等当前受 到普遍支持的国际开放标准,保证系统能够与其它平台的应 用系统、数据库等相互交换数据并进行应用级的互操作性和 互连性;
支持 WebService 访问身份认证,确保 WebService 接入的安全性;
能够将访问调用获取的数据封装成 XML 的标准格式。
6、文件介质数据采集
部门报备上来的文件介质,可能是多种多样,普遍存在如下的几 种文件格式:
Excel 、 格式化 Txt、 XML 。
针对这些不同的文件介质,需要提供不同类型的适配器,完成对 文件介质的采集。这些适配器包括 Excel 入站适配器、Txt 入站适配 器和 XML 入站适配器。这些适配器,需要具备变化量数据分析的能力, 保障每次采集的都是变化量数据。同时,这些适配器需要能够将采集 到的数据封装成 XML 的标准格式。
7、后续数据接入
数据信息需要通过安全、稳定、可靠的数据路由方式,以异步的 消息模型,不漏、不错、不重、不丢的方式,发送到各个数据的接收端。
数据信息首先会以标准的 XML 方式或者 SOA 体系中的 SDO (ServiceDataObject,具备数据自身可回朔能力的数据模型)方式, 进行包装,包装之后的数据,将通过数据路由基础设施,进行可靠、 安全、稳定的数据路由。
数据路由基础设施,需要具备如下的功能:
支持消息切分,将一个大的消息切分成多个小块发送,在目的 端重新组合成完整的消息;
支持断点续传;
支持消息压缩,以最大可能的利用网络带宽;
持消息加密,保障消息传输过程中的安全和保密;
支持一次性发送保障,保障消息一旦被发送,一定可以可靠的 传输到目的地;
支持集群,保证稳定可靠;
支持安全传输功能,支持各类加密传输协议,消息分级安全保护;
支持备份路由;
支持智能路由,能够综合考虑路径的长度及负载情况,选择最 佳路径,提高消息传输效率。
支持集群,能够承受大并发,避免单点故障;
支持安全传输功能,支持各类加密传输协议,消息分级安全保护;
支持点对点、点到多点双向通信;
支持广播模式接口;
支持消息队列机制;
支持消息订阅/发布。
8、流程化特征
需要能够通过流程化的方式,将各种入站适配器的数据采集、数 据的处理规则、数据的路由规则和各种出战适配器的数据推送,松耦 合的有机结合在一起。完成完整的数据交换业务。
通过流程化的方式,可以实现能够实现基于内容的数据路由,同 时可以轻易的实现多种数据交换模式:
点对点 、组播。
以流程化的方式,带来最大的好处是:数据集成逻辑和数据业务 逻辑分离,平台将具备高度的灵活性、敏捷性和可扩展性。
9、详细的日志管理
交换平台中的日志管理,也分为两个部分
系统运新日志:这部分的日志,记录了系统运行的状况,能够反映系统的健康状态。日志的内容包括系统启动时间、系统地状态以及一些可用于系统错误察看的底层系统日志。
数据交换日志:对于交换平台中的任何一个组件,包括各种适配器、数据路由组 件,没发生的一笔数据同步情况,都需要记录详细的数据交换日志, 日志的内容包括:发生时间、数据源端 、数据目的端、数据内容、数据操作类型、数据意图、数据实际执行情况、数据错误信息。
通过这些信息,可以做到对整体交换平台中发生的任何一笔数据 交换情况,了如指掌。
10、分析统计
在详细的数据交换日志的基础上,需要提供基础的交换数据分析 统计的功能,系统提供全面的查询、统计分析功能。包括单个节点的 数据传输统计报表、节点到节点的数据传输统计报表、按时间段产生 统计报表。
这些统计报表,将作为领导决策、数据审计的基础。