毕业论文网
这篇管理系统论文范文为免费优秀学术论文范文,可用于相关写作参考。
数据质量分析和整合在电网资产管理系统中的应用分析
引言
随着信息化建设的不断进步和飞速发展,信息技术已渗透到电力行业运营的各个环节.2015 年,云南电网有限责任公司集中优势资源,完成了云南电网资产管理系统的推广实施工作.随着资产管理系统的逐步深化应用,以资产管理为主线的各业务部门之间,对资产管理业务的数据质量的精度要求越来越高,而由于前期系统建设过程中,各管理专业建立了符合各自管理专业的业务系统,没有形成统一覆盖各专业范围的资产管理系统,无法形成有效的信息共享.
新的资产管理系统的推广应用,强调了对电网资产全生命周期的管理,功能业务覆盖了从“投资计划—项目管理（基建管理）—物资管理—生产管理”等方面.因此,对电网资产管理的数据需满足以上诸多专业,同时能够现实业务数据在各个业务模块间的共享,提高管理效率.
通过云南电网资产管理系统的实施推广及应用,数据质量对系统的使用效果影响愈加明显,而且不同的业务模块之间存在“信息孤岛”,导致数据不一致,无法达到信息共享.因此,需要对现有数据的质量进行分析,整合资产管理的业务数据,使其满足各专业的管理要求,对电网资产管理系统的数据质量从多个方面分析并进行整合,形成满足电网资产管理规范的数据管理标准,提高系统数据质量,实现信息的高效共享.
一、数据质量分析
建立满足供电企业各专业使用的电网资产管理数据,对资产管理的各项业务数据进行分析,形成专业的数据质量管理标准,云南电网资产管理系统数据质量分析主要包括以下三个方面： 1）符合标准的数据质量定义；2）域分析与过滤器分析；3）基于数据仓库的ETL 分析.
1.1 数据质量的定义
云南电网资产管理系统数据质量分析主要主要表现在规范性、准确性、完整性、及时性、一致性和集成性等几个方面.
规范性：反应各业务模块的业务规范,符合电网生产业务指导标准,使其满足行业标准.例如：电网管理规范中对各类设备的命名规范,使用代码等；
准确性：在正确性的基础上,准确性反应数据与客观世界的匹配程度；需要注意的是,正确的数据未必准确.例如：通过对资产进行账实核查对比,保证资产管理系统中的各项资产数据与实物资产数据保存一致、准确,确保录入系统中的业务数据准确.
完整性：在一定范围内,根据特定的需求和相关的数据,保证数据集中的数据既不缺少应有的部分也不增加多余的部分.例如,公共数据库中的数据应排除非法数值的存在和尽量减少非空数值的出现.前者的例子有设备资产型号,后者空值的出现会带来统计与决策支持上的不便.
及时性：表示数据在一定时间内的时效性,不同的数据有着不同的时间有效性.例如,一个系统在长期运行下,数据库会产生废弃表,留下冗余和无效数据.此时,应对这些表进行连续监测,通过数据量的变化来排查,排除变化量小的字典表和变化量大的表,剩余的就是过了时效性的废弃表.一致性：表示在数据集中的特定规则表达是否相同的衡量依据.例如,在各业务系统中对项目信息如何管理,是保证项目名称一致还是项目编码一致,在需要取值同一个数据时,应以什么取值为标准.
集成性：在传统的电网资产管理信息系统中中,早期的信息化管理信息系统有生产、物资、基建、财务、项目管理等等多个方面建设,但这导致了数据分散存储和处理,使得各个系统中数据库表的对应字段没有相应联系,主键不匹配甚至没有键码,这也是后期数据整合要解决的问题.
1.2 域分析与过滤器分析
域分析和过滤器分析对数据质量的保证体现在对“脏数据”的清洗,数据清洗这一环节又是属于数据仓库的ETL 技术.这两种分析对控制数据质量起着很大的作用,它们是从数据质量定义的基础上,通过对数据库的结构进行的另一种数据质量分析的方法.
域分析的功能是通过列来分析数据库表,包括：1）数据类别分析,涉及标示量、枚举量、时间、文本等；2）统计分析,涉及频率、方差、百分比等针对数值类型的相关分析；3）格式分析,主要涉及模式匹配的针对字符类型的相关分析.
域分析可以使数据环境得到充分的了解,以便数据质量的有效管理与评估.
过滤器分析主要是通过对不同规则的组合进行分析评价.过滤器的基本规则有三类：一是包含规则（CONTAINS）；二是等于规则（EQUALS）；三是存在规则（EXISTS）.除此之外,过滤器定义的规则还有范围规则、正则表达式规则、频率规则、类型规则以及唯一规则等.分析评价包括符合规则的记录数、规则明细、总记录数以及正确率等.
1.3 基于数据仓库的ETL 分析
在每一个信息系统的背后都有相应的数据库系统,另外与数据库系统相关的一个概念就是数据仓库.数据仓库是基于数据库技术的,它是支持管理决策过程的、面向主题的、集成的、随时间变化的数据集合,它是研究如何将大规模复杂的数据更有效的组织、用于方便使用的技术.
在数据装入数据仓库之前,要进行一系列操作来保证数据质量,这个操作就称为ETL,即有关数据的抽取（Extract）/ 转换/ 装载.在此之前进行数据清洗,主要是对数据中的错误进行自动或人工纠正,以提高数据质量.ETL 实际上是数据流动的过程,与此同时ETL 的数据集成服务可以提供相应的解析功能,实现对集成规则的解析.
ETL 往往与大型数据仓库、管理决策系统相配合使用,在信息系统的数据整合中也起着重要的作用.
二、数据整合
数据质量分析完后,就要对数据进行整合.以现阶段云南电网资产域管理信息系统为例,为了能给公司各阶层员工提供资产域方面的全方位信息化服务支撑环境,急需创造一个信息化、网络化、数字化、服务化的资产域管理平台,做到统一的业务规划、消除信息孤岛、提高系统的开放性和扩展性,形成贯穿生产、物资、基建、财务、营销等业务域的综合管理平台.
2.1 资产管理平台数据整合内容
云南电网资产管理系统实现了云南电网资产管理从“投资计划—基建管理、项目管理、物资管理、财务管理—生产管理”的一体化体系建设,内容主要包括投资计划管理、基建项目管理、其他项目管理、物资管理、财务管理和生产管理,业务数据交换模式繁杂,使得数据脉络繁杂、不易扩展,系统相互耦合.因此,数据整合应包括信息资源整合、信息资源共享和服务整合三个方面.其中,信息整合将定义电网资产管理业务的信息标准与规范,通过建立公共数据库来构建数据交换,实现数据共享、数据管理与服务.同时达到统一账户的管理,尤其是用户权限的统一管理,服务整合主要是对各业务模块的应用服务、资源整合,能在面向不同角色用户时提供主动、个性的特色服务.
2.2 数据整合的解决方案
建立数据集成平台,通过专业的ETL 工具,对数据集成平台中的各业务数据进行清洗、抽取、转换、装载,实现信息交换和共享.同时,该项技术也提供数据质量监控与管理功能,对数据转换与清洗、调度和监控也非常有效.
信息整合总体上采用组件化的开发框架,同时符合SOA架构的设计理念.采用SOA 架构有利于项目建设,它可以根据需求通过网络对松散耦合的粗粒度进行分布式部署、组合和使用.服务层是SOA 的基础,可以直接被应用调用,从而有效控制系统中与软件代理交互的人为依赖.技术体系上选用J2EE 技术, 采用Browser/WebServer/DataBaseServer三层结构进行应用系统的开发.数据底层用Oracle 数据库软件,并配合RAC 组建数据库.采用XML 的数据交换技术和WEB SERVICES 服务进行业务系统整合和集成支持.以其作为系统对外接口的主要实现方式.
三、结论
本文提出了数据质量在电网资产管理系统中的重要性,并从概念定义的角度提出传统数据质量分析以及数据的域分析和过滤器分析,通过后者的分析提出ETL 技术在数据整合的综合应用.在数据整合部分中,阐述了数据整合的内容和技术要求,整合过程中的数据集成平台与数据质量和ETL 分析技术的联系,并实现信息整合、服务整合、认证整合三方面的数据整合,基本消除信息孤岛,实现电网资产管理平台的数据共享,实现有序、稳定、高效的管理与应用.
管理系统论文范文结:
适合管理系统论文写作的大学硕士及相关本科毕业论文，相关管理系统开题报告范文和学术职称论文参考文献下载。
1、管理系统论文
2、学位论文管理系统
3、图书管理系统论文
5、超市管理系统论文
6、学生管理系统论文