2015年7月19日，以“开源大数据技术的生态与应用”为主题的“第四届中国大数据应用论坛”在北京大学隆重举办。本次论坛由北京大学信息化与信息管理研究中心和中国新一代IT产业推进联盟主办，北京大学CIO班教务办公室和北达软协办，CIO时代网承办。活动当天来自业界的专家领导、大数据专家、技术大咖、知名企业CIO、知名媒体等近200位嘉宾参与了此次盛会。本届论坛的主题聚焦开源大数据技术的生态与应用，嘉宾们分别从不同的侧面揭示了大数据技术本身的发展与行业应用趋势，带给了台下嘉宾们很多的干货以及经验分享。

    北京燃气集团信息档案中心总工王广清先生在论坛上带来了题为“燃气企业数据治理与应用的探索 ”的精彩演讲，以下为演讲实录：

北京燃气集团信息档案中心总工 王广清

    大家下午好！我今天讲的更多的是在企业里如何管理企业的数据。更多的是从我们自己企业的角度与大家分享。我今天演讲的题目是“燃气企业数据治理及应用的探索”，主要是讲我们企业数据治理和管理方面的方法、经验，与大家进行分享，同时也对企业未来发展进行探索和展望，希望对大家有所启发。今天报告主要分为三个方面：

    第一，燃气企业数据治理现状及挑战；第二，燃气企业的数据管理实践；第三，燃气企业大数据应用的探索。燃气企业数据治理存在的问题及影响。比如数据分散在众多系统中，每个系统都在局部进行数据定义、数据分类、数据主题区域划分、数据模型维护，缺乏统一的、全局观的数据试图。缺乏统一的数据分析规划，数据的访问、变更、转换、清除等全县定义不清楚，无法保证数据在流转过程中的一致性。等等。这些问题概括起来，是企业没有进行统一的数据管理。而一个企业却拥有着很多数据，分散在各个系统，只是没有进行统一管理。如果数据不能进行统一管理会给企业带来很大影响，影响到企业决策、数据共享等方面。不能及时有效的形成决策提供、给数据统计带来困难等。这些都是问题和影响，需要企业迫切建立一个数据管理体系，对数据进行有效的管理。刚才讲了数据治理的迫切性。

    下面讲一下数据治理的价值。讲一下它的必要性。可以促进单一数据视图的形成，支持管理信息能力的发展，提高支持决策分析的能力。避免跨部门沟通的歧义性，减少部门间沟通障碍，降低沟通成本。

    我们看一下数据治理体系建设面临的挑战。比如说数据治理体系是一个漫长、艰苦的过程。首先各位CIO同学，你们思想上要做好准备。不是说通过一个项目、一段时间的工作就能把企业的数据管理做到很好。还有在管理工作中需要领导的重视，重视数据治理体系的建设，并且授权给数据治理组织进行数据治理工作。数据治理工作需要加强参与人员的培训教育。那我们的解决方案，比如说这个过程漫长，那我们业务部门、信息部门等部门需要在友好的氛围下通力合作，数据治理协调组织需要加强协调力度，数据治理部门需要具有业务管理经验和数据管理经验的人才。

    前面介绍了数据治理体系的迫切性和必要性。下面结合我们企业在数据架构规划、数据资源管理系统的建设、数据安全管理方面的经验，来说明一下数据治理体系怎么进行建设。我刚才说了三块：数据架构规划、数据系统建设、数据安全方面的需求做法。这些和数据治理体系又有什么关系？我之后会做些解读。

    大家看一下这张图。这是国际数据管理协会（DAMA）提出的企业数据管理模型。他认为企业数据管理是一项非常大的工作，从数据架构、数据开发、数据安全、主数据的管理、数据仓库与商务智能、数据参考与主数据、文档和内容管理、元数据管理、数据质量等等，我认为这个讲得很好。我今天讲的也围绕这个模型展开。比如我们的架构是怎么样规划的，主数据管理、元数据管理、数据质量管理我们会放到资源管理系统，还有数据安全的做法，供各位同学参考。

    我们各位CIO同学如果看到这张图会想到什么呢？我首先会想到，这10项工作是我们自己的企业，哪些已经做的、哪些正在做、哪些未来要纳入到计划里要去做的。那么已经做的部分，做的质量如何？我们未来如何进行优化？我想我们在座的同学，看到这张图，你们应该思考这样的问题。一个企业的数据管理是千头万绪。我们现在热炒大数据，那我们的同学们究竟何去何从？我想这张图可以告诉你们，你们企业未来应该做些什么工作。首先要把数据治理的基础打牢了，然后在此基础上进行大数据分析。我们首先看一下，企业数据架构规划方面我们所做的工作。我们数据架构是由数据模型、数据管控体系、数据平台支撑体系三个部分组成的。未来整个企业数据管理建设工作也主要围绕这三个部分展开。数据模型包含了哪些内容？通过识别和定义数据主题域、数据主题、数据实体，形成级概念数据模型，建立全局数据视图。通过规划和建立数据管控的组织、流程、评价考核体系支撑数据质量、数据标准、数据安全的有效管理。这是数据管控体系。数据平台支撑体系，通过建立企业数据仓库、数据资源管理系统、企业级应用集成平台，实现对数据模型、数据生命周期及数据管控体系的平台支撑。在座的同学们，如果你的企业没有做过数据架构规划，建议你们尽快能做这样的工作，这样就明确目标。具体到你的企业做这样的规划，定义企业未来几年数据治理方面要做的工作，这是一个高效的工作方法。

    再看一下数据模型规划里面一个数据主题域及数据主题划分。通过对企业业务领域进行数据映射，可划分为以下14个主题域，并根据各个业务域下的业务能力，细化数据分类粒度，将主题域细分为50个数据主题。

    第二是建立企业全局数据视图。基于数据主题域、主题、实体的划分，建立全局数据视图，从统一的视角提供反映企业业务活动的完整数据视图。我们的CIO们脑海里应该有这样一个试图。做规划的人，对你企业整个数据是什么样的，站在企业来看我们数据的试图是怎样的。要把它规划出来，便于后续整体的建设和系统之间的协调。

[page]    这个是数据管控体系规划。数据管控帮助企业实现对数据的有效管理，以确保数据准确性、一致性、完整性、可用性和安全性。数据质量、数据标准、数据安全是数据管控的三个重要管控内容，而组织、流程、评价考核则构成了数据管控的支撑体系。

    最后，是数据支撑平台规划。数据平台是数据模型规划和数据管控体系规划的信息化落地支撑手段。燃气企业数据平台整体架构由企业级数据仓库、数据资源管理系统、企业级应用集成平台组成。

    下面介绍一下我们数据资源管理系统。首先解释一下，为什么要叫数据资源管理系统？最开始建设这个系统时我们是一步步和厂商交流过程中不断地修改我们的需求、不断地进行总结，最后我们定义叫做数据资源管理系统。最开始我们是想做一个编码系统，但是我们在与厂商接触过程中，特别是南方电网、国家电网、神华等大型企业交流后就改变了我们的想法，从编码系统换成主数据系统，我们说要建成主数据系统，把企业数据管理起来。但是最后觉得主数据概念还是太窄，最终我们叫做数据资源管理系统。数据是企业的资源，不仅是管控，更多的是把数据管理好，发挥其资源价值。所以数据资源管理系统是一个更合适的名称。

    我们数据资源管理系统目前主要包含主数据管理、元数据管理、门户页面管理。我们的基础平台包括系统管理、工作流管理、接口管理。数据资源管理系统最主要的是主数据的管理。主数据是数据资源系统最重要、最基础的一部分，是企业数据资源管理的切入点。主数据管理这块有很多问题，比如说缺乏统一的数据标准、数据质量难以保证、数据管理的职责不清等都存在问题，还有没有系统的支撑，数据共享程度比较低。我们通过数据资源管理系统，主数据模块建设实现对主数据全生命周期的管理。我们要建立整个企业的数据地图，什么叫数据地图？我后面会讲到我们要有统一的数据标准、明确数据责任、明确管理模式和管理流程、实现系统集成和数据同步更新。

    这是梳理了我们企业的主数据以及之间的逻辑关系。可以看到好多企业也差不多。这个图是主数据管理地图。这是什么意思？我们把所有主数据梳理完了以后，这些主数据在哪些系统里存在、哪些系统要用主数据、哪些系统是主数据的生成者？我们要把它确立清楚。所以在这个图上，圆形表示数据的消费者、三角形表示主数据在这个系统里面生成的。比如说用户的主数据，包括用户、表具、地址。这就把企业的主数据，在哪些系统生成主数据、哪些系统消费主数据等都梳理清楚。

    根据不同类型主数据制定不同的管理策略。比如主数据申请、审批、分发在主数据管理系统中进行；业务系统校验业务的合规性。代表主数据管理模块：物料、供应商。主数据申请、审批、管理分发都在主数据管理系统中进行，代表主数据管理模块：组织机构。主数据的产生、管理仍保留在业务系统中；数据资源管理系统从业务系统抽取主数据并向各个系统分发。所以，不同的主数据有不同的管理策略。

    在建设过程中，实现主数据之间的共享。数据资源管理系统要与已有的系统进行集成。这是一项比较复杂的工作，会涉及到接口方案的制定、接口开发和调用、初始数据、联调测试、上线部署等等。在后期我们要与各个业务系统进行对接，这耗费很长时间，我们现在还在建设过程中。

    前面把主数据系统做了介绍。下面我简单介绍一下元数据管理做一下介绍。元数据收集到元数据管理子系统后，可对元数据进行影响分析、血缘分析、元数据资源统计，出具数据库变动报表。

    数据质量管理就简单介绍一下。我们做了一个数据质量管理的评价模型。为什么要做数据质量管理？数据质量管理，其实每个企业都存在这个问题。你的数据质量都是不高的，这个问题也困扰我们企业开展信息化的建设，而且对这个问题进行多次沟通，效果也不明显。我们在做的时候专门有一个模块，我们建立了数据质量评价模型，从合规性、完整性、唯一性、一致性四个维度，具体细化成具体的相应指标。这样就可以做好多工作，我可以对下属企业数据质量进行打分，然后告诉你这个数据里存在什么问题，我把这个结果反馈给你，你要进行修改。这样的话企业就会重视这项事情。所以它是很有意义的。

    最后再把数据安全方面介绍一下。数据安全，我们为什么要做这件事情？为什么要把数据放在IT部门管理？我们制定了数据安全管理的规定，对数据全生命周期进行管理和约束，包括数据的产生、存储、使用、传输、销毁等等。这是制度上。除此之外，我们在技术上也有相应的管控措施，通过堡垒机制约束整个系统对数据的访问，对系统的操作进行了审计，保证数据安全。安全要求：生成的数据进行分级；严格限制系统的数据的输入和输出；对存储敏感数据进行加密并定期进行检查等等。

    另外我再讲一下数据备份。合理的备份架构保证数据有多份备份。数据备份是很重要的，如果真正发生问题，确保数据安全。我们要通过合理架构建设稳定、强大的备份平台，确保数据不流失。这样的话，一般发生灾难时，我有一个最基本的保证，还能够恢复。平时要加强日常备份管理，每天要进行巡检，每个要进行运维分析，定期恢复测试，等等工作是保证备份的有效性。

    数据资源架构的规划、数据资源管理系统的建设、数据安全的做法，跟各位做了分享。那数据资源管理为企业带来的收益包括管理决策层面、业务与运营层面等等。各位同学，如果你们企业还没有做数据资源管理建设，建议你们进行数据资源管理建设。

    介绍最后一块，企业大数据应用的探索。在介绍这部分之前，我先介绍一下燃气企业信息化基本模型。包括客户服务管理、企业管理、生产管理。第一块客户服务。生产管理包含一些表具、管线安装等等。我们有SCADA/GIS系统。还有企业管理，就是所谓的ERP。下面我们看一下燃气企业大数据可以做什么工作。首先我们做了一些展望。我们未来大数据可以在以下几个方面，比如说燃气销量管理、用户资源管理、设备事故风险评估、管网事故分析、投资管理。除了我前面提到的要做好数据管理的基础工作之外，我们还要做好上面的三项工作：一是优化业务流程、规范数据标准；二是通过物联网技术实现与用户的有机结合；三是通过大数据技术实现智能分析强化辅助决策。

    优化业务流程、规范数据标准。对相关业务流程进行优化，保证业务流程标准统一，实现业务流程和数据标准的全面顶层设计。业务这块我们要整合规划发展、设计建设、生产调度、技改维修、用户销售等业务流程；制定、推行数据标准，统一企业管网运行、用户贸易计量、用户收费的标准规范，确保数据收集的有效性。

    通过物联网技术实现与用户的有机结合。特别是我们要利用传感器和卫星定位技术准确监测燃气管网实时状态，实现管网的主动维护，消除安全隐患，降低供销差率，提高管网维护效率。建立基于AMI体系架构的先进计量系统，建设燃气先进计量系统，实现IT信息系统对智能表具按需或定时通讯，采集计量数据、表具异常信息，实现多种计费模式及统计监控分析功能。现在好多是抄表，还很不智能。我们希望通过这样的改造（这是一种长期工作），这样的改造至少要花10-15年时间，可能要投入几十个亿。这是一个长期的工作，但是这个工作一定要做。这样可以作基于大数据的分析工作。所以这是一项非常有意义的工作。

    通过大数据技术实现智能分析强化辅助决策。采用大数据技术可跟踪用户的用气动态、月度以及年度用气情况，并对用户行为进行深度分析，分析结果可以用于以下用途：判断用户的消费习惯，并进行分类；根据不同类型的用户类型提供个性化服务等等。下面我介绍一下应用展望。比如说燃气销量管理、用户资源管理，这些都可以基于大数据技术做一些相关的管理展望。设备事故风险评估，对管网事故进行分析。由于时间关系我就不一一介绍了。

    最后，我再介绍一下，参考新一代IT模型搭建大数据平台。我们通过大数据进行关联分析对企业安全状况进行监控、报警，这是第一个要做的工作。未来我们想基于这个平台与业务分析挂钩起来，比如缴费行为分析、到访不遇分析。我们到用户家巡检时，他不在家，也可能是这个房子没有人住，另外还有其他原因。另外我们结合其他方面的大数据来判断它究竟是空房子，还是说这次没人我没有碰见他。然后我们可以进行管网事故的分析、供销差分析。前面讲到了我们利用大数据平台进行安全日志分析。我们搭了这个平台之后进行网络流量统计、访问行为统计分析。

    总结，企业数据管理的模型。每个CIO心中应该有这张图，知道自己企业做哪些、哪些没做、未来哪些还要去做。数据治理，这张图定义的很清楚。如果你的企业还没有做数据治理整体规划，建议尽快做数据治理规划。建议建设数据资源管理系统实现主数据、元数据、数据质量等方面的管理。最后是燃气企业大数据应用展望，在燃气销量管理、用户资源管理等方面进行展开，但首先我们要建立好自己企业的数据治理体系，这才是基础。利用大数据的热潮加快企业大数据的建设。

    我认为数据管理不是一蹴而就的工作，也不是一个项目就能解决所有事情的工作。作为一个企业，特别是我们各位CIO，这应该是你们时时刻刻关注的事情，应该投入更多时间和精力加强企业数据治理工作。构建数据治理体系非常重要，但是建立持续的数据治理工作更为重要，从IT到DT时代的转变，更是尤其重要。今天介绍了一些我们的经验、做法以及未来的探索展望，希望对大家有所帮助，谢谢大家！