百年资管：数据管理项目

  为充分贴合《中国银行保险监督管理委员会关于印发银行业金融机构数据治理指引的通知》、银保监非银检函〔2021〕96号关于第三次就《保险业监管数据标准化规范（保险资产管理公司版）》征求意见的函等监督管理的机构相关文件的要求，通过系统建设等手段，明确数据安全、识别、管控、应用等标准，建立统一监管标准化数据报送口径，故启动数据管理系统的建设。

  就数据管理方面，随着数据中心系统的使用，发现任旧存在缺乏数据标准系统化管理、元数据变化造成平台与源系统数据不一致、平台的数据问题快速定位难、数据缺乏安全准则规范等问题。建设一个完整的企业级数据管理系统，并依托数据管理系统提供数据管理能力，能有效管理企业数据资源，发挥数据资产价值，为数字化转型打下坚实的数据基础。

  数据管理系统以技术架构为基础，采用微服务组件的形式，进行部署。其中，微服务组建包含：基础服务、后台框架、前台应用三大块内容，前、中、后分离互不干扰的形式使系统运行流程。并且，由接口层统一包装接口，提供对外服务，为后续基于数据管理提供上层应用打下坚实基础。

  在业务架构上，按照需求划分：数据标准管理、数据质量管理、元数据管理、系统管理、数据采集等五大功能，以对数据从产生到消亡的生命周期管理为核心的业务诉求出发，辅助数据探查，让数据从看不见的“数据库黑盒子”变为数据血缘清晰的“数据白盒子”。

  整个项目围绕数据管理为核心，以“业务+技术”共赢为驱动，实现数据全生命周期管理。

  因公司核心业务系统均为外部采购，在IT运维同事管理系统升级时，更多的注重系统业务功能的实现上，并没有完全清晰透明的底层数据库表结构的变化，往往会导致低级错误的产生，例如：某varchar类型字段长度从60变为55,会导致新增数据存在超长溢出情况，或其他不可控制风险。通过该项目，可以对所采集的数据库表结构可以进行版本管理，自动对所有的表结构变化进行全方位检查，如发现表结构变化，可通过邮件等方式提醒到相关的系统运维负责人。

  通过自动化的手段了解数据内容、结构，形成数据字典及数据血缘关系。包括数据成分、数据间关系及相关资源匹配等问题，可精准识别数据转化机制、建立数据有效性及准确性规则、校验数据间依赖性等的过程，从而帮企业全方面了解数据，并确定这一些数据可用性的过程。观察数据规律，找出数据间的联系和问题点。

  （1）分析并解析业务系统的存储过程、函数、package等，将各数据库表的来龙去脉清洗的展示出来；

  （2）因各系统并不是独立运行，提供人工打标签的操作，将系统与系统间的数据流向清晰的展示出来。

  以业务人员为核心辅助系统流程，录入相应的业务数据标准，将业务数据的含义及计算逻辑统一系统化管理，并由数据治理小组（委员会）进行发布生效，建立公司级的业务数据标准，为做到业务口径一致及唯一打下坚实基础。

  根据业务规则，配置相应的数据校验，由系统定时轮询检查，发现异常时，邮件提醒相应的业务人员。

  1.基于已采集的元数据，通过智能聚合算法，快速归纳出相似度高的元数据自动提取出数据标准，将数据标准与元数据自动建立关联关系，实现同步一键式对标。

  2.支持数据标准与元数据的手动和自动关联。自动关联的自学习机制能够最终靠获取用户反馈慢慢地加强匹配度，提高机器学习准确率。

  3.系统将数据标准、元数据以及数据质量有机整合，通过元数据与数据标准的智能对标映射，自动生成核标检核规则，定期提供各系统的数据标准检核报告，各系统的核标情况一目了然。

  4.元数据采集一次性设置，后续自动获取版本变化，并生成版本的差异报告。元数据与基线模型绑定，运行监控任务，实现生产库的事中校验，及时捕捉设计、生产的问题。

  5.支持设置基于元数据和数据的标签识别规则，周期调度标签扫描识别任务，为各类资产打数据标签，通过标签识别数据安全、数据业务属性，对数据来进行分类分级，支持业务场景自动归类数据。

  项目实施作为软件项目成败的重要的条件之一，是一项系统工程，也体现了项目协作、沟通程度。百年资管以项目管理科学思想为基础，精心制定了一套项目执行方法论。该部分最重要的包含以下内容：项目管理实施体系，实施资源体系、项目实施计划体系三大部分。项目实施中严格要求实施人员遵守该项目管理体系，以实现：

  百年资管数据管理项目以需求为基础，涵盖项目启动、系统实现、系统测试、系统上线、上线支持、验收交付收尾所有的环节。如下图：

  项目内外各种各样的因素具有不确定性，同时项目相关环境中存在一定的干扰，因此项目的实施难以完全按照项目计划进行，出现偏差是不可避免的。良好的项目控制能够保证项目按照计划稳定地完成项目目标，就是说有及时地发现偏差、有效地缩小偏差、迅速地纠正或预防偏差，使项目始终按照合理的计划推进。

  数据管理系统现已接入21个源业务系统，共涉及28854张表、599439个字段。为清晰各源业务系统间关系并通过可视化方式展现，已将梳理出的836个系统间接口导入系统。

  根据《银保监非银检函〔2021〕96号 关于第三次就《保险业监管数据标准化规范（保险资产管理公司版）》征求意见的函》、《银保监非银检函〔2021〕61号 关于再次征求保险机构资金运用报表意见的函》的要求，已在数据管理系统中划分9个数据管理责任部门，涉及11名数据管理员，共计录入106类，2668项数据标准。

  整体来看，数据管理系统的上线，将对未来进行数据权责划分提供重要依据，并在此基础上，不断对杂乱的数据来进行标准统一、口径统一的工作，为真正发挥数据价值，挖掘潜在数据价值发挥巨大作用。

  1.提高企业数据的规范化和标准化。由于企业内部系统由不同厂商开发、数据由不同的业务部门生成，导致各厂商、部门对基础业务数据定义不唯一，数据标准的定义不同。在数据处理环节中因标准的不统一，导致系统复杂度高产生大量的脏数据 。引入数据管理系统后可统一企业对数据的理解及使用，为公司可以提供更有效的数据赋能、为监管提供更准确的数据支撑。

  2.提供完整的业务数据流程图、清晰的数据架构，完整描述企业数据脉络及交互关系，包括数据的来源、用途、流向、交换过程等，更好地为数据追踪、分析及查证等提供相关依据。 减少存在于系统中但无法说明业务间关系的数据，后续亦无法对数据来进行分析和应用的所谓“黑暗”数据的现象。

  3.数据即服务，向业务部门直接输出数据治理成果，提供统一的数据交付接口。解决业务部门“要数难”，不理解数据的痛点；解决科技部门“管数难”数据使用权限无所依从，通过API的方式追踪数据交付后的使用及销毁。

  1.将纳入数据治理系统的原生状态、对标状态、核标状态可视化呈现，动态展现数据治理成效，直观体现数据治理的价值输出。

  2.基于采集的元数据，通过智能聚合算法，快速归纳出相似度高的元数据自动提取出数据标准。并将数据标准与元数据自动建立关联关系，实现同步一键式对标。

  3.支持数据标准与元数据的手动和自动关联。自动关联的自学习机制能够最终靠获取用户反馈慢慢地加强匹配度，提高机器学习准确率。

  4.系统将数据标准、元数据以及数据质量有机整合，通过元数据与数据标准的智能对标映射，自动生成核标检核规则，定期提供各系统的数据标准检核报告，各系统的核标情况一目了然。

  5.元数据采集一次性设置，后续自动获取版本变化，并生成版本的差异报告。元数据与基线模型绑定，运行监控任务，实现生产库的事中校验，及时捕捉设计、生产两张皮的问题。

  6.支持设置基于元数据和数据的标签识别规则，周期调度标签扫描识别任务，为各类资产打数据标签，通过标签识别数据安全、数据业务属性，对数据来进行分类分级，支持按业务场景自动归类数据。通过流程化的管理确保数据标准生命周期的可控，对数据校准的产生、整合、使用、销毁等阶段进行相对有效管理。

  数据管理系统的建设不是一蹴而就的，百年资管在前期通过建立数据治理小组，宣传数据治理理念，培养数据治理习惯，在业务用户层面建立数据治理的意识。并且，通过线下收集数据治理有关问题，定期组织数据治理工作会议等形式，开展数据治理相关活动。本次项目的建设将日常的线下数据治理工作全部系统化、线上化，对日常的工作做到了良好的版本管理、留痕，提升有关数据治理工作效率的同时，结合监管对数据管理的要求，完善有关数据管理功能。其中，将数据理念贴合实际公司日常运作是重中之重，开拓了全新的数据管理方式。

  未来，百年资管将继续深入探索和研究数据管理能力的建设，通过金融科学技术手段，发挥公司数据价值，不断注入新的数字化管理能力，夯实管理基础，为企业数字化转型提供助力，迎接中国长期资金市场更好的明天。

  更多金融科技案例和金融数据智能优秀解决方案，请登录数字金融创新知识服务平台-金科创新社官网案例库、选型库查看。

  特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

  男子晒出“用了26年的洗衣机”带火老国货，威力两天涨粉10万，厂家回应

  “要怪就怪你是中国人?!”多名留学生入境美国时被注销签证并遭遣返，5年内不能赴美！

  热议！“别给中国人丢脸” 澳洲华人出超市被拦下，只因婴儿车内发现这些！华女这么说...

  飞利浦推出49B2U6900CH显示器：双QHD@75Hz曲面屏，5MP弹出式摄像头