实战丨柳州银行分布式数据库应用实践

  随着近几年移动网络技术和线上业务的发展，传统银行将逐步演变为金融科技银行，这对商业银行的IT传统架构带来非常大的挑战。2019年人民银行发布《金融科技(FinTech)发展规划（2019-2021）》，提出了将“安全可控”作为金融科技的指导思想，并将分布式数据库研发和应用列为一项重要的工作。

  为了快速应对复杂的互联网金融业务需求，我行从2019年开始，积极探索IT建设的新思路，提出了要向数字化和智能化转型发展，科技既要为业务运行做好支撑，也要为业务创新赋能。

  目前我行的IT架构主要存在业务系统模块高度耦合、重要系统数据之间没有打通、各系统部署和运行基于应用虚拟化和集中式数据库部署等特点，对满足新形势下的需求存在诸多问题。我行借鉴大型银行和互联网机构的分布式架构转型经验，从系统架构设计、开发模式和规范、运维机制和监督、人才梯队建设等方面做全面考虑，目标是实现分布式架构、高效的数据治理体系、敏捷的开发体系、安全高效的运维保障体系。由于我行核心系统投产运行时间比较久，已经没办法完全适应互联网金融业务复杂多变的快速迭代，因此2018年我行将核心系统的业务模块进行剥离和拆分，将主要面向互联网金融业务的模块独立出来，成为互联网核心。同时将历史数据从核心库中剥离，形成全行历史库系统，大大简化了核心系统的复杂度，有效提升数据处理效率。

  架构转型是一个复杂的过程，集中式架构运行多年，从管理、设计、开发、运维各方面已形成惯性，而在分布式架构下，要实现业务模块解耦、数据实时通信、开发运维一体化、系统监控智能化等，这对传统的开发和运行模式形成一定挑战。我行科技部门对于技术创新和新技术使用有很强的内在驱动力，主动迎接技术变化，统一思想，确定了集中式架构向分布式架构转型的总体建设目标。在分布式架构的转型过程中，分布式数据库是其中最核心的一环。同时，由于全行历史库系统的立项建设，分布式数据库成为我行的重要考量因素。

  近几年，柳州银行核心业务系统接入的渠道数量持续不断的增加，互联网金融等业务快速地发展，业务数据比上线时有了数十倍的增长。历史数据不仅占用了大量的存储空间，历史数据查询也消耗了核心系统的运算资源，降低核心系统业务响应时间。柳州银行为保障核心业务系统性能，下决心解决数据查询效率低、查询区间小、历史数据量剧增导致的跑批和备份时间长等问题。2019年初，由行领导亲自督办，科技部领导牵头，组织核心业务系统技术专家评审和可行性分析后决定，成立核心历史数据查询平台项目组。

  项目组成立之初，关注的重心还是在底层技术选型上，柳州银行核心系统使用GT.M集中式数据库，重要业务系统主要使用Oracle数据库。但集中数据库存在多并发解决能力不足，单机硬件故障导致业务中断风险性高，软硬件升级过程中需要停机，国内专业方面技术工程师少，技术相对封闭以及原厂服务成本比较高等问题。

  当前金融行业互联网线上业务爆发式增长，大量的线下渠道向线上转移，线上应用系统大量建设，传统集中数据库逐渐难以适应新技术的服务要求。柳州银行近年来一直在思考怎么样通过信息技术实现传统数据库架构转型，以应对新的业务技术特点。经项目组研究决定核心历史查询平台坚定不移的走分布式数据库的技术选型之路。

  柳州银行组织专业团队通过市场调查与研究和走访同业成功案例，分析技术功能点、稳定性、厂商保障能力，以及运维和开发的便捷程度，同时站在国家信息安全、自主可控能力等方面考虑后，某国产数据库产品最终以优秀的综合能力入选试点项目数据库。该分布式数据库从国家信息安全角度上考虑自主可控，具备大压力、高可靠性的能力。支持多地多数据中心部署，数据中心之间通过内部数据同步机制实现跨数据中心的实时同步，能保证数据中心之间的数据一致性和服务连续性。同时具有快速切换，非停机扩容，定比流量分配等优势，与Oracle、DB2等主流传统数据库的兼容性较好，基本实现技术平滑切换迁移；开发额外技术成本低，SQL不依赖特定数据库产品和应用程序，运行维护简单，还能够做到原路切换回原有数据库，解除后续系统开发和维护的后顾之忧；依据业务场景可以选配各种配置的硬件服务器，在价格上具有的较大的优势，可以大大降低中小规模的商业银行的科技投入。

  我行核心历史查询平台一、二期项目建设已于2020年9月全部投产完成，整个开发、测试、投产非常顺利。核心历史数据平台通过对核心历史流水的迁移，实现核心历史数据的读写分离。平台使用分布式数据库，与传统核心单节点文件型数据库相比较，大幅度提高了查询效率。同时分布式架构的应用，使平台具有与生俱来的容灾特性，很大程度上提升了系统的安全性及稳定性。

  原核心为文件型数据库，不支持大跨度时间段的历史交易明细查询。如今平台对其进行了数据迁移整合，能轻松实现大跨度时间段的流水查询。如手机用户、网上银行可以放开查询范围限制，让客户查询跨度更大的历史流水，提供了更好的用户体验。

  平台使用分布式架构，在柳州银行客户及业务量逐年递增的背景上，扩展后台服务器硬件成本与技术成本更低。对于分布式架构，平台横向扩展更简单且易操作，只要增加应用和数据库服务器节点，便能提高平台的查询性能及效率，且平台使用的是x86的服务器，比起传统核心的小型机性价比更高。

  平台上线后，系统运行稳定，截止到2020年10月底，柳州银行的平台响应率在99.999%以上。特别是柳州银行历史查询中有文件交互的场景，凭证交易历史查询接口响应时间从原先的平均1000多毫秒下降到20毫秒，查询响应时间提升50倍左右；账户交易历史明细报表接口从平均耗时3000毫秒下降到2000毫秒，查询耗时降低30%左右；账户历史明细查询接口从平均1000毫秒下降到170毫秒，执行效率提升约5倍。整体查询性能大幅度的提高，同时也增加了客户应用体验满意度。

  柳州银行通过核心历史查询平台一、二期建设，降低了核心实时交易数据量，缩短了核心跑批和备份时间，提高了生产安全可靠性。在国产分布式数据库的使用的过程中，柳州银行工程师通过学习，了解到分布式数据库有关技术原理和实现模式，在用分布式数据库操作和运维与传统数据库差异不大，较快掌握了有关技术。目前行内数据库的应用开发和运维工作，基本由柳州银行技术人员独立承接。

  通过我行项目实践，我们对国产数据库有了更强的信心，特别是国产数据库原厂的技术上的支持和保障体系，更有优势，我们也希望能和国内基础软件厂商紧密合作，结合国际安全形势，为国家信创战略的实施贡献力量。下一阶段，柳州银行将立足于自身的真实的情况，结合国家的信创战略要求，稳步扩大分布式数据库的应用场景范围，目前柳州银行已完成线上重要交易系统的可行性测试，为后续分布式数据库的应用试点做好技术储备，同时也为我行的分布式架构转型打好基础。