[大带宽]王涛:自研分布式数据库引领金融级交易场景转型新方向

来源: 作者: 发布时间:2022-04-24 10:21:00

今年8月,央行发布了《金融科技发展规划》(2019-2021年),对金融科技领域的发展和应用创新进行了全面、详细的规划。其中,对于分布式数据库,本规划以特殊空间进行了介绍和指导,强调了金融分布式数据库的研发和创新,促进和鼓励分布式数据库在金融场景中的更多应用。

数据是金融业最重要的核心资产之一。然而,在底层数据库平台上,金融业长期以来一直高度依赖外国产品。近年来,随着华为GaussDB、蚂蚁金服Oceanbase、SequoiaDB巨杉数据库等国内自主研发产品的不断成熟和大规模应用,金融业也迎来了数据库的新转型期。正如巨杉数据库联合创始人兼CTO王涛所说, text-indent: 0;'>数据库选型

数据库技术技术发展的三大问题

此外,针对如今行业推崇的微服务架构,需要针对应用、平台进行更细粒度的管理,单点式的数据库在服务微服务应用是必定会存在诸多问题。因此,分布式数据库,实例化、云化的管理能力,才能更好的的支撑新一代云化架构下的微服务应用。

分布式数据库只有在解决了成本、架构和数据量的基本问题后,才能大规模接受和使用。

两个维度的六个特性帮助您选择下一代分布式数据库

为了解决数据库开发的三大问题,分布式数据库对金融交易应用提出了更严峻的挑战。

金融机构的关键业务是交易业务。因此,用户在选择交易分布式数据库时主要考虑两个维度,一是与传统技术的兼容性,二是最新技术的前瞻性。通过这六个技术特征来反映这两个维度,用户可以选择可靠的下一代分布式数据库。王涛说。

第一个是ACID。指Atomic(原子)、Consistency(一致性)、Isolation(隔离)、Durability(持久性),这是制作数据库最基本的要求,以确保提交不会失败。

二是完全支持SQL。要与传统技术兼容,需要与MySQL甚至Oracle、DB2兼容,尽量让客户少更改或不更改代码。

第三,安全。确保硬件或数据中心停机时不会影响数据。

从技术前瞻性的角度来看,第一个要求是分布式和灵活的扩展。王涛认为,未来5G到来后,数据量将发生巨大变化。

就数据吞吐量而言,目前我们可能每秒有数万的交易量,5G之后,每秒可能有数十万的交易量,包括对非结构化数据的支持。现在分布式数据库可以部署在10台机器中,需要与企业的私有云集成这个架构。让他们的数据实现真正的灵活扩展,当用户的数据增加时,不需要用户自己的干预,自动扩展,而不仅仅是扩展数据库的一个例子。

创新的第二点是AP(混合事务分析和处理能力),它可以混合OLT,它需要H数据库和OLP。HTAP的出现打破了事务处理和分析之间的界限。支持更多的信息和LDQuo;实时业务RDQuu决策,以银行用户为例,应用新一代数据库,开始查询或交易,后来发现有连续的分析或报告业务需求访问,所以小点LTo。AP平台的第二点是

此外,面对人工智能操作,更注重数据计算,数据库的本质注重存储。通过类似HTAP的概念,数据也可以很好地应用于特定的人工智能应用领域。这种巨大的冷杉探索也将在未来找到机会与您分享。

第三,支持云和多租户。传统数据库应用和数据库基本上是一对一映射,但现在分布式数据库面临大规模集群,上层应用不是一个应用,而是数百个不同的应用,每个应用都有不同的业务场景和需求,物理层面需要隔离,当面对一些应用压力很大时,也能保证其他高频和交易应用不受干扰,这也是分布式数据库需要满足的场景。

金融业核心数据库自研升级之路

目前,巨山数据库拥有50多个大型银行客户,金融生产环境中最大的单一集群存储量超过2PB,银行用户最大的单一集群达到141台物理服务器,单一集群记录存储量超过5440亿台。其中,应用程序场景还包括许多金融交易业务。

巨山数据库产品已经经历了8年的自主研发过程,是中国分布式数据库领域最早的王涛认为,只有坚持自主研发,才能保证产品和技术的长期可持续健康发展。

自主研不是喊口号,但从技术和商业的角度来看,基础软件的唯一选择。

从技术角度来看,自主研发代表着对产品代码和产品开发路线的完全独立控制。只有这样,它才不会受到人们的控制。同时,自主研发可以保证技术产品的可持续活力,快速满足客户需求,同时保证产品化。最后,自主研发的技术闭环过程要求成熟的产品在金融应用中不断实践经验,积累经验,完善细节,实现持续的技术创新和产品化。

巨杉数据库的结构设计主要是计算存储分离结构。从两个角度来看,所有这些都是完全分布的,可以进行弹性扩展。陶涛介绍说,第一层是数据库的例子层,将整个集群体现为不同的数据库例子,如MySQL例子、PG例子,甚至非结构化例子。对于现有的大多数应用程序,可以说迁移成本非常低。在存储方面,巨杉数据存储和事务交易放置在存储层中,称为分布式存储层。巨杉数据库引擎完全支持分布式事务,强一致性,多副本高可用性,可完全满足分布式核心交易业务的需求。在存储层中,采用原始分布式核架构。数据弹性扩展的所有节点都是水平的。

在今年的数据技术嘉年华大会上,巨杉正式发布了SequiaB巨杉数据库提升D3.版本。分布式交易业务的性能大大提高。与上一版相比,读写性能提升30%,更新性能提升1-1.5倍,查询性能提升1.5倍以上。

此外,新版本实现了多层次内存池和无锁内存模型、数据库池内存资源池多层次管理、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话访问、对话、对话、对话、对话、对话、对话、对话、对话访问、对话访问、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、对话、