【JS】对话阿里云李飞飞：下一代企业级数据库6大技术方向

• Z时代
• 2024-01-10
• 分类：技术分享

题图：DTCC 2020大会专访合影（左：老鱼 右：李飞飞）

在2020年12月结束的DTCC2020，“百库争鸣”或许是参会者最大的感触。据不完全统计，目前有名有姓的国产数据库产品多达200种。

百花齐放，百家争鸣，这正是用户所需要的。数据库被国家列为“卡脖子”的35项关键技术之一。只有对数据库基础研究越重视，参与的企业越多，关注的人越多，才有可能诞生更好的数据库软件。

下一个10年，数据库发展趋势是什么？用户需要什么样的数据库？这可能是很多从业者都想知道的问题，而这些问题，在DTCC2020大会上就有答案。

大会第一天，阿里巴巴集团副总裁，阿里云智能数据库产品事业部负责人李飞飞就分享了他对数据库领域的观察，并指出了下一代企业级数据库的6个关键技术方向。

众所周知，Gartner最新公布的2020 年度全球云数据库魔力象限评估结果，国内有3家厂商进入，其中阿里云更是挺进了第一阵营——领导者（LEADERS）象限。这意味着在云数据库这条赛道上，中国数据库并没有落后于人，并且真正走进世界一流。

很多人或许没留意到，今年Gartner将OPDBMS（Operational Database Management Systems）和DMSA（Data Management Solutions for Analytics）两个本是分开领域合二为一，成为CDBMS（Cloud Database Management Systems）。

为什么Gartner要这样做？因为Gartner认为“There is Only One Cloud Database DBMS Market”。这不仅意味着CDBMS魔力象限竞争更为激烈，含金量更高，也意味着一种趋势，数据库和数据仓库是可以融合的。

因此，阿里云对下一代企业级数据库关键技术的判断还是极具参考价值的。

但对于6种关键技术，外界其实还存在一些不同的声音。比如，有一种声音认为，HTAP只是一种场景需求，并非一种趋势。分布式是未来吗？软硬件一体化是不是又回到了被锁定的老路？

为此，老鱼在会后特意专访李飞飞，就这些问题展开探讨。

以下为本次专访对话内容精选：

老鱼：在您看来，过去的10年，中国数据库技术发展呈现怎样的趋势？下一个10年会朝怎样的方向发展？

李飞飞：过去十年，数据库领域最大的趋势，我觉得是从传统数据库架构向云原生架构演进的趋势。

云厂商的崛起，是过去十年非常典型的特征。没有人会想到，突然有一天，亚马逊也开始做数据库了，并悄无声息的就已达到了全球数据库领先位置。我认为，这跟云计算新赛道带来的机遇是密不可分的。

云计算带来的云原生技术体系催生了云原生数据库和云原生数据仓库。像AWS Aurora，AWS Redshift, Snowflake, 阿里云PolarDB、AnalyticDB（ADB）。我认为，都是新赛道带来的全新发展机遇，这是一个非常典型且有着时代代表性的趋势，向云原生演进。

另外一个大趋势，是分布式技术的深度发展。过去十年，分布式技术从一个比较初级的形态发展到今天，有了今天的分布式数据库和分布式数据仓库。

接下来的十年，有哪些趋势？

第一、云原生和分布式会发生深度融合，架构上无缝融合，提供更好的弹性、高可用能力。

第二、智能化技术深度融合，在数据库中，如何用AI和相关技术，去做到智能化的运维管控，比如索引推荐，MySQL治理、异常检测等。

第三、数据库大数据一体化，包括HTAP以及离在线一体化，在过去的十几年里，数据库领域和大数据领域是分开的，一个做离线，一个做在线，相安无事。但从应用角度或客户视角看，越来越多的客户和应用需要最好是一套系统来解决数据从生产、处理、存储、消费全链路的过程，客户越来越希望减少数据移动和存储成本，避免天天做数据同步。如果能够实现离在线一体化或能够实现HTAP事务分析一体化或离线计算在线查询一体化，那这些问题都可以迎刃而解。这也是我认为，下个十年非常关键的趋势。这也是为什么Gartner将OPDBMS（Operational Database Management Systems）和DMSA（Data Management Solutions for Analytics）两个本是分开领域合二为一背后的核心逻辑。

第四、多模，除了结构化数据，怎么去处理文本、图片等非结构化和半结构化数据？用数据库方法去融合处理这些数据。

第五、软硬件一体化，一定要关注硬件发展，比如：NVM、高速网络等新硬件对数据库系统设计带来的冲击。

第六、安全可信，这是个永恒的话题。不是最新趋势，但会不断演进。如何结合区块链技术在数据库系统里提供不可篡改性，如何将加密技术做到数据库里对数据进行全程加密保护。

老鱼：关于HTAP还是颇有些争议。有观点认为，HTAP只是一种细分使用场景，还谈不上不是未来数据库的趋势，并且不建议把OLTP和OLAP业务完全混合，认为在典型的OLTP处理场景就使用面向OLTP设计的数据库，否则，既达不到OLAP的扩展性，又无法满足OLTP的实时、高性能等要求。您怎么看？

李飞飞：中国有句古话，鱼和熊掌不可兼得。如果，今天有人告诉用户说“我今天做了个HTAP数据库可以替换传统的OLTP数据库，也可以替换传统的OLAP数据仓库，传统的OLTP、OLAP系统都没有用了”，那是不可能的。

如果用户就是在线交易场景、高并发、读写冲突非常高，这种情况下还要做OLAP，做多表聚合查询，是非常复杂的。此种情况下，和高并发事务放在一起，一定会有挑战。

那为什么还要讲HTAP，我认为并不是要彻底取代传统OLTP或彻底取代传统OLAP数据库，HTAP有自己的市场。一些在线事务、在线交易的场景下，如果做一些不太复杂的分析，或者做复杂分析但隔离级别要求没那么高，对实时性要求也不那么高，在这种场景下，能不能做到既做OLTP又做OLAP？那是有可能的。

比如，在我们事务处理里，都做三副本，三副本里可以做行列转换，两个副本可以是行存，第三个副本是列存，去读列存副本，并保证高隔离机制高实时可见要求，在这种场景下是没问题的。但如果做非常复杂，时效性要求非常高的分析计算，还是要专门的OLAP系统。

另外，将离线和在线一体化，既能做在线交互式分析也能做离线ETL是刚需。这个过程中，既然要做实时增、删、改、查又要做交互式分析和复杂离线计算（但是前提是在一定的隔离级别以下，比如RC），一定会产生HTAP场景，但这个HTAP和理想中的HTAP既能支持高隔离级别、高并发还能做复杂分析是两个概念。

我觉得，未来的场景一定是有复杂分析计算场景、数据库大数据一体化场景，不管从那种角度， OLAP支持一定级别的OLTP， OLTP做得非常好还能兼顾一定的OLAP，这种场景是存在的。

老鱼：这几年，分布式数据库非常火，很多企业都在试水，有成功的，也有失败的，有种说法，数据量不上一定规模，没有超高峰值，没有高并发的场景就没必要用分布式数据库，因为，很可能不能获得什么明显优势。您怎么看？

李飞飞：在今天的演讲中，我旗帜鲜明的提到，不能为了分布式而分布式。今天分布式很火，有众多原因。在美国市场，分布式OLTP数据库商业化成功的案例并不多。以Oracle为例，并没有将分布式作为最重要的主攻方向。

这其中包括美国分布式数据库鼻祖Google Spanner以及出来创业的CockRoachDB，商业化规模也有待进一步提升。分布式解决的核心问题是水平拓展问题，但有前提条件，你的业务逻辑和数据分布方法是基本完美匹配的，这样可以做到完美的并行分布式处理，这没问题。但理想很美好，现实很骨干，很多业务场景没办法做到完美，即使能做到，业务逻辑随着时间会变化，数据分布就可能会发生变化。

还有一种可能，一份数据有多个不同的业务，就像电商场景，既有买家又有卖家，你这数据到底是按买家ID来做，还是按卖家ID来做。不同业务场景需求不一样，无论是按哪个逻辑去做分库，最终会导致跨库分布式事务处理和分布式查询。在今天的场景下，如果要保证高级别的ACID，高并发场景下如果业务逻辑和数据分布不一致，一定会带来大的读写冲突和事务处理成本，这是分布式数据库无法完美解决的问题。

我们不能为分布式而分布式，而是要看业务场景，什么样的业务场景需要分布式改造？比如业务逻辑相对成熟固定，数据分布也比较稳定，不大可能发生突然的数据分布变化，这种场景下做一个分布式设计，那没问题，还可以提供完美水平拓展能力。如果不是这种场景，或者并非超高并发，大部分业务系统和应用其实并不需要分布式改造。

传统单机系统也有非常明显“短板”，用云原生能力对资源进行池化，实现资源解耦，可以对应用做透明集中式部署，能完美解决了这个场景。

再往后怎么办，将分布式能力和云原生能力结合起来，将两者的优势结合起来。我觉得这才是下一代系统应该去做的一些突破。

老鱼：您刚才提到的趋势里，有软硬一体，以前我们经常吐槽友商一款产品软硬一体带来锁定。现在又回到了软硬一体的路上，这到底是进步还是倒退？

李飞飞：软硬一体，不能理解为软硬一体绑定部署，如果是软硬一体绑定部署就回到了以前那条老路上。虽然以前的产品有很多设计思想值得我们借鉴，实际上，有些产品先于云厂商意识到资源池化、资源解偶的重要性，并早于云厂商做了这些工作，但很可惜，是紧耦合的方式去做的，所以，市场的反应没有那么好。

今天我讲软硬一体，并不是要去做这种软硬件紧耦合在一起的部署，而是说，要去结合硬件的特点来设计和优化数据库系统。尤其是能规模化部署的硬件，客户并不需要为软硬件一体化设计，因为这种硬件已经是通用硬件，这个非常关键。

软硬件一体化优化，是每家数据库厂商都必须要做的，因为系统本质是安全、高效的使用有限的硬件资源，必须结合硬件的特点来优化和设计系统。但问题是，不能针对特定、特殊硬件去做紧耦合，这样倒逼用户去改造硬件，这个成本太大。但是对普适性硬件如果视而不见，不针对硬件特点去发展会落伍。

总的来说，我想表达的软硬件一体化的逻辑，是针对具备普适性、规模化铺开的硬件，根据硬件不断发展的特性，快速敏锐捕捉新特性，在数据库系统设计里把硬件特性发挥出来。

老鱼：今年阿里云首次进入Gartner全球领导力象限，您怎么看待这次入选？阿里云数据库未来将如何去保持跟扩大自己的领导优势？

李飞飞：阿里云只是中国数据库的一个代表。今年不仅阿里云进入全球领导者象限，我们看到，有2家友商也首次进入了魔力象限，我觉得，这是历史性突破。

阿里云进入全球领导者象限，代表着中国数据库行业整体水平已经达到世界领先行列。进入第一阵营了，这是非常值得骄傲和自豪的，也给我们后续的发展奠定了非常好的基础。

尤其是今年Gartner将大数据管理分析和传统事务数据库合二为一，在这个背景下取得这个成绩，非常难能可贵。

我们看到各大云厂商以及Oracle、IBM等老牌和新贵Databricks、Snowflakes都在里面。后续竞争，我相信每一年会越来越激烈，怎么去保持？

第一，从市场中来、回到市场中去，贴着客户需求去发展，而不是自嗨。

比如；今天我们看到，阿里云在公共云市场份额非常大，但也看到混合云市场机会非常大，针对混合云市场，如何去打造我们的产品和技术？这是新的挑战。这种挑战甚至可以说，美国云厂商遇到的挑战都没有我们多。

中国互联网为什么在某种程度上发展的比美国还要好？因为市场驱动、客户驱动、应用驱动，中国有这么多人口，有密集城市，所以中国的互联网应用在某些程度发展的反而比美国好，因为它有驱动应用发展和创新的条件。在混合云市场，中国也具备这样的条件。

美国IT数字化程度非常高，进入云计算之前，其数字化程度非常高。所以美国的企业对拥抱公有云相对中国市场是非常自然而然的事情。但中国市场不一样，中国市场有中国市场的特点。

传统政企对公共云的拥抱肯定没有美国市场度高。所以，在中国混合云市场在相当长一段时间里会是一个核心赛道，这个市场上怎么发力？技术产品怎么设计？从市场需求出发，结合市场特点，做出一些差异化有特色的产品非常关键，这是第一点。

第二点，既然是全球领导者，那么，在全球市场上的表现就非常重要。阿里云不仅做中国市场，也要走出国门。在今天的环境下，在欧美市场会有一些挑战，但在东南亚市场，在欧美市场之外还有广阔的市场空间等着我们去增长。

这些市场，阿里云要直面国外云厂商的竞争，在与它们的PK中去赢得客户。今年，阿里云能进入全球领导者象限很关键的原因是，阿里云有很多海外客户，很多是从国外云厂商迁移过来，这对Gartner而言，是非常重要的信号，说明阿里云做得更好，客户用脚来投票，这是非常有说服力的。

老鱼：阿里云数据库产品线，今年相比去年有什么变化？

李飞飞：我们会进一步聚焦，OLTP核心产品是PolarDB及分布式版PolarDB-X。OLAP有两个核心产品，分别是云原生数据仓库AnalyticDB和云原生数据湖分析DLA。NoSQL领域也是两个核心产品，云原生多模数据库Lindorm和云原生内存数据库Tair。

还有托管产品RDS和NoSQL、和工具类产品。对托管产品，阿里云更多是在管控平台这一层投入，结合云原生和智能化的技术把托管的优势发挥出来。比如自动化实例管理、高可用等。

阿里云的核心思路还是聚焦在主赛道上，在核心自研产品上加大投入，托管产品和生态伙伴达成很好的合作关系，发挥托管平台优势。比如MongoDB，以前我们还在MongoDB上投入研发，现在兵力都收缩回来，我们跟MongoDB签了个协议，用它的最新版，不是挺好的吗？从数据库内核产品再到运维服务再到应用开发ISV，借助和发展生态的力量是我们的核心战略。

作者：老鱼笔记
原文链接
本文为阿里云原创内容，未经允许不得转载

以上是 【JS】对话阿里云李飞飞：下一代企业级数据库6大技术方向 的全部内容， 来源链接： utcz.com/a/109535.html