MySQL Hash Join可以用吗?
最近有两篇MySQL大咖级人物的文章引起了小伙伴们的关注,文章内容是关于MySQL的hash join功能。hash join看起来不够智能,于是我打算一探究竟,看看是否能发现些端倪,文末解释了大咖们的关注点。
MySQL的hash join功能是在8.0.18版本正式推出的,最初的功能仅支持inner join,其它连接类型也即将支持。(空口无凭,有图为证!)
https://dev.mysql.com/worklog/
在这里简单的介绍一下MySQL的hash join 在各种连接类型的实现方法。
inner join:
- Classic hash join:经典的哈希连接算法分为两个阶段,构建和探测。
构建阶段:从需要进行连接的两个表中指定一个为“构建”表,该表读入内存生成哈希表,通过表的连接属性计算哈希值。例如:
SELECT * FROM t1 JOIN t2 on (t1.id = t2.id); 假设指定t1为构建表,则使用t1.id计算哈希值。
探测阶段:连接中另外的表作为探测阶段的输入使用,通过该表的连接属性计算哈希值(使用t2.id),每行数据使用其哈希值到内存中的哈希表进行查找,如果匹配记录,则输出结果。
使用经典算法要求构建表全部读入内存中,如果不能全部读入内存,将会分多次读入,会导致探测阶段产生多次读入操作。因此经典算法不是十分理想。
- 基于磁盘的hash join:需要将构建表和探测表分割成若干个小文件保存在磁盘上,文件的大小要保证可以完全读入内存中(分割文件的算法采用与哈希表不同的哈希函数,目的是使相同哈希值的构建表和探测表的数据保存在同一文件内,并且数据的分布更加均匀)。接下来的操作和经典算法的过程差不多,每次读入一部分文件进行处理,直到所有的分割文件处理结束。
Inner non equi-join: 使用哈希连接执行该类查询,将会对两个连接表进行交叉连接,之后使用条件作为过滤。
Semijoin: 使用哈希连接执行,将会利用子查询部分作为构建表,通过连接属性计算哈希值,然后使用外部查询的连接属性的哈希值进行匹配,输出匹配的结果。
Antijoin: 与Semijoin非常相似,不同的是输出不匹配结果。
Left outer join: 左连接右侧的表为构建表。使用连接属性计算哈希值,然后使用左侧表的连接属性计算哈希值,到哈希表内进行查找,如果匹配,输出连接记录,否则输出NULL。
Right outer join: 执行方式与左连接相反。
hash join能用吗?使用效果如何?从很多人的试用反馈来看,使用hash join对比之前的查询性能大幅提高,但某些情况下会产生资源过度消耗的现象,原因在于,目前优化器还没有对hash join部分进行修改,仍旧将其视为BNL。因此出现了一些不理想的优化状态,这个问题将会在未来的工作中解决。目前可以参照叶金荣老师的文章建议。
https://mp.weixin.qq.com/s/gYledARCZHvrlnCEmh2mtw
欢迎各位小伙伴试用hash join,并反馈结果。让我们一起期待下一个版本的推出!
以上是 MySQL Hash Join可以用吗? 的全部内容, 来源链接: utcz.com/a/117948.html