【Python】python内存泄露排查

Z时代
2024-01-10
分类：技术分享

最近线上某台虚拟机隔三差五就会挂掉，通过业务日志基本上排查到每次出错都源于某一个请求。于是对该请求展开排查。

1，先确认罪魁祸首：

执行该请求之前之前的虚拟机memory和python进程占用的资源：
【Python】python内存泄露排查

执行一次该请求之后的资源占用情况：
【Python】python内存泄露排查

python占用的资cpu在服务执行过程中会有所提升，但是请求结束后，cpu可以恢复到执行之前的水平；而VIRT，RES，内存占比却有显著提升，且执行完成后并未下降。多次执行，内存占用累积上涨。由此推断，罪魁祸首是该请求，并且可能是由内存泄露引起的。

2，python内存泄露的工具

https://zhmin.github.io/2018/12/22/python-meomory-leak/

通过网上一系列的查找，了解到用于排查python内存泄露的工具有：objgraph，pympler，guppy

objgraph

可以查看对象被引用次数的工具，也可以查看对象调用图。

这里主要用到的方法：

show_most_common_types()

show_growth()

个人觉得show_growth更好用写，可以看到增量数据。
【Python】python内存泄露排查

pympler

pympler工具可以很容易看到内存的使用情况
【Python】python内存泄露排查

guppy

guppy可以查看到heap内存的具体使用情况，哪些对象占用多少内存
【Python】python内存泄露排查

3，代码定位

先写一个记录对象引用次数的方法

import os
import objgraph
def obj_graph_stat(mark=''):
file_path = r'D:\obj_graph.txt'
if not os.path.exists(file_path):
file = open(file_path, 'w')
file.close()
file = open(file_path, 'a')
file.write(f'******************{str(now_datetime())}-{mark}******************\n')
objgraph.show_most_common_types(limit=20, file=file)
file.write(f'-'*20)
file.write('\n')
# 返回heap内存详情
# heap = hp.heap()
# byvia返回该对象的被哪些引用， heap[0]是内存消耗最大的对象
# references = heap[0].byvia
# file.write(str(references))
file.write('\n\n')file.close()