Python-线程池类似于多处理池?

是否有用于工作线程的Pool类,类似于多处理模块的Pool类?

我喜欢例如并行化地图功能的简单方法

def long_running_func(p):

c_func_no_gil(p)

p = multiprocessing.Pool(4)

xs = p.map(long_running_func, range(100))

但是,我希望这样做而不会产生新流程的开销。

我知道GIL。但是,在我的用例中,该函数将是IO绑定的C函数,python包装器将在实际函数调用之前为其释放GIL

我必须编写自己的线程池吗?

回答:

我刚刚发现模块中实际上 有一个基于线程的Pool接口multiprocessing,但是它有些隐藏并且没有正确记录。

可以通过导入

from multiprocessing.pool import ThreadPool

它是使用包装Python线程的虚拟Process类实现的。可以找到基于线程的Process类multiprocessing.dummy,在docs中对其进行了简要介绍。该虚拟模块应该提供基于线程的整个多处理接口。

以上是 Python-线程池类似于多处理池? 的全部内容, 来源链接: utcz.com/qa/408301.html

回到顶部