使用OMP_NUM_THREADS = 1进行Python多处理

我听说OMP_NUM_THREADS=1在调用使用多处理的Python脚本之前使用可以使脚本更快。

是真的吗？如果是，为什么呢？

由于您在评论中说过，您的Python程序正在调用使用OpenMP的C模块：

OpenMP在一个进程中执行多线程处理，默认的线程数通常是CPU实际可以同时运行的数目。（这通常是CPU内核的数量，如果CPU具有SMT功能（例如Intel的超线程），则为该内核的数量的倍数。）因此，例如，如果您有四核非超线程CPU，则OpenMP将要默认运行4个线程。

当您使用Python的multiprocessing模块时，您的程序将启动多个可以同时运行的Python进程。您可以控制进程的数量，但是通常您希望它是CPU内核/线程的数量，例如由返回multiprocessing.cpu_count()。

那么，如果您运行一个multiprocessing运行4个Python进程的程序，并且每个调用一个OpenMP函数运行4个线程，那么在该四核CPU上会发生什么？您最终在4个内核上运行了16个线程。这会起作用，但不会达到最高效率，因为每个内核都必须花一些时间在任务之间进行切换。

设置OMP_NUM_THREADS=1基本上会关闭OpenMP多线程，因此您的每个Python进程都保持单线程。

但是，请确保您启动了足够的Python进程！如果您有4个CPU内核，并且仅运行2个单线程Python进程，则将使用2个内核，另外2个处于空闲状态。（在这种情况下，您可能需要设置OMP_NUM_THREADS=2。）