为什么CUDA固定内存这么快？

  • Z时代
  • 2024-01-10
  • 分类：问答

当我使用固定内存进行CUDA数据传输时，我发现数据传输速度大大提高。在linux上，实现此目标的底层系统调用是mlock。从mlock的手册页中可以看出，锁定该页可防止将其换出：

mlock（）将页面锁定在地址范围内，该地址范围从addr开始并持续len个字节。当调用成功返回时，保证所有包含指定地址范围一部分的页面都驻留在RAM中；

在测试中，我的系统上有几千个可用内存，因此从不存在内存页可以换出的任何风险，但我仍然观察到加速。任何人都可以解释这里的实际情况吗？任何见解或信息都将不胜感激。

回答：

CUDA驱动程序

内存范围是否被锁定，然后它将使用其他代码路径。锁定的内存存储在物理内存（RAM）中，因此设备可以不需CPU的帮助即可获取它（DMA，又名异步复制；设备仅需要物理页面列表）。非锁定内存会在访问时产生页面错误，并且不仅存储在内存中（例如可以交换），因此驱动程序需要访问非锁定内存的每一页，将其复制到固定缓冲区中并传递给它。到DMA（同步，逐页复制）。

如此处所述http://forums.nvidia.com/index.php?showtopic=164661

异步mem复制调用使用的主机内存需要通过cudaMallocHost或cudaHostAlloc进行页面锁定。

我还建议您在developer.download.nvidia.com上查看cudaMemcpyAsync和cudaHostAlloc手册。HostAlloc说，CUDA驱动程序可以检测固定内存：

驱动程序跟踪使用this（cudaHostAlloc）函数分配的虚拟内存范围，并自动加速对诸如cudaMemcpy（）之类的函数的调用。

以上是 为什么CUDA固定内存这么快？ 的全部内容， 来源链接： utcz.com/qa/408372.html

回到顶部