在Cython中使用字典，尤其是在nogil内部

Z时代
2024-01-10
分类：问答

我有一本字典，

my_dict = {'a':[1,2,3], 'b':[4,5] , 'c':[7,1,2])

我想在Cython nogil函数中使用此词典。因此，我试图将其声明为

cdef dict cy_dict = my_dict

到这个阶段还可以。

现在，我需要迭代my_dict的键，如果值在列表中，则对其进行迭代。在Python中，非常简单，如下所示：

 for key in my_dict:
      if isinstance(my_dict[key], (list, tuple)):
          ###### Iterate over the value of the list or tuple
          for value in list:
               ## Do some over operation.

但是，在Cython内部，我也想在nogil内部实现相同的功能。由于nogil内不允许使用python对象，因此我全都陷入了困境。

with nogil: #### same implementation of the same in Cython

有人可以帮我吗？

回答：

dict没有GIL，就不能使用Python ，因为您可以做的所有事情都涉及到操作Python对象。您最明智的选择是接受您需要的GIL。C

++映射也有一个不太明智的选择，但是可能很难针对您的特定情况进行应用。

您可以with

gil:用来重新获取GIL。这里显然存在开销（使用GIL的部分不能并行执行，并且可能会等待GIL的延迟）。但是，如果字典操作只是较大的Cython代码中的一小部分，则可能还不错：

with nogil: # some large chunk of computationally intensive code goes here with gil: # your dictionary code # more computationally intensive stuff here

另一个不太明智的选择是使用C 映射（以及其他C 标准库数据类型）。Cython可以包装这些文件并自动将其转换。根据示例数据给出一个简单的示例：

from libcpp.map cimport map
from libcpp.string cimport string
from libcpp.vector cimport vector
from cython.operator cimport dereference, preincrement
def f():
    my_dict = {'a':[1,2,3], 'b':[4,5] , 'c':[7,1,2]}
    # the following conversion has an computational cost to it 
    # and must be done with the GIL. Depending on your design
    # you might be able to ensure it's only done once so that the
    # cost doesn't matter much
    cdef map[string,vector[int]] m = my_dict
    # cdef statements can't go inside no gil, but much of the work can
    cdef map[string,vector[int]].iterator end = m.end()
    cdef map[string,vector[int]].iterator it = m.begin()
    cdef int total_length = 0
    with nogil: # all  this stuff can now go inside nogil   
        while it != end:
            total_length += dereference(it).second.size()
            preincrement(it)
    print total_length