Numpy - 创建重叠的3D子阵列作为具有高效内存的向量
我试图创建一个列表,其中每个子数组需要被展平的大小相同的所有重叠子阵列的列表(基于分片的分割)作为一维矢量),所以我可以利用sklearn.neighbours.BallTree中的球树。例如,如果给定一个100x100x100的图像,如果我将它分解为5x5x5重叠的补丁(子阵列),那么我将拥有96x96x96 = 884,736个图像。Numpy - 创建重叠的3D子阵列作为具有高效内存的向量
但是我还没有找到任何方式这样做没有numpy分配更多的内存为每个flattened/vectorized子阵列。这似乎是因为每个子阵列在内存中不是连续的。
例如对于100x100x100的图像,如果我想将每个5x5x5补丁作为一维向量(长度为125),numpy决定在内存中为所有884,736个分配一个全新的阵列,然后它变得相当大,特别是如果我想要处理超过一个100x100x100的图像!
我会欢迎在Python/numpy中克服这种内存挑战的任何解决方案。我正在考虑创建一个numpy.ndarray对象的子类,该对象在更大的图像中存储指向修补程序位置的指针,但仅在调用时才将数据作为一维numpy数组返回(并在不使用时再次删除它)但是我还没有得到足够的关于子类化ndarray对象的细节。如果唯一的解决方案是用C/C++来实现所有的东西,我会非常失望。我很感激可以提供的任何帮助,谢谢!
回答:
根据你的问题,你可能已经意识到所有这些。然而,我发布这个“答案”作为更多的讨论是什么问题,因为很多人可能不知道他们......
如果你不是,但你可以做一个96x96x96x5x5x5
数组,来自100x100x100
图像,充当5x5x5
移动窗口而不分配任何额外的内存。
但是,因为每个维度只能有一个步幅,所以无法在不复制副本的情况下将其重构为96x96x96x125
阵列。
无论如何,这里有一个例子(基本上采取straight from one of my previous answers):
import numpy as np def rolling_window_lastaxis(a, window):
"""Directly taken from Erik Rigtorp's post to numpy-discussion.
<http://www.mail-archive.com/[email protected]/msg29450.html>"""
if window < 1:
raise ValueError, "`window` must be at least 1."
if window > a.shape[-1]:
raise ValueError, "`window` is too long."
shape = a.shape[:-1] + (a.shape[-1] - window + 1, window)
strides = a.strides + (a.strides[-1],)
return np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides)
def rolling_window(a, window):
"""Takes a numpy array *a* and a sequence of (or single) *window* lengths
and returns a view of *a* that represents a moving window."""
if not hasattr(window, '__iter__'):
return rolling_window_lastaxis(a, window)
for i, win in enumerate(window):
if win > 1:
a = a.swapaxes(i, -1)
a = rolling_window_lastaxis(a, win)
a = a.swapaxes(-2, i)
return a
x = np.zeros((100,100,100), dtype=np.uint8)
y = rolling_window(x, (5,5,5))
print 'Now *y* will be a 96x96x96x5x5x5 array...'
print y.shape
print 'Representing a "rolling window" into *x*...'
y[0,0,0,...] = 1
y[1,1,0,...] = 2
print x[:10,:10,0] # Note that *x* and *y* share the same memory!
这产生了:
Now *y* will be a 96x96x96x5x5x5 array... (96, 96, 96, 5, 5, 5)
Representing a "rolling window" into *x*...
[[1 1 1 1 1 0 0 0 0 0]
[1 2 2 2 2 2 0 0 0 0]
[1 2 2 2 2 2 0 0 0 0]
[1 2 2 2 2 2 0 0 0 0]
[1 2 2 2 2 2 0 0 0 0]
[0 2 2 2 2 2 0 0 0 0]
[0 0 0 0 0 0 0 0 0 0]
[0 0 0 0 0 0 0 0 0 0]
[0 0 0 0 0 0 0 0 0 0]
[0 0 0 0 0 0 0 0 0 0]]
然而,正如你已经注意到,我们不能这样来重塑96x96x96x125
而不创建副本。 y.shape = (96,96,96,-1)
将引发错误,并且z = y.reshape((96,96,96,-1))
将起作用,但会返回副本。
(相关文件是在numpy.reshape
,如果这样还是很迷惑,基本上reshape
将避免可能的复制时,如果它不是返回副本,而设置shape
属性时,复制是不可能会引发错误。)
但是,即使您构建更高效的阵列容器,sklearn.neighbors.BallTree
几乎肯定会制作临时中间副本。
你提到你正在做图像分割。为什么不研究一个更有效的算法,而不是你似乎正在尝试的相当“蛮力”? (或者如果这不可行,请给我们更多的细节,为什么......也许有人会有更好的主意?)
以上是 Numpy - 创建重叠的3D子阵列作为具有高效内存的向量 的全部内容, 来源链接: utcz.com/qa/260270.html