草庐IT

python - 替代字节数组处理瓶颈的高速替代方案

coder 2023-08-24 原文

>> 请参阅下面的编辑 <>

我正在通过 pyUSB 使用 FTDI D2xx 驱动程序通过串行处理来自特殊像素化 CCD 相机的数据。

相机可以以高带宽运行到 PC,高达 80 帧/秒。我很喜欢这样的速度,但我知道 Python 不可行,因为它是一种脚本语言,但我想知道我能得到多接近 - 无论是我在代码中遗漏的一些优化,线程,或使用其他方法。我立即认为打破最耗时的循环并将它们放入 C 代码中,但我对 C 代码没有太多经验,如果可能的话,我不确定让 Python 与其进行内联交互的最佳方式。我有使用 SciPy/Numpy 在 Python 中大量开发的复杂算法,这些算法已经过优化并且具有可接受的性能,所以我需要一种方法来加速数据的获取以反馈给 Python,如果这是最好的方法.

困难,以及我使用 Python 而不是其他语言的原因,是因为需要能够轻松地跨平台运行它(我在 Windows 中开发,但将代码放在嵌入式 Linux 板上,使独立系统)。如果您建议我使用其他代码,例如 C,我将如何跨平台工作?我从来没有在 Windows 和 Linux 之间编译过像 C 这样的低级语言,所以我想确定这个过程 - 我必须为每个系统编译它,对吗?你有什么建议?

这是我的函数,具有当前的执行时间:

读取流: 'RXcount' 为 114733,表示设备读取,从字符串格式化为等效字节

返回字节列表 (0-255),表示二进制值

当前执行时间:0.037 秒

def ReadStream(RXcount):
    global ftdi
    RXdata = ftdi.read(RXcount)
    RXdata = list(struct.unpack(str(len(RXdata)) + 'B', RXdata))
    return RXdata

ProcessRawData:将字节列表重塑为与像素方向匹配的数组

修剪掉一些不需要的字节后,结果为 3584x32 数组。

数据是唯一的,因为每个 14 行块代表设备上一行像素的 14 位(跨 32 字节@8 位/字节 = 256 位跨),即 256x256 像素。处理后的数组有 32 列字节,因为每个字节以二进制形式表示 8 个像素(32 字节 * 8 位 = 256 像素)。仍在研究如何做到这一点... I have already posted a question for that previously

当前执行时间:0.01 秒 ... 不错,只是 Numpy
def ProcessRawData(RawData):
    if len(RawData) == 114733:
        ProcessedMatrix = np.ndarray((1, 114733), dtype=int)
        np.copyto(ProcessedMatrix, RawData)
        ProcessedMatrix = ProcessedMatrix[:, 1:-44]
        ProcessedMatrix = np.reshape(ProcessedMatrix, (-1, 32))
        return ProcessedMatrix
    else:
        return None

最后,

获取帧:该设备有一种模式,它只输出一个像素是否检测到任何东西,使用数组的最低位(每 14 行) - 获取该数据并为每个像素转换为 int

结果为 256x256 数组,在处理每 14 行之后,这些字节是要作为二进制读取的字节(跨 32 个字节 ... 32 个字节 * 8 位 = 跨 256 个像素)

当前执行时间:0.04 秒
def GetFrame(ProcessedMatrix):
    if np.shape(ProcessedMatrix) == (3584, 32):
        FrameArray = np.zeros((256, 256), dtype='B')
        DataRows = ProcessedMatrix[13::14]
        for i in range(256):
            RowData = ""
            for j in range(32):
                RowData = RowData + "{:08b}".format(DataRows[i, j])
            FrameArray[i] = [int(RowData[b:b+1], 2) for b in range(256)]
        return FrameArray
    else:
        return False

目标:

我想根据您提出的任何建议将总执行时间设定为 ~0.02 秒/帧(目前为 0.25 秒/帧,GetFrame 函数最弱)。设备 I/O 不是限制因素,因为它每 0.0125 秒输出一个数据包。如果我缩短了执行时间,那么我是否可以与某些线程并行运行采集和处理?

让我知道您建议的最佳前进道路 - 感谢您的帮助!

编辑,感谢@Jaime:

现在的功能是:
def ReadStream(RXcount):
    global ftdi
    return np.frombuffer(ftdi.read(RXcount), dtype=np.uint8)

... 时间 0.013 秒
def ProcessRawData(RawData):
    if len(RawData) == 114733:
        return RawData[1:-44].reshape(-1, 32)
    return None

...时间 0.000007 秒!
def GetFrame(ProcessedMatrix):
    if ProcessedMatrix.shape == (3584, 32):
        return np.unpackbits(ProcessedMatrix[13::14]).reshape(256, 256)
    return False

... 时间 0.00006 秒!

因此,使用纯 Python,我现在能够以所需的帧速率获取数据!在对 D2xx USB 缓冲区和延迟计时进行了一些调整后,我将其计时在 47.6 帧每秒!

最后一步是是否有任何方法可以使其与我的处理算法并行运行?需要某种方式来传递 GetFrame 的结果到另一个并行运行的循环。

最佳答案

有几个地方可以显着加快速度。也许最明显的是重写GetFrame :

def GetFrame(ProcessedMatrix):
    if ProcessedMatrix.shape == (3584, 32):
        return np.unpackbits(ProcessedMatrix[13::14]).reshape(256, 256)
    return False

这要求 ProcessedMatrix成为 ndarray类型 np.uint8 ,但除此之外,在我的系统上它的运行速度提高了 1000 倍。

与您的其他两个功能,我认为在 ReadStream你应该做这样的事情:
def ReadStream(RXcount):
    global ftdi
    return np.frombuffer(ftdi.read(RXcount), dtype=np.uint8)

即使它不会大大加快该函数的速度,因为它大部分时间都在读取,它已经为您提供了一个 numpy 字节数组来处理。有了它,您就可以继续访问 ProcessRawData并尝试:
def ProcessRawData(RawData):
    if len(RawData) == 114733:
        return RawData[1:-44].reshape(-1, 32)
    return None

这比您的版本快 10 倍。

关于python - 替代字节数组处理瓶颈的高速替代方案,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23528107/

有关python - 替代字节数组处理瓶颈的高速替代方案的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  2. ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2

    我有多个ActiveRecord子类Item的实例数组,我需要根据最早的事件循环打印。在这种情况下,我需要打印付款和维护日期,如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询,用于查找maintenance和payment项目(非排他性查询),并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代

  3. ruby - 多次弹出/移动 ruby​​ 数组 - 2

    我的代码目前看起来像这样numbers=[1,2,3,4,5]defpop_threepop=[]3.times{pop有没有办法在一行中完成pop_three方法中的内容?我基本上想做类似numbers.slice(0,3)的事情,但要删除切片中的数组项。嗯...嗯,我想我刚刚意识到我可以试试slice! 最佳答案 是numbers.pop(3)或者numbers.shift(3)如果你想要另一边。 关于ruby-多次弹出/移动ruby​​数组,我们在StackOverflow上找到一

  4. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  5. ruby - 将数组的内容转换为 int - 2

    我需要读入一个包含数字列表的文件。此代码读取文件并将其放入二维数组中。现在我需要获取数组中所有数字的平均值,但我需要将数组的内容更改为int。有什么想法可以将to_i方法放在哪里吗?ClassTerraindefinitializefile_name@input=IO.readlines(file_name)#readinfile@size=@input[0].to_i@land=[@size]x=1whilex 最佳答案 只需将数组映射为整数:@land边注如果你想得到一条线的平均值,你可以这样做:values=@input[x]

  6. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  7. ruby - 通过 erb 模板输出 ruby​​ 数组 - 2

    我正在使用puppet为ruby​​程序提供一组常量。我需要提供一组主机名,我的程序将对其进行迭代。在我之前使用的bash脚本中,我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby​​不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是,我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这

  8. ruby - 检查数组是否在增加 - 2

    这个问题在这里已经有了答案:Checktoseeifanarrayisalreadysorted?(8个答案)关闭9年前。我只是想知道是否有办法检查数组是否在增加?这是我的解决方案,但我正在寻找更漂亮的方法:n=-1@arr.flatten.each{|e|returnfalseife

  9. ruby - 如果指定键的值在数组中相同,如何合并哈希 - 2

    我有一个这样的哈希数组:[{:foo=>2,:date=>Sat,01Sep2014},{:foo2=>2,:date=>Sat,02Sep2014},{:foo3=>3,:date=>Sat,01Sep2014},{:foo4=>4,:date=>Sat,03Sep2014},{:foo5=>5,:date=>Sat,02Sep2014}]如果:date相同,我想合并哈希值。我对上面数组的期望是:[{:foo=>2,:foo3=>3,:date=>Sat,01Sep2014},{:foo2=>2,:foo5=>5:date=>Sat,02Sep2014},{:foo4=>4,:dat

  10. ruby - 在 Ruby 中用键盘诅咒数组浏览 - 2

    我正在尝试在Ruby中制作一个cli应用程序,它接受一个给定的数组,然后将其显示为一个列表,我可以使用箭头键浏览它。我觉得我已经在Ruby中看到一个库已经这样做了,但我记不起它的名字了。我正在尝试对soundcloud2000中的代码进行逆向工程做类似的事情,但他的代码与SoundcloudAPI的使用紧密耦合。我知道cursesgem,我正在考虑更抽象的东西。广告有没有人见过可以做到这一点的库或一些概念证明的Ruby代码可以做到这一点? 最佳答案 我不知道这是否是您正在寻找的,但也许您可以使用我的想法。由于我没有关于您要完成的工作

随机推荐