草庐IT

python - PyArray_Check 使用 Cython/C++ 给出段错误

coder 2024-02-09 原文

谢谢大家。

我想知道什么是 #include 的正确方法所有 numpy header 以及使用 Cython 和 C++ 解析 numpy 数组的正确方法是什么。下面是尝试:

// cpp_parser.h 
#ifndef _FUNC_H_
#define _FUNC_H_

#include <Python.h>
#include <numpy/arrayobject.h>

void parse_ndarray(PyObject *);

#endif

我知道这可能是错误的,我也尝试了其他选项,但没有一个有效。
// cpp_parser.cpp
#include "cpp_parser.h"
#include <iostream>

using namespace std;

void parse_ndarray(PyObject *obj) {
    if (PyArray_Check(obj)) { // this throws seg fault
        cout << "PyArray_Check Passed" << endl;
    } else {
        cout << "PyArray_Check Failed" << endl;
    }
}
PyArray_Check例程抛出段错误。 PyArray_CheckExact不扔,但这不是我想要的。
# parser.pxd
cdef extern from "cpp_parser.h": 
    cdef void parse_ndarray(object)

和实现文件是:
# parser.pyx
import numpy as np
cimport numpy as np

def py_parse_array(object x):
    assert isinstance(x, np.ndarray)
    parse_ndarray(x)
setup.py脚本是
# setup.py
from distutils.core import setup, Extension
from Cython.Build import cythonize

import numpy as np

ext = Extension(
    name='parser',
    sources=['parser.pyx', 'cpp_parser.cpp'],
    language='c++',
    include_dirs=[np.get_include()],
    extra_compile_args=['-fPIC'],
)

setup(
    name='parser',
    ext_modules=cythonize([ext])
    )

最后是测试脚本:
# run_test.py
import numpy as np
from parser import py_parse_array

x = np.arange(10)
py_parse_array(x)

我用上面的所有脚本创建了一个 git repo:https://github.com/giantwhale/study_cython_numpy/

最佳答案

快速修复 (阅读更多细节和更复杂的方法):

您需要初始化变量PyArray_API通过调用 import_array() 在您使用 numpy-stuff 的每个 cpp 文件中:

//it is only a trick to ensure import_array() is called, when *.so is loaded
//just called only once
int init_numpy(){
     import_array(); // PyError if not successful
     return 0;
}

const static int numpy_initialized =  init_numpy();

void parse_ndarraray(PyObject *obj) { // would be called every time
    if (PyArray_Check(obj)) {
        cout << "PyArray_Check Passed" << endl;
    } else {
        cout << "PyArray_Check Failed" << endl;
    }
}

也可以使用 _import_array ,如果不成功则返回负数,以使用自定义错误处理。 See here用于定义 import_array .

警告:正如@isra60 所指出的,_import_array()/import_array()只能在 Python 初始化后调用,即在 Py_Initialize() 之后被称为。这对于扩展来说总是如此,但如果嵌入了 python 解释器,则并非总是如此,因为 numpy_initializedmain 之前初始化- 开始。在这种情况下,不应使用“初始化技巧”,而应使用 init_numpy()后调用 Py_Initialize() .

成熟的解决方案:

注意:有关信息,为什么设置 PyArray_API需要,看这个SO-answer :为了能够将符号解析推迟到运行时,因此链接时不需要 numpy 的共享对象,并且不能在动态库路径上(python 的系统路径就足够了)。

建议的解决方案很快,但是如果使用 numpy 的 cpp 不止一个,则有很多 PyArray_API 实例已初始化。

如果 PyArray_API 可以避免这种情况未定义为静态,而是定义为 extern除一个翻译单元外,其他所有单元。对于那些翻译单位 NO_IMPORT_ARRAY 宏必须在 numpy/arrayobject.h 之前定义已经包括了。

然而,我们需要一个定义这个符号的翻译单元。对于这个翻译单元,宏 NO_IMPORT_ARRAY不得定义。

但是,没有定义宏 PY_ARRAY_UNIQUE_SYMBOL我们将只得到一个静态符号,即对其他翻译单元不可见,因此链接器将失败。原因是:如果有两个库并且每个人都定义了一个 PyArray_API那么我们将有一个符号的多重定义,链接器将失败,即我们不能同时使用这两个库。

因此,通过定义 PY_ARRAY_UNIQUE_SYMBOLMY_FANCY_LIB_PyArray_APInumpy/arrayobject.h 的每个包含之前我们会有自己的 PyArray_API -name,不会与其他库发生冲突。

把它们放在一起:

答: use_numpy.h - 包含 numpy 功能的标题,即 numpy/arrayobject.h
//use_numpy.h

//your fancy name for the dedicated PyArray_API-symbol
#define PY_ARRAY_UNIQUE_SYMBOL MY_PyArray_API 

//this macro must be defined for the translation unit              
#ifndef INIT_NUMPY_ARRAY_CPP 
    #define NO_IMPORT_ARRAY //for usual translation units
#endif

//now, everything is setup, just include the numpy-arrays:
#include <numpy/arrayobject.h>

乙: init_numpy_api.cpp - 用于初始化全局的翻译单元 MY_PyArray_API :
//init_numpy_api.cpp

//first make clear, here we initialize the MY_PyArray_API
#define INIT_NUMPY_ARRAY_CPP

//now include the arrayobject.h, which defines
//void **MyPyArray_API
#inlcude "use_numpy.h"

//now the old trick with initialization:
int init_numpy(){
     import_array();// PyError if not successful
     return 0;
}
const static int numpy_initialized =  init_numpy();

电话:只包括 use_numpy.h每当您需要 numpy 时,它都会定义 extern void **MyPyArray_API :
//example
#include "use_numpy.h"

...
PyArray_Check(obj); // works, no segmentation error

警告:不应该忘记,为了使初始化技巧起作用,Py_Initialize()必须已经被调用。

为什么需要它 (因历史原因保留):

当我使用调试符号构建您的扩展时:
extra_compile_args=['-fPIC', '-O0', '-g'],
extra_link_args=['-O0', '-g'],

并使用 gdb 运行它:
 gdb --args python run_test.py
 (gdb) run
  --- Segmentation fault
 (gdb) disass

我可以看到以下内容:
   0x00007ffff1d2a6d9 <+20>:    mov    0x203260(%rip),%rax       
       # 0x7ffff1f2d940 <_ZL11PyArray_API>
   0x00007ffff1d2a6e0 <+27>:    add    $0x10,%rax
=> 0x00007ffff1d2a6e4 <+31>:    mov    (%rax),%rax
   ...
   (gdb) print $rax
   $1 = 16

我们应该记住,PyArray_Check只是一个 define for :
#define PyArray_Check(op) PyObject_TypeCheck(op, &PyArray_Type)

看来,那个&PyArray_Type不知何故使用了 PyArray_API 的一部分未初始化(具有值 0 )。

我们来看看cpp_parser.cpp在预处理器之后(使用标志 -E 编译:
 static void **PyArray_API= __null
 ...
 static int
_import_array(void)
{
  PyArray_API = (void **)PyCapsule_GetPointer(c_api,...

所以PyArray_AP I 是静态的,通过 _import_array(void) 初始化,这实际上可以解释我在构建过程中收到的警告,即 _import_array()已定义但未使用 - 我们没有初始化 PyArray_API .

因为 PyArray_API是一个静态变量,它必须在每个编译单元中初始化,即 cpp - 文件。

所以我们只需要这样做 - import_array()似乎是官方的方式。

关于python - PyArray_Check 使用 Cython/C++ 给出段错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47026900/

有关python - PyArray_Check 使用 Cython/C++ 给出段错误的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

随机推荐