我正在尝试编译 numpy v1.12 以获得对 ATLAS/LAPACK 例程的支持。

问题

我用于编译的设置似乎无法将 ATLAS/LAPACK 库引入 numpy。

设置

我在我工作的主机(计算集群)上没有管理员权限。

但是，这些节点通过 GNU 提供对 gcc 4.7.2 和 5.3.0、glibc 2.17 和 2.22 以及 ATLAS/LAPACK 库和头文件 v3.10.2 的访问模块。

出于兼容性原因，我正在使用包含 Python 2.7.16 的虚拟环境。同样，出于同样的原因，我正在安装旧版本的 numpy。如果一切正常，我可能会探索更新版本的 numpy 但目前，这就是我正在使用的。

我的 numpy 源目录有一个名为 site.cfg 的配置文件，其中包括以下指令:

[ALL]
library_dirs = /usr/local/lib:/net/module/sw/glibc/2.22/lib64:/net/module/sw/atlas-lapack/3.10.2/lib
include_dirs = /usr/local/include:/net/module/sw/glibc/2.22/include:/net/module/sw/atlas-lapack/3.10.2/include

[atlas]
libraries = lapack,f77blas,cblas,atlas
library_dirs = /net/module/sw/atlas-lapack/3.10.2/lib
include_dirs = /net/module/sw/atlas-lapack/3.10.2/include

我正在通过以下命令编译 numpy:

$ CFLAGS="${CFLAGS} -std=c99 -fPIC" LDFLAGS="-L/home/areynolds/.conda/envs/genotyping_environment/lib -Wl,-rpath=/home/areynolds/.conda/envs/genotyping_environment/lib -Wl,--no-as-needed -Wl,--sysroot=/,-L/net/module/sw/glibc/2.22/lib64" python setup.py build --fcompiler=gnu95

我正在使用 --fcompiler=gnu95 因为 ATLAS/LAPACK 库是用 GNU Fortran 编译的。我覆盖了 CFLAGS 和 LDFLAGS 变量，以便 GCC 工具包能够正确编译和链接。

问题

编译后，我测试了 numpy 库以查看通过一种方法安装了什么:

$ python
...
>>> import numpy.distutils.system_info as sysinfo
>>> sysinfo.get_info('atlas')
ATLAS version 3.10.2 built by root on Wed Jun  1 15:39:08 PDT 2016:
    UNAME    : Linux module0.altiusinstitute.org 3.10.0-327.10.1.el7.x86_64 #1 SMP Tue Feb 16 17:03:50 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
    INSTFLG  : -1 0 -a 1 -l 1
    ARCHDEFS : -DATL_OS_Linux -DATL_ARCH_UNKNOWNx86 -DATL_CPUMHZ=2876 -DATL_AVXMAC -DATL_AVX -DATL_SSE3 -DATL_SSE2 -DATL_SSE1 -DATL_USE64BITS -DATL_GAS_x8664
    F2CDEFS  : -DAdd_ -DF77_INTEGER=int -DStringSunStyle
    CACHEEDGE: 229376
    F77      : /net/module/sw/gcc/5.3.0/bin/gfortran, version GNU Fortran (GCC) 5.3.0
    F77FLAGS : -O -mavx2 -mfma -m64 -fPIC
    SMC      : /usr/bin/x86_64-redhat-linux-gcc, version x86_64-redhat-linux-gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-4)
    SMCFLAGS : -O -fomit-frame-pointer -mavx2 -mfma -m64 -fPIC
    SKC      : /usr/bin/x86_64-redhat-linux-gcc, version x86_64-redhat-linux-gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-4)
    SKCFLAGS : -O -fomit-frame-pointer -mavx2 -mfma -m64 -fPIC                                                                                                                                                    
    {'libraries': ['lapack', 'f77blas', 'cblas', 'atlas', 'f77blas', 'cblas'], 'library_dirs': ['/net/module/sw/atlas-lapack/3.10.2/lib'], 'define_macros': [('ATLAS_INFO', '"\\"3.10.2\\""')], 'language': 'f77', 'include_dirs': ['/net/module/sw/atlas-lapack/3.10.2/include']}

这看起来不错，也许吧？

但是当我通过另一种方法检查时，我得到了不同的答案:

>>> np.show_config()
lapack_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    define_macros = [('HAVE_CBLAS', None)]
    language = c
blas_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    define_macros = [('HAVE_CBLAS', None)]
    language = c
openblas_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    define_macros = [('HAVE_CBLAS', None)]
    language = c
blis_info:
  NOT AVAILABLE
openblas_lapack_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    define_macros = [('HAVE_CBLAS', None)]
    language = c
lapack_mkl_info:
  NOT AVAILABLE
blas_mkl_info:
  NOT AVAILABLE

尽管 site.cfg 中描述了手动设置，但没有提及 ATLAS，LAPACK 显然也没有指向正确的模块目录(/net/module/sw/atlas- lapack/3.10.2).

我如何正确地将对 ATLAS/LAPACK 的支持编译到 numpy 中，或者真正测试我是否有一个有效的 ATLAS/LAPACK 设置集成到 numpy 中，这给了我一个一致(可靠)的答案？

最佳答案

一个正交的建议，但它可能对一般情况有帮助，而不仅仅是针对您的特定问题。

看看Spack . 它是一个从源构建包的包管理器。这是一个非常有趣且有前途的项目，您只需几个步骤即可构建各种各样的库/软件。

我刚刚检查过，py-numpy 是受支持的包(即 spack list numpy)。如果您想使用默认选项安装(使用 spack info py-numpy 检查它们)，您可以使用简单的 spack install py-numpy 安装它，它将是与 missig 依赖项一起构建。

如果你想改变一些东西，例如你可能想使用特定的 BLAS/LAPACK 实现或版本，你可以轻松指定所需的依赖项(即 spack install py-numpy ^openblas)

我可以向你保证，它会让你省去很多麻烦，它为我做了很多次。我在我工作的 HPC 和我的本地机器上都使用它。

我刚刚向您展示了一些命令，但我只是粗略地了解了您可以轻松使用它做什么(您可能有多个 numpy 变体使用不同的 BLAS 实现构建，或者具有不同选项的相同实现，或者 . .. 如果我建议您开始查看 "spec syntax" )。

关于python - 使用 ATLAS/LAPACK 支持构建 numpy，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57169862/