草庐IT

python - 如何使用依赖项维护 python 应用程序，包括我自己的自定义库？

coder 2024-06-06 原文

我正在使用 Python 开发一些特定于公司的应用程序。有一个自定义共享模块(“库”)来描述一些数据和算法，并且有几十个 Python 脚本与这个库一起工作。这些文件很多，所以它们被组织在子文件夹中

myproject
    apps
        main_apps
            app1.py
            app2.py
            ...
        utils
            util1.py
            util2.py
            ...
    library
        __init__.py
        submodule1
            __init__.py
            file1.py
            ...
        submodule2
            ...

用户希望通过简单地进入 myproject\utils 并启动“py util2.py some_params”来运行这些脚本。这些用户中有许多是开发人员，因此他们经常希望编辑库并立即使用更新的代码重新运行脚本。该项目还使用了一些 3rd 方库，我想确保每个人都使用这些库的相同版本。

现在，我遇到了两个关键问题:
  • 如何从(应用程序)引用(库)？
  • 如何管理第 3 方依赖项？

    • 第一个问题对于许多 Python 开发人员来说非常熟悉，并且在 SO 上被问过很多次:指示 Python 从“....\library”导入包非常困难。我测试了几种不同的方法，但似乎 python 不愿意在任何地方搜索包，而是在标准库位置或脚本本身的文件夹中。
  • 相对导入不起作用，因为脚本不是库的一部分(即使是，这在直接执行脚本时仍然不起作用，除非它被放置在我想避免的“根”项目文件夹中)
  • 将 .pth 文件(从阅读 this document 可能会想到)到脚本文件夹显然没有任何影响

    • 当然直接干预 sys.path 工作，但是每个脚本文件中像这样的样板代码看起来很糟糕
    import sys, os.path
here = os.path.dirname(os.path.realpath(__file__))
module_root = os.path.abspath(os.path.join(here, '../..'))
sys.path.append(python_root)
import my_library

    我意识到发生这种情况是因为 Python 希望我的库被正确“安装”，这确实是将这个库与使用它的脚本分开开发的唯一正确方法。但不幸的是，情况并非如此，我认为每次更改库时都重新“安装”它会非常不方便并且容易出错。

    第二个问题很简单。有人在我们的 app/lib 中添加了一个新的 3rd 方模块，其他人一旦更新他们的应用程序就会开始看到导入问题。几个开发分支，用户安装 pip 的不同时刻，很少回滚 - 每个人最终都使用不同版本的 3rd 方模块。在我的情况下，由于许多开发人员使用较旧的 Python 2.x 代码进行大量工作而我想继续使用 Python 3.x，因此事情变得更加复杂

    在为我的问题寻找可能的解决方案时，我在 Python 中发现了一个真正出色的虚拟环境功能。事情看起来很光明:
  • 为我的项目创建一个 venv
  • 分发一个Requirements.txt 文件作为应用程序的一部分，并提供一个相应地填充venv 的脚本
  • 将我自己的库符号链接(symbolic link)到 venv site_packages 文件夹，以便 Python 始终检测到它

    • 这个解决方案看起来非常自然和健壮。我明确地为我的项目设置了我自己的环境，并将我需要的任何东西放入这个 venv，包括我自己的库，我仍然可以即时编辑。它确实有效。但是调用 activate.bat 来激活这个 python 环境并调用另一个批处理文件来停用它是一团糟，尤其是在 Windows 平台上。正在编辑 sys.path 的样板代码看起来很糟糕，但至少它不会像这个潜在的修复程序那样干扰 UX。

    所以我想问一个问题。
  • 有没有办法将特定的 python venv 绑定(bind)到特定的文件夹，以便 python 启动器会自动将此 venv 用于这些文件夹中的脚本？
  • 有没有更好的替代方法来处理我错过的这种情况？

    • 我的项目的环境是在 Windows 10 上运行的 Python 3.6。

    最佳答案

    我想我终于找到了一个合理的答案。在venv中添加指向python解释器的shebang行就足够了，例如

    #!../../venv/Scripts/python

    完整的项目结构将如下所示
    myproject
    apps
        main_apps
            app1.py (with shebang)
            app2.py (with shebang)
            ...
        utils
            util1.py (with shebang)
            util2.py (with shebang)
            ...
    library
        __init__.py
        submodule1
            __init__.py
            file1.py
            ...
        submodule2
            ...
    venv
        (python interpreter, 3rd party modules)
        (symlink to library)
    requirements.txt
    init_environment.bat

    事情是这样的:
  • venv 是一个虚拟的 python 环境，包含项目所需的一切
  • init_environment.bat 是一个脚本，它根据 requirements.txt 填充 venv 并将指向我的库的符号链接(symbolic link)放入 venv 站点模块
  • 所有脚本都以指向 venv 解释器的 shebang 行(带有相对路径)开头

    • 有一个完整的自定义环境，包括我自己的所有库和使用它的脚本都将具有非常自然的导入。每当我的项目中的任何面向用户的脚本从控制台或 Windows 资源管理器启动时，Python 启动器也会自动选择 Python 3.6 作为解释器并加载相关模块。

    缺点:
  • 如果从其他文件夹调用脚本，则相对 shebang 将不起作用
  • 用户仍然需要手动运行 init_environment.bat 来根据 requirements.txt 更新虚拟环境
  • Windows 上的 init_environment 脚本需要提升权限才能创建符号链接(symbolic link)(但希望 MS 奇怪的决定将在 17 年 4 月即将发布的 Win10 更新中得到解决)

    • 但是，我可以忍受这些限制。希望这会帮助其他人寻找类似的问题。

    仍然很高兴听到其他选项(作为答案)和批评者(作为评论)。

    关于python - 如何使用依赖项维护 python 应用程序，包括我自己的自定义库？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42630253/

    自定pythonbrwindowspython-3.xpackagingpython-venv

    有关python - 如何使用依赖项维护 python 应用程序，包括我自己的自定义库？的更多相关文章

    1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

      我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

    2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

      总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

    3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

      我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

    4. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    5. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

      很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

    6. ruby - 在 Ruby 中使用匿名模块 - 2

      假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

    7. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

      我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

    8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

      关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

    9. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

      给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

    10. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

      我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

    随机推荐