草庐IT

Python利用requests批量进行CPGAVAS2注释

小潤澤 2023-03-28 原文

我们可以打开CPGAVA2的网址：http://47.96.249.172:16019/analyzer/annotate，利用示例数据来查看网络的交互情况

该网站的工作原理是利用上传数据的网页


上传数据的网页

然后返回一个 project 号，过大约20min，利用该 project 号去查询结果，


查询结果的网页

最后下载注释的结果

其中：

1.Request Headers
Request Headers

当点击submit以后，Request Headers 提供了发送请求网页的header信息

2.Response Headers
Response Headers
而 Response Headers 则提供了提交请求后，由服务器返回数据的header信息，可以看到返回的信息Location里面提供了二次跳转的路由，因此这个问题就变成了如何获取 project号，等待20min后进行结果的查询

首先利用 fiddler 来抓包network环境：
点击 http://47.96.249.172:16019/analyzer/annotate 这个路由


这里的name代表上传文件的所有参数，其他参数以字典的形式储存，而上传的文件单独以files（字典形式）进行储存，并写全所有的参数的内容（Content-Disposition，Content-Type，filename ，name ）

# 这个参数指代上传的文件，txt
files = {
   # name
    "file1": open("/.../sample.fas.txt",'rb'),
  # Content-Disposition的形式
    "Content-Disposition": "form-data",
 # Content-Type的形式
    "Content-Type": "text/plain",
 # filename 上传文件的名称
    "filename": 'sample.fas.txt'
}

而下载数据的link为 http://47.96.249.172:16019//tmp/dir_165959047398336/165959047398336.tar.gz 这种形式，即用 project id 作为结果的区别

完整代码：

import os
import time
import urllib.parse
import urllib.request
import requests
import json

url = "http://47.96.249.172:16019/analyzer/annotate"

# 这里存放其他上传文件的参数，这里的key代表html里面的参数name
params = {
        "projectName": "Project Name",
        "speciesName": "Species Name",
        "refdataset": "1. 43-plastomes",
        "misa_par1": " 1-10 2-6 3-5 4-5 5-5 6-5 ",
        "trf_par1": " 2 7 7 80 10 50 500 -f -d -m ",
        "vmatch_par1": " -f -p -h 3 -l 30 ",
        "isforupdate": 0,
        "emailAddress": "",
        "refdataset": "refds1",
        ## 这个参数指代是否提交，模拟点击submit
        "form_submit": "yes"
    }

# 这个参数指代上传的文件，txt
files = {
    "file1": open("/.../sample.fas.txt",'rb'),
    "Content-Disposition": "form-data",
    "Content-Type": "text/plain",
    "filename": 'sample.fas.txt'
}

res = requests.post(url,params,files=files,allow_redirects=False)
job_id = str(res.headers.get('location')).split('=')[1]
print(job_id)
time.sleep(200)

links = 'http://47.96.249.172:16019//tmp/dir_' + job_id + '/' + job_id + '.tar.gz'
os.chdir('/data/home/huanfan/')
os.system('wget' % (links))
CPGAVAS2requestssectionimagesupload

有关Python利用requests批量进行CPGAVAS2注释的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  2. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  3. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后，我想到了这种方法，可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法，但它确实有效。有没有人有更好的建议，或者这是一个很好的方法？#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  4. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

  5. ruby - 如何进行排列以有效地定制输出 - 2

    这是一道面试题，我没有答对，但还是很好奇怎么解。你有N个人的大家庭，分别是1,2,3,...,N岁。你想给你的大家庭拍张照片。所有的家庭成员都排成一排。“我是家里的friend，建议家庭成员安排如下:”1岁的家庭成员坐在这一排的最左边。每两个坐在一起的家庭成员的年龄相差不得超过2岁。输入:整数N，1≤N≤55。输出:摄影师可以拍摄的照片数量。示例->输入:4，输出:4符合条件的数组:[1,2,3,4][1,2,4,3][1,3,2,4][1,3,4,2]另一个例子:输入:5输出:6符合条件的数组:[1,2,3,4,5][1,2,3,5,4][1,2,4,3,5][1,2,4,5,3][

  6. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时，测试会在当前主机停止。即使测试失败，我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  7. ruby - 是否可以覆盖 gemfile 进行本地开发？ - 2

    我们的git存储库中目前有一个Gemfile。但是，有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它，我必须将它添加到我们的Gemfile中，但每次我checkout到我们的master/dev主分支时，由于与跟踪的gemfile冲突，我必须删除它。我想要的是类似Gemfile.local的东西，它将继承从Gemfile导入的gems，但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗？ 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  8. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反？ - 2

    这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub

  9. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  10. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

随机推荐