如何在 python 脚本中获取多个分页 api？

codeneng 2023-03-28 原文

How to get a multiple pagination api in a python script?

我学习python，我想使用api。
我制作小程序来获取信息，并阻止我的下一个程序。
我想制作一个程序来抓取我学校 api 上的所有学生。
问题是限制分页，我有 15 个用户，但不是全部。

我在文档上搜索如何使用。
我尝试使用循环"for"和特定的 api 参数获取信息：

The Link HTTP response header contains pagination data with first,
previous, next and last raw pages links when available, under the
format
link: http://xxx.intra.xxx.fr/v2/{Resource}?page=X+1; rel="next",
http://xxx.intra.xxx.fr/v2/{Resource}?page=X-1; rel="prev",
http://xxx.intra.xxx.fr/v2/{Resource}?page=1; rel="first",
http://xxx.intra.xxx.fr/v2/{Resource}?page=X+n; rel="last"

问题，我不知道要抓取所有页面中的所有信息，而不仅仅是第一页。
我的程序代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87

import requests
import json
import sys
from sys import argv
from operator import itemgetter, attrgetter
import json
import os

UID = 'REDACTED_USER_ID'
SECRET = 'REDACTED_SECRET_KEY'

class CONST(object):
try:
campus = sys.argv[1]
month = sys.argv[2]
year = sys.argv[3]
except:
print("Error : aucun argument")
print('Usage:"campus_id" (EX:1)"month" (july)"year" (2016)')
exit()

d = {'grant_type': 'client_credentials', 'client_id': UID, 'client_secret': SECRET}
r = requests.post("https://api.intra.xxx.fr/oauth/token", data=d)
token = r.json()['access_token']
print(token)
h = {'Authorization': 'Bearer ' + token}
get_students = requests.get('https://api.intra.xxx.fr/v2/cursus/1/users?filter[primary_campus_id]=' + campus + '&filter[pool_month]=' + month + '&filter[pool_year]=' + year + '&sort=login', headers=h)

def __setattr__(self, *_):
pass

CONST = CONST()

def campus_id(CAMPUS, MONTH, YEAR, *args):
campus = CAMPUS
if str.isnumeric(campus):
return(campus)
else:
print("Error : campus_id requiert un chiffre")
print('Usage:"campus_id" (EX:1)"month" (july)"year" (2016)')
exit()

def pool_month(CAMPUS, MONTH, YEAR, *args):
month = MONTH
if str.isalpha(month):
return(month)
else:
print("Error : pool_month requiert un mois en lettre")
print('Usage:"campus_id" (EX:1)"month" (july)"year" (2016)')
exit()

def pool_year(CAMPUS, MONTH, YEAR, *args):
year = YEAR
if str.isnumeric(year):
return(year)
else:
print("Error : pool_year requiert au moins un chiffre")
print('Usage:"campus_id" (EX:1)"month" (july)"year" (2016)')
exit()

def get_infos(CAMPUS, MONTH, YEAR, *args):
if len(argv) != 4:
print('Wrongs arguments !')
print('Usage:"campus_id" (EX:1)"month" (july)"year" (2016)')
exit()

campus = campus_id(*argv[1:], *argv[2:], *argv[3:])
month = pool_month(*argv[1:], *argv[2:], *argv[3:])
year = pool_year(*argv[1:], *argv[2:], *argv[3:])
get_level = CONST.get_students
# print(json.dumps(get_level.json(),indent=4))
level = get_level.json()
tab = []
for item in level:
tab.append(item['login'])
chain = ' \
'.join(tab)
fichier = open("test.out","w")
fichier = open("test.out","a")
fichier.write(chain +"\
")
fichier.close()

if __name__ == '__main__':
test = get_infos(*argv[1:], *argv[2:], *argv[3:])
print(test)

代码：

1 2	for item in level: tab.append(item['login'])

是我找到的登录名的数组列表(例如：暂时我已经 "a" "b" "c" "d")，我想获取所有用户

控制台示例：

1
2
3
4
5
6
7
8
9
10

> api-test python3 api-test3.py"1""september""2017"
> api-test
> cat test.out
aaiche
abaille
abezanni
abouquet
acourtin
adfourca
adpusel

使用 requests.get 函数，您应该在 params 关键字参数中传递查询参数。

所以你会想要像

这样的东西

1
2
3
4
5
6
7
8
9
10
11

# ... earlier stuff
h = {'Authorization': 'Bearer ' + token}
params = {
'filter[primary_campus_id]': campus,
'filter[pool_month]': month,
'filter[pool_year]': year,
'sort': 'login'
}
get_students = requests.get('https://api.intra.xxx.fr/v2/cursus/1/users', params=params, headers=h)

# and so on ...

要特别回答您的分页问题，??您需要在 params 字典中添加一个额外的 page 参数。所以你可以添加一个循环

1
2
3
4
5
6

params = { ... } # as before
for page_idx in range(number_of_pages):
params['page'] = page_idx
get_students_page = requests.get(...)
# combine the outputs somehow, but that depends on the response
# and so on...

你好安德鲁，谢谢你的快速回答！查询参数没问题，多亏了你更干净。对于分页，不，我不想要 "page" 参数。实际上，我的脚本是所有第 1 页的用户。我想使用"第一个、上一个、下一个和最后一个"选项获取第 1 页用户的其他用户页面。"
这里的答案有一些关于通过"rel=next"标签自动化的有用细节，尽管实际的实现取决于响应格式的细节。

何在 python span class br api pagination python-3.x

有关如何在 python 脚本中获取多个分页 api？的更多相关文章

ruby - 如何在 Ruby 中顺序创建 PI - 2
出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits
python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
ruby-on-rails - Rails 3 中的多个路由文件 - 2
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？最佳答案在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2
我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代
ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2
如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby 中生成它们？ - 2
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
ruby-on-rails - Rails - 一个 View 中的多个模型 - 2
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
ruby-on-rails - 如何在 ruby 中使用两个参数异步运行 exe？ - 2
exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby中使用两个参数异步运行exe吗？我已经尝试过ruby命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何rubygems会支持我的问题？最佳答案您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除
ruby - 如何在续集中重新加载表模式？ - 2
鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

如何在 python 脚本中获取多个分页 api？

How to get a multiple pagination api in a python script?

有关如何在 python 脚本中获取多个分页 api？的更多相关文章

随机推荐