我已经用 Python 编写了一个脚本，以便在 SO 中仅获取我的配置文件中可见的名称。问题是我想使用请求模块登录该站点，登录后我希望使用 Selenium 获取配置文件名称。底线是——当我获得个人资料 URL 时，我希望 Selenium 重新使用该 URL 来获取个人资料名称。

此工作解决方案使用请求:

import requests
from bs4 import BeautifulSoup

url = "https://stackoverflow.com/users/login?ssrc=head&returnurl=https%3a%2f%2fstackoverflow.com%2f"

req = requests.get(url)
sauce = BeautifulSoup(req.text,"lxml")
fkey = sauce.select_one("[name='fkey']")['value']
payload = {
    'fkey': fkey,
    'ssrc': 'head',
    'email': my_username,
    'password': my_password,
    'oauth_version':'', 
    'oauth_server':'' 
    }
res = requests.post(url,data=payload)
soup = BeautifulSoup(res.text,"lxml")
item = soup.select_one("div[class^='gravatar-wrapper-']").get("title")
print(item)

我现在想做的是:

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

url = "https://stackoverflow.com/users/login?ssrc=head&returnurl=https%3a%2f%2fstackoverflow.com%2f"

driver = webdriver.Chrome()

req = requests.get(url)
sauce = BeautifulSoup(req.text,"lxml")
fkey = sauce.select_one("[name='fkey']")['value']
payload = {
    'fkey': fkey,
    'ssrc': 'head',
    'email': my_username,
    'password': my_password,
    'oauth_version':'', 
    'oauth_server':'' 
    }
res = requests.post(url,data=payload)
cookie_item = [{'name':name, 'value':value} for name,value in req.cookies.items()]
driver.add_cookie(cookie_item[0])
driver.get(res.url)
item = driver.find_element_by_css_selector("div[class^='gravatar-wrapper-']").get_attribute("title")
print(item)

执行时遇到以下错误:

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unable to set cookie

如何通过重新使用从请求中派生的配置文件 url 来使用 Selenium 获取配置文件名称？

最佳答案

使用 Stack Exchange API 可能更合适而不是抓取网站，但无论如何..

有几个问题:

1. 您有时会遇到验证码挑战。

2. 保留默认的 requests header 会增加获得验证码的几率，因此请使用来自传统浏览器的验证码覆盖它。

3. 您需要使用 requests.Session() 来维护来自前两个请求的 cookie。

4. 在从 requests session 添加 cookie 之前，您需要使用 webdriver 发出初始请求并清除所有创建的 cookie。

考虑到这些因素，我能够让它与以下内容一起工作:

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

url = "https://stackoverflow.com/users/login?ssrc=head&returnurl=https%3a%2f%2fstackoverflow.com%2f"

headers = {
    "User-Agent": (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36"
    )
}

s = requests.Session()

req = s.get(url, headers=headers)
payload = {
    "fkey": BeautifulSoup(req.text, "lxml").select_one("[name='fkey']")["value"],
    "email": "YOUR_EMAIL",
    "password": "YOUR_PASSWORD",
}

res = s.post(url, headers=headers, data=payload)

if "captcha" in res.url:
    raise ValueError("Encountered captcha")

driver = webdriver.Chrome()

try:
    driver.get(res.url)
    driver.delete_all_cookies()

    for cookie in s.cookies.items():
        driver.add_cookie({"name": cookie[0], "value": cookie[1]})

    driver.get(res.url)

    item = driver.find_element_by_css_selector("div[class^='gravatar-wrapper-']")
    print(item.get_attribute("title"))
finally:
    driver.quit()

关于python - 使用请求登录后无法使用 Selenium 获取配置文件名称，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54555439/