写这篇文章也是因为踩坑浪费了不少时间,难度一星,坑爹五星,把这个网站拎出来给大家避个雷,来自工作中需要抓取的一个网站https://www.gdtv.cn/search?key=珠江新闻眼找请求没啥好说的,这个接口:https://gdtv-api.gdtv.cn/api/search/v1/newspython模拟请求老爬虫操作都是从浏览器控制台copyasurl到postman再生成python-requests代码nm的诡异现象来了,postman发出的请求永远正常,复制代码发出的请求永远401我的噩梦来了,先是拿出charles抓包看两次请求不一样的地方,再就是使用文本对比看两次cur