草庐IT

ChatGPT编程秀:做一个简单爬虫程序

随着ChatGPT的大火,越来越多的人习惯于用ChatGPT搞一些有趣的事。对于一个资深的爬虫程序来说,体验下ChatGPT做爬虫程序也是很有意思的事情。首先想想我们的问题域,我想到几个问题:不能用HTTP请求去爬,如果我直接用HTTP请求去抓的话,一个我要花太多精力在登录上了,而我的数据又不多,另一个,现在都是单页引用,你HTTP爬下来的根本就不对啊。所以最好是自动化测试的那种方式,启动浏览器去爬。但是我又不能保证一次把代码写成功,反复登录的话,会被网站封号,就几个数据,不值当的。所以总的来说我需要一个这样的流程:从流程上我们是不是可以看出,这个流程跟我们用WebConsole试验一段代码的