我有一个脚本可以获取几个网页并解析信息。

(一个例子可以在 http://bluedevilbooks.com/search/?DEPT=MATH&CLASS=103&SEC=01 看到)

我在上面运行了 cProfile，正如我所假设的，urlopen 占用了很多时间。有没有办法更快地获取页面？或者一次获取多个页面的方法？我会做任何最简单的事情，因为我是 Python 和 Web 开发的新手。

提前致谢! :)

更新:我有一个名为 fetchURLs() 的函数，我用它来制作我需要的 URL 数组
所以类似 urls = fetchURLS() .URL 都是来自 Amazon 和 eBay API 的 XML 文件(这让我很困惑，为什么加载需要这么长时间，也许我的网络主机很慢？)

我需要做的是加载每个 URL，读取每个页面，并将该数据发送到脚本的另一部分，该部分将解析和显示数据。

请注意，在获取所有页面之前，我无法执行后一部分，这就是我的问题。

另外，我相信，我的主机一次将我限制为 25 个进程，因此服务器上最简单的方法都很好:)

这是时间:

Sun Aug 15 20:51:22 2010    prof

         211352 function calls (209292 primitive calls) in 22.254 CPU seconds

   Ordered by: internal time
   List reduced from 404 to 10 due to restriction <10>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       10   18.056    1.806   18.056    1.806 {_socket.getaddrinfo}
     4991    2.730    0.001    2.730    0.001 {method 'recv' of '_socket.socket' objects}
       10    0.490    0.049    0.490    0.049 {method 'connect' of '_socket.socket' objects}
     2415    0.079    0.000    0.079    0.000 {method 'translate' of 'unicode' objects}
       12    0.061    0.005    0.745    0.062 /usr/local/lib/python2.6/HTMLParser.py:132(goahead)
     3428    0.060    0.000    0.202    0.000 /usr/local/lib/python2.6/site-packages/BeautifulSoup.py:1306(endData)
     1698    0.055    0.000    0.068    0.000 /usr/local/lib/python2.6/site-packages/BeautifulSoup.py:1351(_smartPop)
     4125    0.053    0.000    0.056    0.000 /usr/local/lib/python2.6/site-packages/BeautifulSoup.py:118(setup)
     1698    0.042    0.000    0.358    0.000 /usr/local/lib/python2.6/HTMLParser.py:224(parse_starttag)
     1698    0.042    0.000    0.275    0.000 /usr/local/lib/python2.6/site-packages/BeautifulSoup.py:1397(unknown_starttag)

最佳答案

编辑 :我正在扩展答案以包含一个更精美的示例。我在这篇文章中发现了很多关于线程 vs. 的敌意和错误信息。异步 I/O。因此，我还添加了更多的论据来驳斥某些无效的主张。我希望这将帮助人们为正确的工作选择正确的工具。

这是对 3 天前问题的重复。

Python urllib2.open 很慢，需要更好的方法来读取几个 url_python_帮酷编程问答
Python urllib2.urlopen() is slow, need a better way to read several urls

我正在完善代码以展示如何使用线程并行获取多个网页。

import time
import threading
import Queue

# utility - spawn a thread to execute target for each args
def run_parallel_in_threads(target, args_list):
    result = Queue.Queue()
    # wrapper to collect return value in a Queue
    def task_wrapper(*args):
        result.put(target(*args))
    threads = [threading.Thread(target=task_wrapper, args=args) for args in args_list]
    for t in threads:
        t.start()
    for t in threads:
        t.join()
    return result

def dummy_task(n):
    for i in xrange(n):
        time.sleep(0.1)
    return n

# below is the application code
urls = [
    ('http://www.google.com/',),
    ('http://www.lycos.com/',),
    ('http://www.bing.com/',),
    ('http://www.altavista.com/',),
    ('http://achewood.com/',),
]

def fetch(url):
    return urllib2.urlopen(url).read()

run_parallel_in_threads(fetch, urls)

In [274]: %time run_parallel_in_threads(dummy_task, [(0,)]*5)
CPU times: user 0.00 s, sys: 0.00 s, total: 0.00 s
Wall time: 0.00 s
Out[275]: <Queue.Queue instance at 0x038B2878>

In [276]: %time run_parallel_in_threads(dummy_task, [(0,)]*500)
CPU times: user 0.16 s, sys: 0.00 s, total: 0.16 s
Wall time: 0.16 s

In [278]: %time run_parallel_in_threads(dummy_task, [(10,)]*500)
CPU times: user 1.13 s, sys: 0.00 s, total: 1.13 s
Wall time: 1.13 s       <<<<<<<< This means 0.13s of overhead

0.75 s
0.38 s
0.59 s
0.38 s
0.62 s
1.50 s
0.49 s
0.36 s
0.95 s
0.43 s
0.61 s
0.81 s
0.46 s
1.21 s
2.87 s
1.04 s
1.72 s

关于python - 如何在 python 中使用 urllib2 加快获取页面的速度？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3490173/