草庐IT

destitution

全部标签

seo - GoogleBot 非常频繁地抓取导致服务器过载

我的网站有大约500.000页。我制作了sitemap.xml并在其中列出了所有页面(我知道每个文件限制50.000个链接,所以我有10个站点地图)。无论如何,我在webmastertool中提交了站点地图,一切似乎都正常(没有错误,我可以看到提交和索引链接)。Hoverer我经常遇到蜘蛛网问题。GoogleBot每天抓取同一页面4次,但在sitemap.xml中我告诉该页面每年都会更改。这是一个例子http://www.domain.com/destitution2015-01-01T16:59:23+02:00yearly0.11)那么如何告诉GoogleBot不要过于频繁地抓取,