Facebook的网络爬虫机器人是否尊重Crawl-delay:robots.txt文件中的指令？ 最佳答案 不，它不尊重robots.txt与这里的其他答案相反，facebookexternalhit的行为就像最卑鄙的爬虫。当它以疯狂的速度遍历每一个时，无论它从爬行还是从点赞按钮获得它请求的url都无关紧要。有时我们每秒会获得数百次点击，因为它几乎遍历了我们网站上的每个网址。它每次都会杀死我们的服务器。有趣的是，当这种情况发生时，我们可以看到Googlebot放慢速度并等待事情稳定下来，然后再慢慢恢复。另一方面，facebooke

我有一个正在运行的安全链接方向服务(expiringlinks.co)。如果我更改php中的header以重定向我的访问者，那么当用户通过facebook相互发送链接时，facebook能够显示我重定向到的网站的预览。我希望避免这种情况。现在，我正在使用AJAX调用来获取要重定向的URL和javascript，但这会给不使用javascript的用户带来问题。这里有很多我想阻止facebook的方法，但我似乎无法工作:我试过阻止facebook机器人(facebookexternalhit/1.0和facebookexternalhit/1.1)，但它不起作用，我认为他们没有使用它们来