我的robots.txt看起来像这样:User-agent:*Disallow:/adminDisallow:/testUser-Agent:GooglebotDisallow:/maps现在Google忽略用户代理*部分，只遵守特定的Googlebot指令(/maps)。这是正常行为吗？不应该也遵守useragent*指令(/admin、/test)吗？必须为每个用户代理添加每一行似乎很奇怪？ 最佳答案 没关系，谷歌是这样说的:Eachsectionintherobots.txtfileisseparateanddoesnotbu

我想禁止我的文件夹/search中的所有子目录，但允许索引搜索文件夹本身(我在/search上有内容)。测试这不起作用:User-Agent:*Allow:/search/Disallow:/search/* 最佳答案 您的代码看起来是正确的。尝试稍微调整一下Allow:User-Agent:*Disallow:/search/*Allow:/search/$ 关于seo-robots.txt:如何禁止所有子目录但允许父文件夹，我们在StackOverflow上找到一个类似的问题：

我目前正在编写我的robots.txt文件，但在决定是否允许或禁止某些文件夹用于SEO时遇到了一些问题。这是我的文件夹:/css/(CSS)/js/(javascript)/img/(我在网站上使用的图片)/php/(PHP将返回一个空白页面，例如检查电子邮件地址的checkemail.php或将数据放入SQL数据库并发送电子邮件的register.php)/error/(我的错误401,403,404,406,500html页面)/include/(我包含的header.html和footer.html)我正在考虑只禁止PHP页面，让其余的。你怎么看？非常感谢劳伦特

我有一个小型magento网站，其中包含页面URL，例如:http://www.example.com/contact-us.htmlhttp://www.example.com/customer/account/login/但是我也有包含过滤器(例如价格和颜色)的页面，两个这样的例子是:http://www.example.com/products.html?price=1%2C1000http://www.example.com/products/chairs.html?price=1%2C1000问题是，当Google机器人和其他搜索引擎机器人搜索该站点时，它基本上会停止运行，因

我如何告诉爬虫/机器人不要索引任何具有/node/模式的URL？以下是从第一天开始的，但我注意到谷歌仍然索引了很多网址/node/在其中，例如www.mywebsite.com/node/123/32不允许:/node/是否有任何声明不索引任何具有/node/的URL我应该写如下内容吗:不允许:/node/*更新:真正的问题是尽管:不允许:/节点/在robots.txt中，Google已将此URL下的页面编入索引，例如www.mywebsite.com/node/123/32/node/不是物理目录，这是drupal6显示其内容的方式，我想这是我的问题，节点不是目录，只是drupal为

我正在尝试在我正在运行的应用程序上运行SEO工具包IIS扩展，但我不断收到以下错误:TherequestisdisallowedbyaRobots.txtrule现在我已经在应用程序和根网站中编辑了robots.txt文件，因此它们都具有以下规则:User-agent:*Allow:/但这没有任何区别，工具包仍然无法运行。我什至尝试删除两个robots.txt文件，但仍然没有任何区别。有谁知道seo工具包无法运行的其他原因或如何解决这个问题？ 最佳答案 为了允许所有机器人完全访问，我建议使用以下语法(根据robotstxt.org)

我有一个用户无法登录的公共(public)页面。所以我有一个没有链接的网址，您必须手动输入然后登录。但是，该url是多语言的，因此它可以是“/SV/Account/Logon”或“/EN/Account/Logon”等。我可以禁用此url以针对所有语言编制索引吗？ 最佳答案 此网址可能对您有帮助http://www.robotstxt.org/robotstxt.html.在您的情况下不会排除通配符，您必须在robot.txt中添加所有特定于语言的登录url更新您可以将Disallow:/folder/subfolder/或Disa

我有一个问题我有域名例如www.testing.com和new.testing.com所以我不想在任何搜索引擎中显示new.testing.com.我在new.testing.com中添加了一个robots.txt。并且两个站点都有相同的父目录--httpdoc----testing.com----new.testing.com所以我想知道我可以使用testing.com的一个robots.txt来处理这两个站点吗？？？如果可能，请给我建议解决方案。 最佳答案 最好的办法是添加单独的robots.txt文件。每个目录放一个。你应该有

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion我一直在考虑是否禁止除Ask、Google、Microsoft和Yahoo!之外的所有抓取工具!来self的网站。这背后的原因是我从未见过任何其他网络爬虫产生的流量。我的问题是:有什么理由不这样做吗？有人做过吗？您是否注意到任何负面影响？更新:到目前为止，我使用的是黑名单方法:如果我不喜欢爬虫，我将它们添加到禁止列表中。然而，我不喜欢列入黑名单，因为这是一个永无止境的故事:那里总是有更多的爬虫

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion想知道以下是否适用于robots.txt中的google不允许:/*.action我需要排除所有以.action结尾的网址。这是正确的吗？