我刚刚更改了DNS设置，因此文件夹/forum现在是一个子域而不是子目录。如果我做一个robots.txt文件并说:User-agent:*Disallow:/forum这会禁止抓取子目录和子域吗？我想禁止抓取子目录，但允许抓取子域。注意:这是在共享主机上，因此可以访问子目录和子域。这就是我遇到这个问题的原因。那么，我怎样才能只允许抓取子域？ 最佳答案 如果你想停止抓取，这是正确的方法。但请注意:如果URL已被编入索引，则不会被删除。我更喜欢的方式是通过元标记将所有页面设置为“noindex/follow”，或者更好的是“canon

我们有一个大约有15000页的应用程序。为了更好的SEO原因，我们不得不更改URL。谷歌之前已经抓取了所有这些页面，并且由于更改，我们在网站管理员上看到了很多重复的标题/元描述。我们对谷歌的印象下降了，我们相信这就是原因。如果我的假设不正确，请纠正我。现在我们无法使用301重定向为URL的更改编写正则表达式，因为更改就是这样。唯一的方法是为单个URL编写301重定向，这对于10000个URL是不可行的。现在我们可以使用带有NOINDEX的机器人元标记吗？我的问题基本上是，如果我写一个NOINDEX元标记，Google会删除已经编入索引的URL吗？如果不是，还有哪些其他方法可以从goog

我想阻止谷歌抓取我的整个网站-除了站点地图，我可以用它来告诉谷歌优先级和最后更改等。这是一个坏主意吗？我如何在robots.txt中执行此操作？ 最佳答案 如果您在Google抓取工具中关闭了全部内容，那么Google也不会抓取Sitemap.xml。谢谢 关于seo-使用robots.txt仅抓取我的站点地图，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/12902568/

我已经使urlSEO友好，即http://mydomain.com/topic/title-of-page之前，上面页面的url是http://mydomain.com/search?id=6567889现在Google仍在搜索结果中显示第二个URL。我的问题是，如果我在robots.txt中禁止使用/search，Google会完全停止抓取该页面还是会继续抓取mydomain.com/topic/title-of-page即新URL？非常感谢您的帮助。抱歉URL中的空格，因为SO不允许我发布它们塞布 最佳答案 您会想立即解决这个问

收到来自谷歌网站管理员工具的通知，由于“无法访问的robots.txt”，谷歌爬虫机器人已停止抓取一个特定网站。不幸的是，除此之外，谷歌没有提供有关爬虫错误的任何其他详细信息。我有作为我的元标记之一包含在base.html模板中，我为每个Django应用程序都这样做，而且我的任何其他网站都没有这个问题。如果我错了请纠正我，但我也认为robots.txt不是谷歌索引你所必需的。我试图通过安装和配置django-robots(https://github.com/jezdez/django-robots)并将其添加到我的urlconf来解决:(r'^robots\.txt$',includ

我需要设置noindex，跟随到3个子域。我发现您可以在.htaccess中重写，但是您如何处理多个子域？我在服务器上没有看到子域的目录。这是我发现的。RewriteEngineonRewriteCond%{HTTP_HOST}^dev\.qrcodecity\.com$RewriteRule^robots\.txt$robots-dev.txt这会将robots.txt重定向到dev.qrcodecity.com的robots-dev.txt谢谢 最佳答案 您可以为所有选定的子域设置这样的规则:RewriteEngineonRew

例如，如果我想在我的页面上禁止以下路径:http://www.examplepage.com/en/testing但不仅是/en/版本，还有/da/、/de/等(你明白我的意思)。我将如何以最聪明的方式做到这一点？无需为每种语言的相同页面编写禁止。我试过:不允许:/*/testing和不允许:/*测试但我发现它也不允许其他页面，例如:http://www.examplepage.com/en/news-page/testing等等它应该只禁止我在帖子开头指定的路径。 最佳答案 在robots.txt中使用占位符/正则表达式非常有限且

真的很郁闷。是因为技术错误还是谷歌的缓存效应？我还要再等几天吗？自昨晚以来，我已经多次将我的机器人文件和站点地图更新到Google网站管理员工具。但是每次我重新提交站点地图时，它总是说:Sitemapcontainsurlswhichareblockedbyrobots.txt.似乎站点地图中的所有URL都被阻止了。示例:http://janwawa.com/enhttp://janwawa.com/en/http://janwawa.com/en/album这是我的机器人文件User-agent:*Disallow:/admin/Disallow:/cgi-bin/Disallow:

我的网站有一个页面，它在查询字符串中有两个参数。我不想在谷歌搜索中显示此页面。我把元标记如下:但它仍然显示缓存结果，我尝试谷歌网站管理员删除url。它删除请求的url但不停止索引url，我正在获取带有其他参数值的url。我不想在搜索时完全显示此页面。我看了removepagesfromgoogledynamicurl-robots.txt但我没有得到答案。谢谢 最佳答案 这是已知问题。在您完成所有建议的步骤后，即添加“noindex”元标记、在robots.txt中禁止它并从网站站长工具中的搜索中删除，可能需要几周时间，该页面才会从

遇到了wordpress站点元机器人标签的奇怪问题。所有页面都有以下元标记，我们似乎无法将其删除我们在“设置”>“阅读”>“搜索引擎可见性”中取消选中“阻止搜索引擎索引此网站”，但它什么也没做。我们正在使用YoastSEO插件，但即使禁用它，它仍然存在。事实上，我们已尝试禁用所有插件以检查没有任何干扰。我们设置了Robots.txt文件如下:User-agent:*Disallow:Sitemap:http://speysidedistillery.co.uk/sitemap.xml我不确定Robots.txt是否优先于机器人元标记，而且似乎没有明确的答案，据我所知，最严格的答案将优先