案例如下:User-agent:*Disallow:/User-agent:GooglebotDisallow:/test在这种情况下，Googlebot是否能够完成它的工作？我想也许是因为该文件只指定不允许对Googlebot进行/test，所以Googlebot可以在除/test之外的其他目录上执行它们的工作？ 最佳答案 问题:在这种情况下，Googlebot是否能够完成它的工作？回答:不是这种情况User-agent:*Disallow:/问题:我想也许是因为该文件只指定不允许对Googlebot进行/test，所以Googl

我有一个关于SEO、Robots.txt和wordpress的问题这是我的robots.txt的样子:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/feedDisallow:/*/feedDisallow:/wp-login.phpDisallow:/tagDisallow:/trackbackDisallow:/*?*Disallow:/archive/Disallow:/rss/Disallow:/about/trac

我有一个关于Google抓取的页面数量的“双重”问题，它可能与可能的重复内容(或不重复)以及对SEO的影响有关。关于我的页面数量和被Google抓取的页面的事实我在两个月前推出了一个新网站。今天，它有近150页(每天都在增加)。无论如何，这是我的站点地图中的页面数。如果我查看Google网站管理员的“抓取统计信息”，我可以看到Google每天抓取的页面数量要大得多(见下图)。我不确定它是否真的好，因为它不仅让我的服务器更忙(一天下载903页5.6MB)，而且我担心它也会产生一些重复的内容。我在Google(site:mysite.com)上查看过，它给了我1290页(但只有191页显示

我有以下具有相同内容的URL:http://www.mysite.com/forum/viewthread.php?thread_id=39&pid=1349http://www.mysite.com/forum/viewthread.php?forum_id=2&thread_id=39目前这是一个SEO明智的问题。我可以通过简单地将此添加到我的robots.txt来解决我的SEO问题吗:不允许:/forum/viewthread.php?forum_id=*&还是这不会解决任何问题？ 最佳答案 要回答是的问题，您可以使用robo

关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion我不想在搜索结果列表中看到Robots.txt。我正在处理一个asp.net项目。我发现了一些失败的解决方案，其中之一如下:Using"X-Robots-Tag"inheader.但我想隐藏一个txt文件，所以里面没有“标题”部分。感谢您的帮助。

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎不是关于aspecificprogrammingproblem,asoftwarealgorithm,orsoftwaretoolsprimarilyusedbyprogrammers的.如果您认为这个问题是关于anotherStackExchangesite的主题，您可以发表评论，说明问题可能在哪里得到解答。关闭6年前。Improvethisquestion基本上，Google正在尝试为成千上万篇看起来像这样的文章编制索引:/questions/are-eggs-bad-for-you?

robots.txt中的这两行是否会成功阻止google将具有如下url的页面编入索引:http://www.domain-name.com/产品标签/...User-agent:*Disallow:/product-tag/Disallow:/product-tag/*因为我在谷歌索引这些页面时遇到问题，我找不到其他方法来阻止它。在搜索引擎中看到robots.txt中的更改需要多长时间？ 最佳答案 Robots.txt将阻止Google抓取您的网站。不一定来自索引它。特别是如果它已经将其编入索引，则不会将其删除。您应该改为添加me

我对这个机器人文件有一些疑问。User-agent:*Disallow:/administrator/Disallow:/css/Disallow:/func/Disallow:/images/Disallow:/inc/Disallow:/js/Disallow:/login/Disallow:/recover/Disallow:/Scripts/Disallow:/store/com-handler/Disallow:/store/img/Disallow:/store/theme/Disallow:/store/StoreSys.swfDisallow:config.php这将禁

我试图禁止网站的某些部分而不是整个网站。我对此比较陌生，所以如果有人指导我完成它，我将不胜感激。我知道您可以Disallow:/page1.cfmfromcrawlers但如果我只想禁止该页面的一部分，例如该页面上存在的链接或联系表怎么办？这个功能甚至可能吗？根据我最近阅读的一些论坛，“nofollow”功能不再有效，因为爬虫变得越来越聪明。(我不知道那个论坛的可信度如何，所以如果有人有更好的来源请分享)有什么建议吗？ 最佳答案 不要使用nofollow，你会在你的页面上丢失linkjuice。Robots.txt只是对爬虫的提示，

我有一些页面，比如/hidden_​​archive，没有被任何其他页面引用。我在robots.txt的下一行中包含Allow:/hidden_​​archive。搜索爬虫会索引该页面吗？ 最佳答案 我会说:不。为什么不能在页面上添加一些链接？没有人声称它们必须对人类可见... 关于seo-Google和Yandex索引是否存在路径，如果我在robots.txt中允许它，但其他页面不包含其中的链接，我们在StackOverflow上找到一个类似的问题： htt