如果我有一个名为http://example.com的网站，在它下面我有文章，例如:http://example.com/articles/norwegian-statoil-ceo-resigns基本上，我不希望首页中的文本显示在Google搜索结果中，因此当您搜索“statoilceo”时，您只会得到文章本身，而不是包含此文本但不包含该文本的首页文章本身。 最佳答案 如果您这样做了，那么Google仍然可以显示您的主页，并在链接下方显示一条注释，说明他们无法抓取该页面。这是因为robots.txt不会阻止页面被索引。您不能为主页

我使用谷歌网站管理员验证了我的网站。我在Wordpress中制作了我的网站，并且还添加了robots.txt。现在谷歌在DNS和服务器连接上显示绿色勾号标记，但在robots.txt提取上显示黄色警告标记..我的robots.txt文件是这样的:robotsfile此外，当我在网站管理员中运行robots.txt测试时，它会给出允许的结果。我的网站甚至没有被谷歌搜索到。当我在网站管理员中提交我的网站时，它没有显示错误，但现在显示了。请帮助解决这个问题。 最佳答案 如果您使用wordpress制作您的网站它会自动为你生成一个robot

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭5年前。Improvethisquestion我的网站上有大约100个页面，我不想在google中编入索引...有什么方法可以使用robots.txt来阻止它...编辑每个页面会非常烦人并添加noindex元标记....我想阻止的所有url都像...www.example.com/index-01.htmlwww.example.com/index-02.htmlwww.example.com/index-03.htmlwww.exam

这个问题在这里已经有了答案:HowdoIdisallowspecificpagefromrobots.txt(4个答案)关闭5年前。我正在尝试为网页设置robot.txt，但在测试时禁止不起作用想要屏蔽感谢页面http://designs.webelevate.net/wordpress/index.php/contact-thank-page/使用代码不允许:/index.php/contact-thank-page/有什么建议吗？

在过去的几周里，Google一直在报告SearchConsole中的一个错误。越来越多的我的页面不允许抓取-覆盖率报告说:提交的URL被robots.txt阻止。如您所见，我的robots.txt非常简单，为什么大约20%的页面会出现此错误，我迷失了......User-agent:*Disallow:/cgi-bin/Allow:/Sitemap:https://www.theartstory.org/sitemapindex.xmlHost:https://www.theartstory.org显示错误的示例页面:https://www.theartstory.org/moveme

关闭。这个问题不满足StackOverflowguidelines.它目前不接受答案。想改善这个问题吗？更新问题，使其成为on-topic对于堆栈溢出。8年前关闭。Improvethisquestion我以前从未使用过CMS，也从未建立过电子商务网站，因此我对此有几个问题并选择一个:我的背景:我不是程序员:我是一名设计师，我精通使用HTML和CSS，并且有一些使用和“tweeking”一些Jquery插件(例如slider、图片查看器)以在我的标记中使用的经验。我需要帮助选择合适的CMS来为一家非常小的商店构建电子商务网站，我选择的CMS必须满足以下要求:1)最重要的是:网站必须对使用

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion我有一个水平顶部导航栏，其中包含指向我网站页面的菜单和子菜单链接。这些包含在我的母版页和资源文件中。我还有一个垂直菜单，其中包含指向相同页面的相同链接。我的页脚也有一些链接(法律、联系等)。我将网站设置成这样的原因是因为我的许多客户都是年长的工程师，他们对互联网不太了解，这使得网站对于这些类型的观众来说“更易于浏览”。也许这张照片会让事情更清楚:我的问题是，我是否会因为“重复内容”或“重复链接

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我有一个CMS，它经过改造并且所有URL都已更改。但在谷歌搜索中，它显示了所有现在不活跃的旧网址。我怎样才能从谷歌搜索中删除这些索引页面。有什么方法可以通过网站管理员工具执行此操作吗？

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭9年前。Improvethisquestion我只是想知道在cms系统中，关于seo和其他东西，在诸如example.com/article/the-article-name与使用文章ID，例如example.com/article/view/3

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭9年前。Improvethisquestion我在google的结果页面中注意到，我网站的列表详细信息(即链接下方)显示的内容仅在页面加载功能期间生成。这让我感到惊讶，因为我认为谷歌不会索引JS生成的内容。后来遇到了thispost展示了一种使用angularjs指令(仅在加载期间解释)创建标题和元描述标签的方法!那么这真的有效吗？如果确实如此，我也将不胜感激，并且谷歌确实在运行其onload后对该页面进行了索引。谢谢!