是否可以将SEO标签(例如“noodp”)添加到robots.txt文件而不是使用标签？我试图避免弄乱我们的CMS模板，尽管我怀疑我可能不得不...我可以尝试类似的东西吗...User-Agent:*Disallow:/hiddenSitemap:www.example.comnoodp:我认为robots.txt优先于元标记？例如，对于noindex，爬虫甚至不会看到有问题的页面。然而，对于像noodp这样的东西，情况仍然如此吗？ 最佳答案 您不能使用robots.txt执行此操作，但使用theX-Robots-Tagrespon

有人知道这是什么吗？我在我的robots.txt中找到了这个。这是某种加密字符吗？Disallow:/azr94v2hh2lg/ 最佳答案 Isthissomekindofencryptedcharacters?不，robots.txt不支持加密。显然，它的目的是成为一个不存在的URL，以抵消一些网络爬虫在多年前就应该出现的错误。我不知道这个的原始来源是什么，它完全有可能不再在线，但这里有一个关于这个问题的来源，它反过来引用了另一个似乎不再有这个内容的网站。摘自http://seoserviceguide.com/what-is-i

我有一个用CodeIgniter构建的网站，我正在尝试使用Google的网站管理员工具，它告诉我设置一个robots.txt文件。我希望谷歌索引整个网站，但不一定是组成该网站的文件。所以我不想很好地查看/system/文件或/application/config/文件，但我确实希望每个页面都被索引。我应该列出Google不索引的每个文件，还是告诉它全部索引或告诉它什么都不索引？谢谢! 最佳答案 Google只会看到您网站提供的页面/URL。因此，您不会阻止文件，而是阻止页面。因此，您的robots.txt应该包含您不想编入索引的网址

我想开始在营销事件中使用特定的着陆页。在谷歌上快速搜索显示如何使用robots.txt文件禁止特定页面和/或目录。(link)如果我不希望搜索引擎将这些着陆页编入索引，我应该在robot.txt文件中放置一个页面条目，还是应该将它们放在特定目录中并禁止该目录？我担心的是，任何人都可以阅读robots.txt文件，如果在robots.txt文件中可以看到实际的页面名称，那就达不到目的了。 最佳答案 “它违背了目的。”为何如此？robots.txt的目的是防止爬虫读取特定文件或文件组。就爬虫的行为而言，无论是排除单个文件还是将它们全部放

如果我想让搜索引擎遵循我的robots.txt规则，我有点困惑是否应该删除robots元标记。如果页面上存在机器人元标记(索引、跟随)，搜索引擎是否会忽略我的robots.txt文件并在我的robots.txt中索引指定的不允许的URL？我问这个问题的原因是，搜索引擎(主要是Google)仍在索引我网站上不允许的页面。 最佳答案 如果搜索引擎的漫游器支持您的robots.txt，而您禁止抓取/foo，那么漫游器将永远不会抓取URL路径以/foo开头的页面.因此，机器人永远不会知道有meta-robots元素。相反，这意味着如果您想禁

我已经添加了robots.txt文件并添加了一些行来限制某些文件夹。我还添加了所有限制以使用.htaccess文件访问该robots.txt文件。搜索引擎可以读取该文件的内容吗？ 最佳答案 这个文件应该是可自由阅读的。搜索引擎就像您网站上的访问者。如果访问者看不到这个文件，那么搜索引擎也将看不到它。绝对没有理由试图隐藏这个文件。 关于.htaccess-如果读取权限受限，搜索引擎能否读取robots.txt？，我们在StackOverflow上找到一个类似的问题：

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我的公司给了我一个PDF，该PDF已经被掌握、打包等。当然，他们没有做的一件事是在他们为自己设置的2"正方形广告空间上添加一个链接热点。我很难想象人们有规律地点击PDF中的链接，但找不到任何知识来支持它。搜索有什么好处吗？截至目前，这个链接版本唯一存在的地方是在网站上广告本身链接到。谢谢。

我已禁止某些页面对所有抓取工具使用robots.txt。我是否必须为这些文件编写元标记，或者网络爬虫会跳过它们，所以没有必要这样做？ 最佳答案 如果您要限制的爬虫遵守robots.txt那么您没问题，但如果它不遵守，那么您可能就完蛋了，因为它很可能也会忽略meta。所有主要的搜索引擎爬虫都会遵守它，所以您可能没问题。 关于seo-robots.txt禁止属性，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.c

我的网站上有各种分页，我想阻止谷歌和其他搜索引擎抓取我的分页索引。抓取页面示例:http://www.mydomain.com/explore/recently-updated/index/12如何使用robots.txt拒绝机器人抓取任何包含/index/的页面？ 最佳答案 Disallow:/*?page=Disallow:/*&page= 关于seo-如何使用robots.txt阻止机器人抓取分页？，我们在StackOverflow上找到一个类似的问题：

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我的客户有这个“基于PDF的”网站。它基本上没有内容，因为每篇文章都有一个PDF附件，通过GoogleDocsEmbed呈现给用户。所以归根结底，谷歌几乎没有什么可以索引的，因此他的网站在搜索引擎上的排名不高。所以我的问题是-我知道如果隐藏内容相对于网站上的其他内容而言，Google在某种程度上是可以接受的。所以我的想法是通过PHP从PDF中提取内容并将其隐藏在网站上显示。但是，如果那里实际上没