我安装了Magento，我想从Google抓取中排除privacy-policy-cookie-restriction-mode页面。在我的robots.txt中，我设置了以下代码:Disallow:/enable-cookies/Disallow:/customer-service/Disallow:/privacy-policy-cookie-restriction-mode/当我使用SemRush分析我的网站时，我得到了此页面的重复内容，并且禁止指令似乎不起作用。有什么建议吗？ 最佳答案 看看这个Google帮助页面:http

robots.txt文件中有两行:Disallow:/messagesDisallow:/qanda/edit//messages指向什么路径？/qanda/edit/呢？第二条路径末尾的/是不是没用了？还是有特定的含义？或者让我这样问:论文的确切含义是什么？Disallow:/messagesDisallow:/messages/ 最佳答案 Disallow值表示URL路径的开头。不允许:/messages会阻止像这样的URL:https://example.com/messageshttps://example.com/mess

目前*.domain.com显示与domain.com相同的内容，并在内部指向相同的文档根目录，如何阻止SE索引子域？ 最佳答案 您的子域如何使用呈现不同的robots.txt文件User-agent:*Disallow:/ 关于seo-如何禁止使用robots.txt为所有子域编制索引？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/11515599/

我有一个包含大量新闻的新闻聚合网站...如果主页上的单个新闻有文本，则该链接会重定向到源站点www.site.com/red/23545，但如果同一新闻没有任何文本，只有标题，那么它会获得此链接这不是重定向，而是转到我网站上的另一个页面www.site.com/23545/some_news_title因此，相同的新闻可以在某些页面上带有文本，然后在源页面或某些只有标题的页面上被重定向，并获得指向站点内页面的正常链接。问题是谷歌正在索引重定向链接(www.site.com/red/23545)。我加了Disallow:/red/到我的robots.txt我也加了rel="nofollo

我可以使用通配符对爬虫隐藏特定文件夹吗？User-agent:*Disallow:/system/Disallow:/v*我想隐藏所有以“v”字符开头的文件夹。它会这样工作吗？ 最佳答案 为此您根本不需要通配符。您的示例可以工作，但如果没有通配符，它​​也能正常工作。尾随通配符没有任何用处。例如，这个:Disallow:/x表示:“阻止任何以‘/x’开头，后跟零个或多个字符的路径。”还有这个:Disallow:/x*表示:“阻止任何以‘/x’开头，后跟零个或多个字符，再后跟零个或多个字符的路径。”这是多余的，它会阻止第一个阻止的所有

我正在为我的在线商店使用Wordpress和WooCommerce。使用我正在使用的主题，您可以通过添加“block”来自定义产品类别页面。因此，如果我想在产品类别页面的顶部显示文本，我只需创建一个block页面，假设它称为“类别信息”。我可以像普通Wordpress页面一样自定义此block。该block将在http://example.com/block/category-info/下可用-但没有人会自行访问该block站点，因为该block已集成到产品类别页面中。最后我可以在我的产品类别设置中填写block的名称，之后block的内容将显示在产品类别页面上。我的问题是我应该怎么做

我想禁止特定网址中的所有参数。如果我添加这条规则:Disallow:/*?*它适用于所有url我想做什么:Disallow:/my-specific-url/*?*但根据Google网站管理员工具，此规则不起作用。 最佳答案 您的示例看起来应该可以正常工作，但您确实需要包含User-agent行。以下robots.txt文件:User-agent:*Disallow:/my-specific-url/*?*将阻止以下URL:http://example.com/my-specific-url/?http://example.com/

我想开始在营销事件中使用特定的着陆页。在谷歌上快速搜索显示如何使用robots.txt文件禁止特定页面和/或目录。(link)如果我不希望搜索引擎将这些着陆页编入索引，我应该在robot.txt文件中放置一个页面条目，还是应该将它们放在特定目录中并禁止该目录？我担心的是，任何人都可以阅读robots.txt文件，如果在robots.txt文件中可以看到实际的页面名称，那就达不到目的了。 最佳答案 “它违背了目的。”为何如此？robots.txt的目的是防止爬虫读取特定文件或文件组。就爬虫的行为而言，无论是排除单个文件还是将它们全部放

我已禁止某些页面对所有抓取工具使用robots.txt。我是否必须为这些文件编写元标记，或者网络爬虫会跳过它们，所以没有必要这样做？ 最佳答案 如果您要限制的爬虫遵守robots.txt那么您没问题，但如果它不遵守，那么您可能就完蛋了，因为它很可能也会忽略meta。所有主要的搜索引擎爬虫都会遵守它，所以您可能没问题。 关于seo-robots.txt禁止属性，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.c

我正在制作我的robots.txt文件。但是我对如何禁止Googlebot-Image有点不安全。我想允许Google机器人抓取我的网站，但我在下面做出的禁止除外。这是我做的:User-agent:GooglebotDisallow:Disallow:/courses/Disallow:/portfolio/portfolio-template.php/User-agent:Googlebot-ImageDisallow:/images/graphics/erhvervserfaring//images/graphics/uddannelse/sitemap:http://www.ex