我在DNN网站上为博客、新闻文章等使用EasyDNN新闻模块。核心DNN站点地图不包含此模块生成的文章，但模块会创建自己的站点地图。例如:domain.com/blog/mid/1005/ctl/sitemap当我尝试将此站点地图提交给Google时，它​​说我的Robots.txt文件阻止了它。查看DNN附带的Robots.txt文件，我注意到Slurp和Googlebot用户代理下的以下几行:Disallow:/*/ctl/#Slurppermits*Disallow:/*/ctl/#Googlebotpermits*我想提交模块的站点地图，但我想知道为什么这些用户代理不允许/ct

我希望禁止我的根文件夹中的子目录，但允许其中的文件夹。我有什么:User-Agent:*Disallow:/admin我想允许/admin/images这可能吗？ 最佳答案 试试这个。在robots.txt测试器中试一试，以避免任何负面影响。Allow:/admin/images/Disallow:/admin/ 关于seo-Robots.txt不允许子目录但允许其中的文件夹，我们在StackOverflow上找到一个类似的问题： https://stacko

我正在这个网站上工作:www.pjarchitects.com。这是一个Wordpress版本。当网站最初上线时，我选中了“阻止搜索引擎索引该网站”框。它现在未选中，我希望我的网站被谷歌抓取并编入索引，但在搜索谷歌时我仍然收到此消息“由于该网站的robots.txt，此结果的描述不可用-了解更多。”我的网站通过了网站站长工具中的robots.txt测试程序。是否有一定的时间我需要等待(已经一天了)还是有其他原因导致了这个问题？ 最佳答案 他们重新抓取robots.txt大约需要24小时，但实际SERP(搜索引擎结果页面)中的文本更新

我正在尝试让描述显示在http://www.pjarchitects.com/的搜索结果中我查看了网站站长工具，它通过了robots.txt测试，但我仍然收到这条消息“由于该网站的robots.txt，此结果的描述不可用–了解更多。”我的head标签中有什么东西可能会导致这种情况吗？ 最佳答案 robots.txt由谷歌缓存，因此您在网站管理员工具中看到的内容可能是实时的，但您需要等待谷歌catch。看起来不会太长，因为您网站的其他页面现在显示正常。 关于seo-谁能告诉我为什么我的网站

我在Heroku上运行我们的生产和测试站点。我有一个robots.txt和站点地图，我只想在生产时运行(这样谷歌就不会开始抓取我们的测试站点并在真实站点上惩罚我们的重复内容)。最简单的解决方案是将if语句添加到urls.py以在测试站点上不包含/robots.txt和/sitemap.xml。但是，我不知道该怎么做。我可以在我的测试站点上包含一个不同的robots.txt文件，该文件不允许抓取任何页面，这似乎是一个不错的解决方案。但是，随着我们添加更多类型的站点地图等，在urls.py中使用一个if/else语句会更容易。谁有解决这个问题的优雅方法？ 最佳答

我有一个系统可以在一个文件结构下处理多个域，每个域都需要不同的站点地图和robots.txt。对于站点地图，我设置了一个重定向，我知道它运行良好。我想确认robots.txt也可以吗？我在.htaccess中添加了一个重写规则，将用户重定向到一个php页面。在这个php页面上，我找到了域用户拥有的内容，并使用文本标题打印出正确的信息。这是允许的吗？额外信息:我有一个由domainA和domainB使用的codeigniter应用程序。domainA应该看到domainA的机器人，domainB应该看到domainB的机器人。如果我要在网站的根目录中创建robots.txt，domain

我安装了Magento，我想从Google抓取中排除privacy-policy-cookie-restriction-mode页面。在我的robots.txt中，我设置了以下代码:Disallow:/enable-cookies/Disallow:/customer-service/Disallow:/privacy-policy-cookie-restriction-mode/当我使用SemRush分析我的网站时，我得到了此页面的重复内容，并且禁止指令似乎不起作用。有什么建议吗？ 最佳答案 看看这个Google帮助页面:http

目前我的robots.txt如下#SitemapsSitemap:http://www.baopals.com.com/sitemap.xml#DisallowselectURLsUser-agent:*Disallow:/admin/Disallow:/products/我的产品有很多重复的内容，因为我从taobao.com提取数据并自动翻译它，导致大量重复和低质量的名称，这就是为什么我只是禁止整个事情。但是我手动更改某些产品的标题并将它们重新保存到数据库并在主页上展示它们并进行适当的翻译它们仍然会保存回/products/并在我删除时永远丢失他们来自主页。我想知道是否可以让我保存到

例如，如果这是在Apache设置中设置的:HeadersetX-Robots-Tag"noindex,nofollow"这是在robots.txt文件中设置的:User-agent:*Allow:/哪个优先？ 最佳答案 这些是不同的说明，因此您的查询无效。这里robots.txt文件允许抓取，x-robots-tag控制索引。虽然如果您展示了具有相同指令但格式不同的内容，那么(至少对于googlebot)会注意到限制性最强的内容。 关于seo-X-Robots-TagHTTPheader

我有许多包含60多个链接的页面需要一个元标记:这些页面上的几个链接(每页1-3个)应该具有机器人的“跟随”属性。我读到将此结构与上述结构一起使用将无效:是否可以在不将元标记更改为“follow”并为60多个链接中的每一个添加属性rel="nofollow"的情况下为这些链接设置异常(exception)？ 最佳答案 不，那是不可能的(除非你想使用“hacks”，比如对包含不应属于nofollow的链接的部分使用iframe).根据定义，元标记(即具有name属性的meta元素)适用于整个文档。如果有follow(或类似的)链接类型，