在我的网站上，我有一个购物车页面，即:http://www.example.com/cart和另一个卡通页面:http://www.example.com/cartoons。我应该如何在我的robots.txt文件中写入以仅忽略购物车页面？购物车页面不接受URL上的结尾斜杠，所以如果我这样做:Disallow:/cart，它也会忽略/cartoon。我不知道这是否可能，它会被蜘蛛机器人正确解析，比如/cart$。我不想强制Allow:/cartoon因为可能是另一个具有相同前缀的页面。 最佳答案 在originalrobots.tx

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭5年前。Improvethisquestion我有一个WordPress网站，其中有几篇博文具有表格数据。这个表格数据很重要，所以我一直在考虑构建一个插件来构建站点地图供客人引用，但我不确定是否有合适的解决方案来识别表格的名称或标题。在研究中，我阅读并理解titleattribute是globalattribute，这意味着您可以在所有元素上使用它:和:Thetitleattributerepresentsadvisoryinforma

我正在使用Heroku管道。所以当我推送我的应用程序时，它被推送到暂存应用程序https://appname.herokuapp.com/如果一切正确，我会将该应用程序推广到产品中。没有新的构建过程。这是第一次为暂存构建的应用程序。https://appname.com/问题在于，这会导致重复内容问题。网站是彼此的克隆。完全相同的。我想从Google索引和搜索引擎中排除登台应用。我想到的一种方法是使用robots.txt文件。为了让它工作，我应该这样写User-agent:*Disallow:https://appname.herokuapp.com/使用绝对路径，因为该文件将位于暂存

有人在我们的整个allow:/products/之后不小心添加了\n，弄乱了我们的robots.txt，总共大约有30.000页。错误出现在多语言网站上。这是我们的搜索控制台之一。我很快注意到错误并删除了它。我已经要求谷歌验证我的解决方案，但大约3个月后错误仍在增加。见下图:我能做些什么来加快这个过程吗？我已经开始验证了。 最佳答案 您的robots.txt无法访问。它被301重定向到https://www.unisgroup.nl/robots.txt/，这是目录，而不是文件-你看到尾部的斜杠了吗？Google正在寻找一个文件，找

我正在为我的网站制作一个robot.txt。任何人都可以告诉我我做得对吗？如果我错了，请告诉我如何以正确的形式书写。admincp、adminpp等是我的托管服务器中的文件夹:User-agent:*Disallow:/admincp/Disallow:/adminpp/Disallow:/Advertisewithus/Disallow:/ajax/Disallow:/banner/Disallow:/cont_img/Disallow:/corcel/Disallow:/css/Disallow:/fbold/Disallow:/images/Disallow:/img/Disal

我正在尝试学习如何使用代码启动器，但遇到了一个小问题。与大多数人第一次使用框架时一样，我也在写博客。我试图让我的View链接看起来像:http://localhost/blog/view/my-blog-post-title我已经做到了。但是当我接触到实际的View方法时，我遇到了问题。基本上我的博客帖子标题指的是我数据库中的第一条帖子记录。但实际标题看起来像我的博客，帖子标题。那么，当原始内容是我的博客，帖子标题时，如何从my-blog-post-title中获取id，以便我可以从数据库中提取该帖子？或者我应该只使用数字(我不想;_;)。 最佳答案

很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visitthehelpcenter.关闭9年前。我正在制作一个单页作品集，底部有一个联系表格/部分。在我的表格旁边，我列出了我可以提供的大部分服务。然而，这会产生许多相同类型的关键词，因此我开始想知道如何从搜索引擎中隐藏该部分。我的第一个想法是使用robots.txt，但如果您有更好的主意，请告诉我。谢谢

我在添加sitemap.xml时在我的Google网站站长工具中遇到了这个错误URLrestrictedbyrobots.txt在我的robots.txt中我有:User-agent:*Allow:/$Disallow:/它只是为了索引我的主页而不是所有网站。 最佳答案 为什么那里有$。为什么Disallow:/:User-agent:*Allow:/$Disallow:/只需将其更改为:User-agent:*Allow:/但是如果你只想让它索引实际的索引页，那么就把它改成这样:User-agent:*Allow:/index.p

我正在尝试将其设置为不允许www.url.com/folder，但允许www.url.com/folder/1。我的设置如下:User-agent:*Disallow:/folderAllow:/folder/*这在使用Googlerobots.txt测试器进行测试时有效，但如果我查看日志，我可以看到Googlebot访问了除/folder之外的所有url。我错过了什么吗？应该允许先行吗？ 最佳答案 我认为这个应该可行:User-agent:*Disallow:/folder/$Allow:/folder/*

我的网站中有一个secret文件夹，我不想让搜索引擎知道它。我没有将文件夹名称放在robots.txt的Disallow规则中，因为在robots.txt中写入此文件夹名称意味着告诉我的访问者有关该secret文件夹的信息。我的问题是，即使我没有向该文件夹发布任何链接，搜索引擎是否能够知道/抓取该文件夹？ 最佳答案 对所有人隐藏目录的唯一真正可靠的方法是将其置于密码之后。如果你绝对不能把它放在密码后面，一种创可贴解决方案是将文件夹命名为:http://example.com/secret-aic7bsufbi2jbqnduq2g7y