我有一些页面，比如/hidden_archive，没有被任何其他页面引用。我在robots.txt的下一行中包含Allow:/hidden_archive。搜索爬虫会索引该页面吗？ 最佳答案 我会说:不。为什么不能在页面上添加一些链接？没有人声称它们必须对人类可见... 关于seo-Google和Yandex索引是否存在路径，如果我在robots.txt中允许它，但其他页面不包含其中的链接，我们在StackOverflow上找到一个类似的问题： htt
问题我正在尝试使用robots.txt阻止包含特定URL参数的路径。无论此URL参数出现在查询字符串中的什么位置，我都想阻止该路径。我尝试过的看完severalanswers，我试过:Disallow/*?param=还有:Disallow/*?param=*如果param是第一个URL参数，这些只会阻止路径。但如果它出现在URL的后面，则不是。我也试过:Disallow/*?*param=*虽然这有效，但它也会阻止任何具有后缀为param的URL参数的路径，因此这不是一个可接受的解决方案。问题如何阻止包含特定URL参数的路径，而不管它出现在查询字符串中的什么位置？
几个域被配置为我的主要托管帐户(共享托管)的附加组件。目录结构如下所示(主域是example.com):public_html(example.com)_subex1-->显示为example-realtor.comex2-->显示为example-author.comex3-->显示为example-blogger.com(使用example作为域的SO要求使解释变得更加困难-例如，subex1可能指向plutorealty，ex2可能指向amazon，或其他一些业务子-和我一起托管。关键是每个ex#都是不同公司的网站，所以在心理上为每个“示例”替换一些正常和不同的东西)因为这些域(
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭3年前。Improvethisquestion我有一个暂存站点，我希望能够通过googlelighthouse对其进行测试-但不希望google将其编入索引。当我使用它时:User-agent:*Disallow:/Lighthouse和google被屏蔽了。我认为用户代理是灯塔的“Chrome-Lighthouse”(source)，但我不确定如何编写robot.txt的语法。有什么建议吗？
我有一个使用Friends主题的Tumblr博客(tumblr.com/theme/39097)。它在索引页面和所有帖子上都有一个有用的元标题，但所有标记页面的标题都是相同的，它始终是所有标记页面上博客管理中定义的标题名称。我想要一个像它基本上对应于tumblr在其自己的标记页面上的标题，即此页面www.tumblr.com/tagged/gismo的标题为“gismo|Tumblr”我该怎么做？如果我在主题的HTML中插入什么内容和位置方面得到帮助，我将非常高兴! 最佳答案 我找到了!答案在此页面上:Howtohavediffer
最近看到一个网站的robots.txt如下:User-agent:*Allow:/loginAllow:/register我只能找到Allow条目，没有找到Disallow条目。来自this，我可以理解robots.txt几乎是一个黑名单文件，用于Disallow页面被抓取。因此，Allow仅用于允许已被Disallow阻止的域的子部分。类似这样:Allow:/crawlthisDisallow:/但是，robots.txt没有Disallow条目。那么，这个robots.txt是不是让Google抓取了所有的页面呢？或者，它是否只允许使用Allow标记的指定页面？
有没有办法将H1的内容转移到TITLE标签，同时使其对SEO友好？我不会详细说明为什么我想要这个，但我宁愿给你一个明确的例子。我有这个:Sitename/Category/Pagetitle我想将其复制到该特定页面的TITLE:Sitename/Category/Pagetitle对我来说最简单的方法是使用jQuery，但我想这对搜索引擎机器人来说并不安全？ 最佳答案 您是对的:机器人不会注意到，因为它们只会查看您服务器响应中的html。请改用PHP。 关于php-最好是jQuery/可
我想复制StackOverflow对其URL所做的操作。例如:HiddenFeaturesofC#?-(HiddenFeaturesofC#?)或HiddenFeaturesofC#?-(HiddenFeaturesofC#?)会将您带到同一页面，但当他们返回浏览器时，总是会返回第一个页面。您如何实现更改以返回较大的URL？ 最佳答案 我之前处理这个的方法是有两条路线，按这个顺序注册routes.MapRoute(null,"questions/{id}/{title}",new{controller="Questions",act
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我的暂存站点显示在搜索结果中，即使我已指定不希望该站点被抓取。这是暂存站点的robots.txt文件的内容:User-agent:Mozilla/4.0(compatible;ISYSWebSpider9)Disallow:User-agent:*Disallow:/我这里有什么地方做错了吗？
robots.txt是否接受正则表达式？我有很多这种格式的URL:https://example.com/view/99/title-sample-textID----------------------^Title-----------------------------^我用过这个:Disallow:/view但看起来这不起作用，因为google索引了更多页面。所以我想用正则表达式来做这个，像这样:Disallow:/view/([0-9]+)/([^/]*)但是这种格式是否正确或在robots.txt中有效？ 最佳答案 您可以
