使用XML站点地图，我们可以创建一个sitemap.xml文件:https://www.example.com/0.xmlhttps://www.example.com/1.xml但是我们如何使用sitemap.txt文件实现同样的效果呢？我们是否将其包含在robots.txt中？ 最佳答案 站点地图协议(protocol)不支持文本格式的站点地图索引文件。您必须提供多个站点地图文件(OtherSitemapformats→文本文件):Eachtextfilecancontainamaximumof50,000URLsandmust

这是否适用于不允许目录下的页面，但仍允许该目录url上的页面？Allow:/special-offers/$Disallow:/special-offers/允许:www.mysite.com/special-offers/但阻止:www.mysite.com/special-offers/page1www.mysite.com/special-offers/page2.html等等 最佳答案 查看了Google自己的robots.txtfile，他们所做的正是我所质疑的。在第136-137行，他们有:Disallow:/place

我正在尝试向robots.txt文件添加拒绝规则，以拒绝访问单个页面。网站URL的工作方式如下:http://example.com/#!/homepagehttp://example.com/#!/about-ushttp://example.com/#!/super-secret然后Javascript根据URL换出显示的DIV。我如何请求搜索引擎蜘蛛不列出以下内容:http://example.com/#!/super-secrethttp://example.com/index.php#!/super-secret提前致谢 最佳答案

尽管新的SearchConsole已经存在一段时间了，但我一直在使用旧的SearchConsole，但由于Google已停止支持旧版本，我已开始过渡到新版本。我开始为一个项目做技术搜索引擎优化审计，我真的很恼火，因为我无法从新的网站管理员工具中找到robots.txt测试器，而且所有谷歌的教程都指向旧版本(测试器仍然在那里工作)所以我的问题是新版本中甚至有robots.txt还是我只是遗漏了什么？ 最佳答案 看起来没有添加。当我尝试使用新网站管理员帮助框搜索robot.txt时，它带来了robot.txt但如果您看到导航指向旧网站管

“我有从免费在线资源生成的Sitemap.xml和Robot.txt文件，我想将它们与我的SpringBoot应用程序集成”并想访问作为http://localhost:8080/Sitemap.xml.以前我使用Struts2.x。我通常将这些文件放在JSP文件夹中，我可以通过http://localhost:8080/Sitemap.xml访问它.但是在SpringBootApplication中，我完全无法将它们添加到Application中。(我的疑问列在下面)。我需要在哪个文件夹中添加这些文件？2.http://localhost:8080/Sitemap.xml是否需要任何

我的网站有大约200篇有用的文章。由于该网站具有包含大量参数的内部搜索功能，因此搜索引擎最终会使用附加参数(例如标签、搜索短语、版本、日期等)的所有可能排列来抓取url。这些页面中的大多数只是搜索结果列表与原始文章的一些片段。根据Google的网站管理员工具，Google仅抓取了xml站点地图中200个条目中的大约150个。看起来好像谷歌在上线多年后还没有看到所有的内容。我计划在robots.txt中添加几行“Disallow:”，这样搜索引擎就不会再抓取那些动态url。此外，我计划在网站管理员工具的“网站配置”-->“url参数”部分中禁用一些url参数。这会提高还是损害我当前的SE

我使用googledoc在我的网站上显示嵌入的PDF。它像这样使用iframe:我想知道Google将如何索引PDF的内容？在谷歌搜索中会出现带有嵌入式PDF或直接PDF链接的站点吗？这将如何影响我的排名？我希望页面而不是直接PDF链接出现在搜索结果中。如果上述方法不起作用，是否有一些转机？谢谢。 最佳答案 您正在尝试利用您对pdf文件中某些特定文本(关键字)的排名，并且您希望防止它被编入索引并使其不可见，答案很明确:您不能或Google不会允许你这样做。作为解决方案，我建议您将pdf文件放在一个路径中，并在您的robots.txt

目前*.domain.com显示与domain.com相同的内容，并在内部指向相同的文档根目录，如何阻止SE索引子域？ 最佳答案 您的子域如何使用呈现不同的robots.txt文件User-agent:*Disallow:/ 关于seo-如何禁止使用robots.txt为所有子域编制索引？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/11515599/

我希望忽略来自bingbot的所有包含查询字符串变量at1=的URL，但我不清楚应该使用的模式。其中一个应该起作用吗？User-agent:bingbotDisallow:/*at1=Disallow:*at1=*为了确认，我可以有一个这样的URL:/some-page?at1=4&ca1=5&op1=8我仍然希望访问/some-page但当列出的URL具有查询字符串参数时则不会访问编辑海报实际上已经建议了一个PHP解决方案，在细粒度定位方面可能有意义，但我不确定应该发送什么正确的HTTP状态代码来告诉蜘蛛它不受欢迎。有什么想法吗？ 最佳答案

我看到网站隐藏了robot.txt文件。如果您将站点名称输入为http://www.mysite.com/robot.txt您不会收到robot.txt，我还想对访问者隐藏文件robot.txt怎么办？这些线有没有联系        所以没看懂代码的意思。谢谢! 最佳答案 我不确定您到底在问什么，但是您不能通过URL重写来做到这一点吗？您可以使用爬虫的用户代理字符串(例如“Googlebot”)为访问者显示robots.txt文件，如果它是非爬虫UA，则重定向到404 关于seo-如何对