我正在寻找添加引用站点地图的多个域名别名，这是从Laravel框架中分离出来的逻辑。在我的robots.txt文件中-但我不太确定正确的方法是什么。站点地图存在并且存在且正确，但不确定谷歌期望的格式......所以真正寻找基于SEO的答案而不是实现这一点。我想我可以为robots.txt即，Sitemap:https://www.main-domain.com/sitemap.xmlSitemap:https://www.domain-alias1.com/sitemap.xmlSitemap:https://www.domain-alias2.com/sitemap.xml任何pro

我正在使用Slim创建一个网站并想做一些SEO。问题是Slim更像是一个基于API的框架，通常不提供文件服务并使用端点。我如何为搜索引擎编制索引的robots.txt文件和其他sitemap.xml文件提供服务？我应该创建单独的端点还是使用.htaccess。如果是这样，我该怎么做？ 最佳答案 我看到了两种方式(不知道Slim的细节)为每个输出的HTML资源添加依赖的机器人元元素或者...添加一条路由，匹配所有请求的robots.txt并输出依赖内容动态 关于php-在超薄框架应用程序中

这是否适用于不允许目录下的页面，但仍允许该目录url上的页面？Allow:/special-offers/$Disallow:/special-offers/允许:www.mysite.com/special-offers/但阻止:www.mysite.com/special-offers/page1www.mysite.com/special-offers/page2.html等等 最佳答案 查看了Google自己的robots.txtfile，他们所做的正是我所质疑的。在第136-137行，他们有:Disallow:/place

我正在尝试向robots.txt文件添加拒绝规则，以拒绝访问单个页面。网站URL的工作方式如下:http://example.com/#!/homepagehttp://example.com/#!/about-ushttp://example.com/#!/super-secret然后Javascript根据URL换出显示的DIV。我如何请求搜索引擎蜘蛛不列出以下内容:http://example.com/#!/super-secrethttp://example.com/index.php#!/super-secret提前致谢 最佳答案

尽管新的SearchConsole已经存在一段时间了，但我一直在使用旧的SearchConsole，但由于Google已停止支持旧版本，我已开始过渡到新版本。我开始为一个项目做技术搜索引擎优化审计，我真的很恼火，因为我无法从新的网站管理员工具中找到robots.txt测试器，而且所有谷歌的教程都指向旧版本(测试器仍然在那里工作)所以我的问题是新版本中甚至有robots.txt还是我只是遗漏了什么？ 最佳答案 看起来没有添加。当我尝试使用新网站管理员帮助框搜索robot.txt时，它带来了robot.txt但如果您看到导航指向旧网站管

我的网站有大约200篇有用的文章。由于该网站具有包含大量参数的内部搜索功能，因此搜索引擎最终会使用附加参数(例如标签、搜索短语、版本、日期等)的所有可能排列来抓取url。这些页面中的大多数只是搜索结果列表与原始文章的一些片段。根据Google的网站管理员工具，Google仅抓取了xml站点地图中200个条目中的大约150个。看起来好像谷歌在上线多年后还没有看到所有的内容。我计划在robots.txt中添加几行“Disallow:”，这样搜索引擎就不会再抓取那些动态url。此外，我计划在网站管理员工具的“网站配置”-->“url参数”部分中禁用一些url参数。这会提高还是损害我当前的SE

目前*.domain.com显示与domain.com相同的内容，并在内部指向相同的文档根目录，如何阻止SE索引子域？ 最佳答案 您的子域如何使用呈现不同的robots.txt文件User-agent:*Disallow:/ 关于seo-如何禁止使用robots.txt为所有子域编制索引？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/11515599/

我希望忽略来自bingbot的所有包含查询字符串变量at1=的URL，但我不清楚应该使用的模式。其中一个应该起作用吗？User-agent:bingbotDisallow:/*at1=Disallow:*at1=*为了确认，我可以有一个这样的URL:/some-page?at1=4&ca1=5&op1=8我仍然希望访问/some-page但当列出的URL具有查询字符串参数时则不会访问编辑海报实际上已经建议了一个PHP解决方案，在细粒度定位方面可能有意义，但我不确定应该发送什么正确的HTTP状态代码来告诉蜘蛛它不受欢迎。有什么想法吗？ 最佳答案

我有一些页面名称index2.php,index3.php,..它们是我的index.php的副本，用于测试目的由于双重内容，我应该禁止robots.txt中的这些页面吗？还是无关紧要，因为这些页面未链接到我的网站？如果我因为双重内容而受到谷歌的惩罚，那有多糟糕？ 最佳答案 如果您从不链接到测试页面或与任何人(可能将其发布到其他地方)共享链接，并且它们没有出现在任何站点地图中，那么抓取工具将永远找不到这些页面。我不建议将它们添加到您的robots.txt，因为任何人都可以查看您的robots.txt并找到您的测试页的位置。通常您不希

我想从搜索引擎中隐藏public_html中名为(beta)的文件夹及其所有子文件夹和文件，我是否必须将文件放在根文件夹(/)中并执行robots.txt的内容像下面这样User-agent:*Disallow:/public_html/beta或将robots.txt放在public_html中，做如下内容User-agent:*Disallow:/beta 最佳答案 robots.txt必须在根目录中。www.yoursite.com/robots.txt这是你需要的:用户代理:*不允许:/folder/something以某物