我使用http://www.auditmypc.com/xml-sitemap.asp检查它是否被抓取。http://www.domain.com/未被抓取http://www.domain.com/bg/未被抓取http://www.domain.com/bg/medical/确实释放了巨大的爬行事件此外，出于某种原因，/bg/medical/是否具有www也很重要。如果没有，爬行将不再起作用。.htaccess文件:RewriteEngineonRewriteBase/RewriteCond%{http_host}^domain.com[NC]RewriteRule^(.*)$ht
差不多就是这个问题。有没有比标准sitemap.xml更有效的方法来[添加/强制重新抓取/删除]，即管理您网站在谷歌中的索引条目？记得几年前看到一个不知名博主的文章，说他在自己的网站上写新闻的时候，这个新闻的url入口会立刻出现在google的搜索结果中。我认为他提到了一些特别的事情。我不记得具体是什么......谷歌自己提供的一些自动重新抓取系统？但是，我不确定。所以我问，你认为我是在自欺欺人吗，除了sitemap.xml之外没有其他方法来管理索引内容？我只需要确定这一点。谢谢。 最佳答案 我认为您不会找到您正在寻找的神奇“Eli
我正在将一些文本插入到我的页面中，但我需要防止搜索引擎将其编入索引。我读到一些引擎现在能够读取此内容。如何阻止他们这样做？ 最佳答案 搜索引擎还不能读取Ajax内容。如果你使用theirspecifications，他们最接近的是谷歌支持它。.但这确实需要您使用他们的规范，否则Google无法抓取Ajax内容。 关于ajax-如何防止AJAX生成的内容被搜索引擎索引？，我们在StackOverflow上找到一个类似的问题： https://stackoverf
大家早上好我在www.mydomain.com/myAppp部署了一个应用程序。我创建了一个虚拟服务器并将myApp作为默认Web应用程序。因此，任何访问www.myDomain.com的人都会被重定向到www.myDomain.com/myApp。现在如何在google查找www.domain.com/robots.txt时将robots.txt文件添加到我的域。该应用程序由apachehttpd前端。如果您需要更多信息，请告诉我。谢谢，古瑟姆 最佳答案 robots.txt应该在应用服务器的ROOT目录下。对于tomcat，它位
在StackOverflow上回答了几个问题后，我很高兴能提出我的第一个问题!我们刚刚发现，Google不仅将我们位于www.的网站编入索引，而且还将来自mx1.、2.、wwww.、ww.、nc.网站的URL编入索引。和httpwww。显然这不是好消息，因为Google会认为这些是重复页面。人们建议这意味着我们的网站允许通配符子域，但据我所知，IIS不允许通配符子域。我们正在使用WindowsServer2003，我认为这意味着IIS6。我们托管我们自己的网站。有谁知道为什么会发生这种情况，以及将来如何阻止这种情况发生？我知道Bing不会为这些子域编制索引。提前致谢。
我对Google索引有疑问。问题是我有几个域(语言突变)示例:www.example.com、www.example.co.uk、www.example.de。所以每个站点都有自己的语言和自己的SEO链接，例如:search/zh-cn/building/window/77/1/search/zh-cn/building/window/77/1/search/de-de/gebaude/fenster/77/1/现在Google正在为那些带有错误域的SEOurl链接编制索引，例如www.example.co.uk/search/de-de/gebaude/fenster/77/1/显然
我正在使用主干js应用程序框架构建我的网站，并且正在使用html5推送状态更改url。所有内容都通过js呈现，基本上dom在页面呈现方法之前或多或少是空的(只有一个核心结构，没有任何内容)。我认为这对搜索引擎非常不利，因为机器人不会抓取网站的实际内容。那么是否有任何解决方法，或者我必须在第一个初始化时使用某些服务器端技术呈现内容？我真的希望这不是唯一的选择，因为我已经有了完整的逻辑、模型、模板和所有用js编写的东西......我听说phantom.js可以完成这项工作？使用node.js编写服务器端脚本会更容易吗？ 最佳答案 Soi
几天来，我一直很困惑为什么我的新网站无法在非常小的利基市场上排名。除了我的个人网站，我以前所有网站的SEO都做得很好。该网站位于http://www.jhourlad.com.就在今天，谷歌开始在谷歌网站管理员工具上显示我网站的关键字，我对结果感到震惊。下图总结了我在说什么:如您所见，Google似乎在抓取我的.less文件，这损害了我的SEO结果。有没有一种方法可以让Google将.less文件视为CSS文件并在索引期间绕过它？ 最佳答案 您需要使用robots.txt文件。User-agent:*Disallow:/*.less
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭8年前。Improvethisquestion我的网站上有一些没有404的错误页面。阻止谷歌将它们编入索引的最佳方法是什么？选项1header("HTTP/1.0410Gone");如果内容没有消失怎么办？例如:该文章不存在。或错误的参数已被捕获选项2它只影响一个页面还是整个域？选项3使用404会产生一些其他问题，我想避免。机器人.txt此选项将不起作用，因为错误将取决于数据库并且不是静态的。
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭8年前。Improvethisquestion我想优化我的网站在搜索引擎尤其是Google中的排名。我已经向谷歌提交了站点地图；大约一周后，我看到已经提交了170页，但只有一页被编入索引。有什么问题吗？
