所以我想排除整个目录(及其子文件夹)被任何搜索引擎索引。假设我的域名为“example.com”，目录名为“directory-to-exclude”现在当我输入以下关键字时要排除的目录示例(没有.com)我得到的是谷歌搜索结果:directory-to-exclude-exampleexample.com/directory-to-exclude/Adescriptionforthisresultisnotavailablebecauseofthissite'srobots.txt–learnmore.所以它确实显示了，即使内容是隐藏的并且没有被索引。但我想完全阻止谷歌显示它。现在，

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion当我进入我网站的Google网站管理员工具时，它会给我“索引URL:305,509”，但是当我在Google中输入“site:”和我的url时，它会返回大约19.000个结果。怎么可能？

例如，当您使用Google“stackoverflow”时，第一个结果链接到http://stackoverflow.com带有描述，“一个独立于语言的协作编辑的程序员问答网站”。StackOverflow或任何其他网站如何设置该描述？我即将建立一个网站，并希望获得对我网站的良好描述的索引。我需要采取哪些步骤才能实现这一目标？ 最佳答案 实现此目的的一种方法是使用标记如下:在SO上，该标记似乎仅在您使用与爬虫相关的用户代理时出现。 关于indexing-搜索引擎网站索引说明？，我们在St

这对某些人来说应该很简单:请问元素导致HTML页面仅提供中的内容将自己标记为谷歌爬虫并隐藏我所有其余的静态内容导致它不被编入索引？谢谢! 最佳答案 没有。爬虫将看到您的所有内容，都在中。元素和其他任何地方。爬虫的行为很像关闭了JavaScript的浏览器-它们会看到所有静态内容以及内容，但不依赖于JavaScript。 关于indexing-会向Google爬虫隐藏其余的静态内容吗？，我们在StackOverflow上找到一个类似的问题： https://st

网站页面如何被搜索引擎编入索引？这是否取决于页面被访问的次数？我有一个站点，其默认页面已编入索引，但与默认页面处于同一级别的其他页面却没有! 最佳答案 规则#1:耐心。世界上有数十亿个网页，每天可能会创建数百万个网页。搜索引擎索引页面需要时间。至于方法:搜索引擎会跟踪从其他页面到您的页面(例如主页)的链接。然后它将跟随从该页面到其他页面的链接等等。您可以像其他人所说的那样手动添加您的站点，但快速索引的最佳方法是从各种来源获得尽可能多的链接(当然是道德的)。一个就足够了，但SE会更快地为“热门”页面编制索引。确保您的链接是普通的HTM

我在1-2个月前提交了站点地图。谷歌在几天内开始非常快速地抓取并索引了大约25%的页面然后它突然停止并且不再抓取了。我为新抓取的页面创建了一个Google提醒。我每天都会收到一些页面已被抓取的警报(只有新页面)。Robots.txt的设置为允许所有这是屏幕截图，正如您在开始时看到的曲线陡峭但随后变得停滞不前。 最佳答案 这个问题的官方答案可以在这里找到:https://support.google.com/webmasters/answer/34441我个人也经历过一次，它可以追溯到(有时)缓慢的网络服务器响应时间，之后Google

我手头有一个案例，我必须super确定google(或任何yahoo/bing就此而言)不会索引特定内容，所以冗余越多越好。据我所知，有3种方法可以实现这一点，我想知道是否还有更多方法(冗余是这里的关键):将元标记设置为无索引在robots.txt中禁止受影响的url结构post通过ajax加载内容所以如果这就是所有方法，那很好，但是如果有人有一些想法如何更加确定，那就太棒了:D(我知道这有点疯狂，但如果内容以某种方式出现在google中，我的公司会变得非常昂贵:'-() 最佳答案 呃，还有很多a)识别googlebot(与其他机器

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎不是关于aspecificprogrammingproblem,asoftwarealgorithm,orsoftwaretoolsprimarilyusedbyprogrammers的.如果您认为这个问题是关于anotherStackExchangesite的主题，您可以发表评论，说明问题可能在哪里得到解答。关闭6年前。Improvethisquestion我有一个SPA，里面有很多图片。我想将这些图像公开给搜索引擎。所以我想创建只会被机器人看到的“特殊”页面。这些页面将包含有关图像的元

例如，当我发布到Stackoverflow时，该帖子会在一分钟后出现在Google索引中。这是如何实现的？我必须对我的网站做些什么才能获得相同的索引频率？ 最佳答案 你可以这样开始:让65,000多名普通用户访问您的网站。使您的网站从各个地方链接到。让您的网站非常活跃。提供非常有用的内容。这些都是标准的SEO内容，它们会提高您在Google眼中的“重要性”(大概还有其他搜索引擎，但谁在乎呢:-)。 关于indexing-新内容怎么可能在创建几分钟后就出现在谷歌搜索结果中？，我们在Stac

根据文章:https://support.google.com/webmasters/answer/181708?hl=en软404出现是因为我的网站中的一些搜索条件是空的项目，但我需要这些页面被谷歌索引，以防止这些错误出现在网站管理员抓取错误中，并确保它们不会影响网站索引速度，我们该怎么办？!我们应该返回404错误代码吗？我们应该更多地填充所有搜索组合还是忽略它们？! 最佳答案 您不应该将这些页面编入索引-这是一种非常糟糕的做法，您应该阅读这篇文章以获得有关此案例的一些想法http://googlewebmastercentral