关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我正在为我们公司开发一个新的CMS，为了方便和干净的代码，我决定在根目录中只有一个文件index.php。我们使用搜索引擎友好的URL以及唯一的ID来加载页面。使用SEFURL谷歌将单独索引页面，即使它们都是通过index.php解析的。然而，有时我们的客户端的主机要么使用Windows，要么关闭了mod_rewrite，因此我们无法使用SEFURL。在这种情况下，我们的URL看起来像http:

我们最近将2个网站迁移到完整的SSL，因为我们知道Google在安全网站方面排名更高。但是两个多月过去了，我们的网站还没有被编入SSL索引。例如；在我们的Joomla网站上放置ssl一周内，我们所有的url在Google中都已更改为https://，这正是我们想要的-这是因为我们在Joomlahtaccess中设置了301重定向。但是在我们的Opencart网站上，它有一个不同配置的htaccess文件，它仍然只在谷歌上显示非SSL结果。SSL在我们的网站上正常工作，并且自从被Google抓取以来已被抓取了数十次，但出于某种原因，Google不会将我们索引为https网站。我认为我们的

根据文章:https://support.google.com/webmasters/answer/181708?hl=en软404出现是因为我的网站中的一些搜索条件是空的项目，但我需要这些页面被谷歌索引，以防止这些错误出现在网站管理员抓取错误中，并确保它们不会影响网站索引速度，我们该怎么办？!我们应该返回404错误代码吗？我们应该更多地填充所有搜索组合还是忽略它们？! 最佳答案 您不应该将这些页面编入索引-这是一种非常糟糕的做法，您应该阅读这篇文章以获得有关此案例的一些想法http://googlewebmastercentral

我们正在做一个白标签网站，它不能被谷歌索引。有谁知道一种工具可以检查googlebot是否会为给定的url编制索引？我输入了在所有页面上，因此不应将其编入索引-但是我宁愿通过测试来110%确定。我知道我可以使用robots.txt，但是robots.txt的问题如下:我们的主站点应该被索引，它是IIS(ASP.Net)上与白标签站点相同的应用程序-唯一的区别是url。我无法根据传入的url修改robots.txt，但我可以从我的代码隐藏中向所有页面添加元标记。 最佳答案 您应该添加一个Robots.txt到您的网站。但是，防止搜索引

我有以下网址www.example.com/index.php?tag=xxx我想使用.htaccess使其像下面这样www.example.com/xxx我用这段代码完成了:Options+FollowSymLinks-MultiViews#Turnmod_rewriteonRewriteEngineOnRewriteBase/RewriteCond%{REQUEST_FILENAME}!-fRewriteCond%{REQUEST_FILENAME}!-dRewriteCond%{REQUEST_FILENAME}!-lRewriteRule^(.+?)/?$/index.php?

我听说雅虎曾经有一个免费的LSI服务，称为YahooBossAPI自7月20日起开始支付，MicrosoftBing搜索引擎有一个freeservice提供与YahooBossAPI相似但不如YahooBossAPI的功能。是否有除上述之外的其他免费API为开发者提供此类服务？我一直试图从Google中找到类似的东西，但没有任何结果。 最佳答案 不幸的是，截至2013年8月，没有这样值得信赖的服务:(或者至少我找不到任何人。 关于api-免费的LSI服务或API来获取相关关键字，我们在S

我已经将sitemap.xml文件提交给谷歌网站管理员工具，它说我拥有整个页面，但在“索引”下它说“--”？Google需要多长时间才能开始编制索引？这是几天前的事。 最佳答案 站点地图是网站管理员帮助搜索引擎轻松地从他们的网站发现更多页面的一种方式。站点地图应被视为一种帮助，而不是一种职责。即使您提交了Sitemap，也不能保证Sitemap中列出的URL会被读取或包含在搜索引擎索引中。通常需要几小时到几天才能编入索引。来自Google来源的引述"Wedon'tguaranteethatwe'llcrawlorindexallof

Googlebot偶尔会使用错误的查询字符串参数为我们的网站之一编制索引。我不确定它是如何获取此查询字符串参数的(似乎没有任何网站通过错误链接链接到我们，并且我们网站中没有任何内容插入错误值)。如我们所料，错误的参数会导致站点抛出500错误。我的印象是Google不会为返回500错误的页面编制索引，但事实证明确实如此。所以现在我有两个问题:1)为什么Googlebot会随机插入错误的查询字符串值？(我真的不关心这个问题的答案，但如果我们能做些什么来避免这种情况，它就会解决我们的问题。)2)为什么Google会将返回500错误的页面编入索引？这是Googlebot创建并已编入索引的错误链

如果我只想让爬虫访问index.php，这行得通吗？User-agent:*Disallow:/Allow:/index.php 最佳答案 是的，它会起作用。这是来自GoogleWebmasterTool的测试结果.Urlhttp://www.example.org/index.phpGooglebotAllowedbyline3:Allow:/index.phpGooglebot-MobileAllowedbyline3:Allow:/index.php但是，请记住，如果使用此配置，您的网站主页将不会被抓取，除非使用完全限定路径访

是否可以将对Google的指令微调到忽略页面的一部分但仍将其余部分编入索引的程度？我们遇到了几个不同的问题，这些问题会得到帮助，例如:页面上显示外部来源内容的RSS提要/新闻行情类型文本输入联系电话等详细信息的用户希望他们在网站上可见但不希望他们无法通过谷歌搜索我知道以上两个问题都可以通过其他技术解决(例如用JavaScript编写内容)，但我想知道是否有人知道Google是否已经提供了更简洁的选项？我一直在对此进行一些挖掘，并提到了googleonandgoogleofftags，但这些似乎是GoogleSearchAppliances独有的。有谁知道是否有一组类似的标签可供Goog