如果我有一个我想被索引和搜索的页面。但是我的页面上有一些我不想编入索引的关键字。有办法吗？这样人们在我的页面上搜索我认为与我相关的关键字时，就会找到我。但是，如果人们搜索的关键字恰好出现在我的页面上，但与我的页面无关，我不会出现吗？例如，如果我有一个博客，我说了类似的话:Thisisevil,butnotasevilastheNazis我希望我的文章可以被搜索到，但如果有人在哪里搜索“纳粹”我不想出现。这可能吗？ 最佳答案 您可以检测传入的用户代理，如果它是机器人用户代理，则使用您不想编入索引的词呈现页面。但是，此类关键字在其他网站
看看thissearch在那里你可以看到只有我的主页被编入索引。但为什么Google/搜索引擎不接受arda-maps.org/about/和其他子页面？我的深层链接是否以错误的方式完成？搜索引擎需要更多时间吗？如果他们确实需要更多时间，为什么论坛-来得很晚-已经被编入索引？通过点击链接，我通过隐藏和显示层加载“子页面”。可能是因为这个？ 最佳答案 我在你的html代码中没有看到index-follow标签。最好有它你还可以做两件事。转到GWT>Crawl>FetchasGoogle并提交您的一些页面。同时单击左侧菜单中的“站点地图
我想阻止抓取工具将我网站上的特定图像编入索引，但前提是这些图像早于特定日期。但是，爬虫不会停止索引当前链接图像的页面。我最初的方法是编写一个脚本，将图像的URL添加到“robots.txt”，但我认为该文件会变得很大，因为我们谈论的潜在图像数量非常庞大。我的下一个想法是使用标签，但我认为这种方法容易出错，因为我可能会忘记将此标签添加到模板中，我可能希望阻止爬虫程序对图像进行索引。这也是多余的，爬虫将忽略所有图像。我的问题是:如果条件(在我的例子中是日期)为真，您是否知道一种以编程方式强制爬虫不为图像编制索引的方法？还是我阻止爬虫将整个页面编入索引的唯一可能？
我有一个用CodeIgniter构建的网站，我正在尝试使用Google的网站管理员工具，它告诉我设置一个robots.txt文件。我希望谷歌索引整个网站，但不一定是组成该网站的文件。所以我不想很好地查看/system/文件或/application/config/文件，但我确实希望每个页面都被索引。我应该列出Google不索引的每个文件，还是告诉它全部索引或告诉它什么都不索引？谢谢! 最佳答案 Google只会看到您网站提供的页面/URL。因此，您不会阻止文件，而是阻止页面。因此，您的robots.txt应该包含您不想编入索引的网址
我运行一个基于您的地理位置的动态网站，即如果您转到http://example.com/如果你在旧金山，它会向你展示旧金山的内容，我会将旧金山放在标题中。我的问题是谷歌位于旧金山，因此索引该网站的旧金山版本，在搜索结果中显示该城市。有没有办法保留我当前的功能并让Google索引该网站的通用版本？我尝试做的一件事是通过检查HTTP_USER_AGENT来检测用户是否是机器人，但这似乎没有用。 最佳答案 不，它不会工作。如果您需要让它发挥作用，那么您需要针对特定关键字和特定页面研究页外SEO技术。
我有一个AngularJS1.0.7网络应用程序。几个月前，我向谷歌发送了一个sitemap.xml文件，因此url被编入索引。现在，我想上传一个新的站点地图文件，其中包含对这些URL的一些更新。我的意思是，页面是一样的，但url有一点变化。当谷歌索引我的新网址时，我猜它会有很多具有相同重复代码的网址，对吧？我有点担心，因为我读过谷歌对这种情况的惩罚。我已经阅读了一些相关内容，但我对所有这些SEO内容还是个新手。所以，我不是100%清楚我应该做什么。最适合我的是Google可以“删除”或以某种方式忘记旧网址并为新网址编制索引。我已阅读有关规范网址和重定向301的内容。这些方法正确吗？我
我使用http://www.auditmypc.com/xml-sitemap.asp检查它是否被抓取。http://www.domain.com/未被抓取http://www.domain.com/bg/未被抓取http://www.domain.com/bg/medical/确实释放了巨大的爬行事件此外，出于某种原因，/bg/medical/是否具有www也很重要。如果没有，爬行将不再起作用。.htaccess文件:RewriteEngineonRewriteBase/RewriteCond%{http_host}^domain.com[NC]RewriteRule^(.*)$ht
我有一个关于SEO、Robots.txt和wordpress的问题这是我的robots.txt的样子:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/feedDisallow:/*/feedDisallow:/wp-login.phpDisallow:/tagDisallow:/trackbackDisallow:/*?*Disallow:/archive/Disallow:/rss/Disallow:/about/trac
在StackOverflow上回答了几个问题后，我很高兴能提出我的第一个问题!我们刚刚发现，Google不仅将我们位于www.的网站编入索引，而且还将来自mx1.、2.、wwww.、ww.、nc.网站的URL编入索引。和httpwww。显然这不是好消息，因为Google会认为这些是重复页面。人们建议这意味着我们的网站允许通配符子域，但据我所知，IIS不允许通配符子域。我们正在使用WindowsServer2003，我认为这意味着IIS6。我们托管我们自己的网站。有谁知道为什么会发生这种情况，以及将来如何阻止这种情况发生？我知道Bing不会为这些子域编制索引。提前致谢。
我正在创建一个站点，并希望为数据库表中的每一行创建单独的页面。每个页面上的信息都相当有用和全面，如果Google可以将它们编入索引，那就太好了。我最初的想法是只创建一个PHP模板页面并为用户正在查看的内容提取正确的信息，但我担心搜索引擎无法索引所有页面。我的第二个想法是批量创建/自动化将各个页面创建为html文件的过程(对于表中的2000多行)，因为这样我就可以保证它们会被抓取。但是，如果我需要对设计进行更改，我将不得不重新处理它们。有点痛……我最后的考虑是只在我的站点中选择一个页面并在隐藏的div中列出所有可能的php页面，但我不确定搜索引擎是否可以从中索引。我假设他们只是从HTML
