当Google的蜘蛛抓取我的网站之一时，它们会从选择列表中提取数据作为页面数据。我完全理解为什么会这样，但问题是，它能以任何方式被阻止吗？我不想阻止整个页面被抓取，而只是阻止选择列表数据。问题如下:在谷歌搜索时，选择列表数据显示为页面摘要，而不是内容。描述标签专门用于帮助SEO并为潜在网站访问者提供有用的信息，但其预期功能并未实现。查看此示例案例https://www.google.com/search?q=alaskankleekaisite%3Awiki-pet.com这会损害网站上搜索性能的有效性，因为不止1个页面在搜索结果中显示相同的数据。有超过200个页面具有完全相同的选择列
我已经在我的urlhttp://watchmariyaanmovieonline.appspot.com/robots.txt中上传了robots.txt，但是当我使用googlewebmaster并为我的主页做Fetchasgoogle时http://watchmariyaanmovieonline.appspot.com/我收到错误消息Unreachablerobots.txt 最佳答案 您的robots.txt内容有一个空的Disallow，因此您会收到该错误。User-agent:*Disallow:Disallow:/cg
出于某种原因，Google机器人似乎经常点击我的动态页面之一，将%2letter%发送到get参数，即。%zy%,%zn%,%xp%,%yu%,等等我的访问日志中充满了数千个这样的条目，其中Google机器人正在搜索2个字母的各种组合，一些组合被发送了很多次。这是什么行为？ 最佳答案 可能是您的网站被假冒的谷歌机器人编入了索引。这是包含更多信息的网站:http://stopmalvertising.com/security/fake-google-bots.html.另外，请查看以下文章:HowtoverifyGooglebot.
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭4年前。Improvethisquestion我们正在进行重新设计，想测试谷歌查看我们网站的方式，但我们不希望此时将其编入索引。我们有一个单独的子域用于开发，但是如果我们在robots.txt中不允许抓取，我们就无法进行任何测试，因为谷歌爬虫不会抓取任何测试页面。有没有办法通过谷歌网站管理员控制台运行一些测试，而不允许网站被公开索引？
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion有时，当我在Google中搜索时，会出现一个网站，就在下方...来自该网站的几个链接。有时(我不知道是否相关)我点击一个结果，网站会向我显示突出显示搜索词的页面。这是如何运作的？我的意思是，我必须在我的网站中实现哪种技术或标准才能实现这些效果？谢谢
我正在尝试创建上述路线...应将年、月、日和标题传递给该方法。知道它是如何工作的吗？提前致谢! 最佳答案 您必须在application/bootstrap.php中创建一个额外的路由:Route::set('post','post////',array('year'=>'\d{4}','month'=>'\d{2}','day'=>'\d{2}'))->defaults(array('controller'=>'post','action'=>'index',));然后在你的Controller中(在这个例子中，Controlle
按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visitthehelpcenter指导。关闭11年前。您能否推荐任何快速简洁的资源来学习SEO技术？
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭13年前。Improvethisquestion我在codeplex上发布了一个源代码，令我惊讶的是它在13小时内就出现在了谷歌上。此外，当我在codeplex上对我的帐户进行一些更改时，这些更改会在几分钟内反射(reflect)在谷歌上。那是怎么发生的？谷歌是否特别重视Codeplex、Stackoverflow等网站以使其结果快速出现在搜索结果中？是否有一些特殊的步骤可以让谷歌抓取我的网站更快一些，如果不是这么快的话。
我想知道在哪个阶段可以开始使用Javascript操作HTML元素/内容以免损害SEO？我在某处读到，使用CSS属性display:none隐藏的HTML内容经常受到Google爬虫的惩罚，有充分的理由让我相信...我问这是因为我打算有一些最初隐藏的div面板，但一旦用户单击适当的链接就会显示。因此，我的意图不是完全向用户隐藏内容-最初只是为了给他们提供更好的用户体验-恐怕Google可能不会那样看!我这样做的原因是为了防止在我的Javascript进入定位、隐藏和整理所有内容之前，瞬间(或在某些情况下，整整2秒)可怕的无样式html元素(定位)。因此，在最前面添加display:no
我目前正在为一个项目工作，由于用户所在的区域，网站的几个部分可能会受到限制。因此，当用户访问该页面时，他会被重定向到一个表单，他必须填写该表单才能查看内容。希望搜索引擎为内容编制索引，我正在为搜索引擎爬虫创建异常(exception)，以便它们可以轻松访问内容。我正在从this中挑选一些搜索引擎页面，我的解决方案是检查爬虫的IP地址(可以在我链接的页面上找到)并基于该授予访问权限。这个解决方案是否足够可行？我问这个是因为我读过anarticle在官方Google网站管理员中心博客上建议对机器人执行DNS反向查找以匹配其真实性。我必须指出，这没有安全隐患。TL;DR如果我在重定向用户时允
