我有一个用CodeIgniter构建的网站，我正在尝试使用Google的网站管理员工具，它告诉我设置一个robots.txt文件。我希望谷歌索引整个网站，但不一定是组成该网站的文件。所以我不想很好地查看/system/文件或/application/config/文件，但我确实希望每个页面都被索引。我应该列出Google不索引的每个文件，还是告诉它全部索引或告诉它什么都不索引？谢谢! 最佳答案 Google只会看到您网站提供的页面/URL。因此，您不会阻止文件，而是阻止页面。因此，您的robots.txt应该包含您不想编入索引的网址
希望渺茫，我怀疑这是否可能，但你们会比我更清楚。是否可以标记页面，以便google不会立即拍摄快照，而是在加载事件后延迟x秒，以便我可以给我的ajax内容加载和索引时间？我知道我可以使用hashbangurl并以这种方式发送html快照，但是将爬虫延迟到3秒或类似时间才获取页面索引会容易得多。 最佳答案 查看有关如何使AJAX内容可抓取的Google教程https://developers.google.com/webmasters/ajax-crawling/ 关于ajax-是否可以将
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭8年前。ImprovethisquestionGoogle和Alexa以何种方式确定网站的排名？我在Alexa上有一个帐户，但它没有显示任何信息，因为我的网站访问者很少(每天500-600人)。GooglePageRank始终为0。我遵循响应式设计(适用于移动和桌面)、良好的关键字、w3c验证、精彩文章和反向链接的所有标准。为什么我的网站与普通白页的排名相同？
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎不是关于aspecificprogrammingproblem,asoftwarealgorithm,orsoftwaretoolsprimarilyusedbyprogrammers的.如果您认为这个问题是关于anotherStackExchangesite的主题，您可以发表评论，说明问题可能在哪里得到解答。关闭6年前。Improvethisquestion我对前端开发的经验很少，所以请耐心等待。我建立了一个简单的网站，并将其上传到我大学的服务器。显然，我大部分都做错了，因为Google
假设我有Angular2应用程序，使用RouterLink进行路由，Google可以将其读取为后续链接并编制索引吗？换句话说:googlebot能否正常将routerlinks识别为链接？ 最佳答案 这是AngularUniversal中的参数:OptimizedforSearchEngines:AlthoughGooglebotcrawlsandrendersmostdynamicsites,manysearchenginesexpectplainHTML所以对于谷歌不需要但对于其他爬虫你可能需要..AngularUniveral
Adobe与Google达成协议(protocol)，以便Google引擎读取SWF内容以进行SEO。整个事情与索引一些静态swf内容有关，而不是进一步抓取它，但至少是这样。Example有人知道Silverlight是否已经/将要进行类似的努力吗？至少Bing会支持阅读Silverlight内容吗？你听说过吗？ 最佳答案 由于Microsoft本身有一个搜索引擎，您可以期望Silverlight可以被搜索到，因为这样做符合他们自己的最佳利益。来自Wikipedia:TextualcontentcreatedwithSilverli
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于StackOverflow来说是偏离主题的，因为它们往往会吸引自以为是的答案和垃圾邮件。相反，describetheproblem以及迄今为止为解决该问题所做的工作。关闭8年前。Improvethisquestion你能推荐什么工具吗？我们应该建立自己的吗？我们应该手动创建站点地图吗？
我的站点有以下问题http://huti.ru.尝试在http://webmaster.yandex.ru/addurl.xml中添加其任何页面时(Yandex-俄罗斯搜索引擎)写道“服务器返回状态代码http405(预期代码200)。”是什么导致brawusers和yandex爬虫出现如此不同的行为？(谷歌索引正常)环境:tomcat，java6 最佳答案 您的服务器不允许HEAD请求。似乎机器人在实际GET之前先尝试HEAD。作为http://www.w3.org/Protocols/rfc2616/rfc2616-sec9.h
我有SHTML文件，我想实现以下内容:第1步:假设我有一个SHTML页面，默认情况下/在中显示“您必须打开Javascript才能查看此内容”标签。下一步的具体实现并不重要。第2步:然后在页面加载时，JS请求PHP脚本返回:1/0(纯文本)，根据结果，JS打印预期内容或验证码表单。或者预期的内容或验证码形式，JS将其打印出来。要从中得出的主要结论是内容是由JavaScript打印的。Google是否仍会像以前一样为页面(包括内容)编制索引？我需要再添加代码/指令吗？谷歌会经常索引等等吗？注意:内容将始终为Google打印。(无验证码) 最佳答案
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我听说Google优先考虑.us或.name域名来为其分配网页排名。例如，在.at和.us域名相同的情况下，.us域名的网页排名会更高.at.我想知道这是否正确？
