我的网站上有一组页面，其中我在页面加载时发布“主要内容”，在页面加载后通过AJAX命中发布“相关内容”。我想做的是确保Googlebot可以通过AJAX加载内容，并点击其中的链接，但不索引请求URL。如果我在robots.txt中禁止该URL，Googlebot将不会抓取内容。如果我向其添加X-Robots标签“noindex”，整个页面将变为未编入索引，这不是我想要的。有什么解决办法吗？ 最佳答案 你不能要求爬虫等待；您可以做的是预渲染AJAX请求，这样内容将首先被渲染和索引。在这里阅读更多相关信息:https://groups.
与NavigationFramework,Silverlight变得更适合内容页面。下一件大事是让它可抓取。我认为其中一种方法可能是将数据库中的内容抽象化并在供人类使用的Silverlight页面中使用它，或者为爬虫返回纯HTML。有人尝试过让他们的Silverlight页面可抓取吗？ 最佳答案 检查一下:SearchEngineOptimizationTechniquesforSilverlightApplications和StatictextunderyourSilverlightapplications
我希望实现Google可抓取的AJAX状态，如下所述:http://code.google.com/web/ajaxcrawling/docs/getting-started.html本质上，这需要在url末尾使用#!state值指定您的AJAX状态。这应该作为查询字符串的一部分传递给应用程序服务器(在我的例子中是PHP)，例如。http://www.example.com/#!open将变为http://www.example.com/?_escaped_fragment_=open不幸的是，我无法弄清楚如何通过Apache2上的mod_rewrite实现它。任何人都可以提供一些帮助
如果我制作了一个带有嵌入式.swf的主页，其中包含使用getUrl()函数链接到我网站上其他html页面的按钮，这些链接是否可以被谷歌抓取？或者我是否也应该在.swf之外放入文本链接(这会有点破坏设计)？我知道很多人会争辩说我不应该将flash作为主页的主要内容(他们的评论很受欢迎)，但请记住，这不是我的问题。 最佳答案 实际上，Daenyth的回答恰恰相反，Google的索引在理解Flash方面已经走了很长一段路。它不像丹妮丝的意见必须形成时那样不透明。也就是说，没有任何一份文件概述了Google可以看到和不能看到的内容。为了获得
在我的站点中，我添加了很多AJAX功能，用于(动态页面)，我阅读了下面的帖子，我理解了GOOGLEAJAX爬虫程序，只是确认一下，在应用程序中不使用链接，我正在使用DIV，在那个DIVonclick中我调用了ajax函数，在该ajax代码中有一个URL，在这个URL中我附加了#!key=value，请确认IT是否正确？谢谢注意:我没有标签，我的样本片段，url='mycaller.php?reid=12#!reid=12'xmlHttp.onreadystatechange=stateChanged;xmlHttp.open("GET",url,true);xmlHttp.send(n
我需要xml文件来为我的网站编制索引以供google抓取。我正在使用一些软件制作XML文件。我的问题是我是否需要列出所有动态页面。我的意思是这样的:http://mysite.com/page/?id=01http://mysite.com/page/?id=02http://mysite.com/page/?id=03http://mysite.com/page/?id=04http://mysite.com/page/?id=05如果是，那是为什么？如果我不包括它们并只是说:http://mysite.com/page/如果我包含所有ID，结果将是一个巨大的XML文件。谷歌接受这么
自从我添加了.htaccess文件后，我在使用该网站时遇到了问题。Googlebot不会抓取新链接。这是我的htaccess:Options+FollowSymlinksRewriteEngineOnRewriteCond%{HTTP_HOST}!^www.grantsimeonphoto.com$RewriteRule^(.*)$http://www.grantsimeonphoto.com/$1[R=301]RewriteRule^accueil$index.php?page=accueilRewriteRule^services$index.php?page=servicesRe
我最近更改了我的站点(相同的域，只是从静态变为wordpress)，现在每个链接都不同了。我应该尝试获取链接列表(网站管理员工具)并为每个链接设置301，还是让google来做下次的事情。我有新站点的完整站点地图。 最佳答案 从用户的角度来看，URL比出现在搜索结果中的内容更多。用户有书签，其他站点有链接，等等。如果有人努力为您制作的内容添加书签或链接，当您拥有提供转换的工具时，让他们不高兴并断开他们的链接有点奇怪。当然，如果您以前的网站有永久链接这样的概念，您可以将您的努力限制在持久链接上，并且如果映射所有内容的工作量太大，则可以
我有一个asp.net.aspx页面(比如fruits.aspx页面)，其中列出了所有水果(苹果、香蕉、芒果等)，并带有缩略图、标题和指向每种水果各自详细信息页面的链接。现在，在XSLT和用户控件的帮助下，所有这些数据都在反手代码的帮助下从XML中检索。现在，由于每个水果的详细信息页面的数据和URL都不是静态地存在于此页面上，因此据我所知，它不会被抓取和索引。是否有一种变通方法可以使每个水果的详细信息页面都被抓取并编入索引。如果我的动态URL只包含类似“?var=value”的内容，我可以使用URL重写通过静态/动态转换来解决它。但是这里URL本身不存在，而是从后面的代码生成的。
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion感谢阅读我的问题。我正在建立一个网站，该网站将列出每个制造商的产品。我计划将URL结构化为以下变体:www.mysite.com/manufacturer_name/product_name/product_idwww.mysite.com/product_name/product_idwww.mysite.com/manufacturer_name有数百万种产品，我希望所有主要搜索引擎都能抓
