我正在rails中开发一个应用程序，它需要检查输入的网站是否生成了搜索引擎友好的URL。我想到的一个解决方案是使用nokogiri来解析网站的HTML并在链接标记中查找查找URL并查看它们是否对搜索引擎友好。是否有任何其他方法可以做到这一点？任何帮助都会非常有用。 最佳答案 这里有两个问题:您如何正式(以编程方式)定义“搜索引擎友好URL是什么”。我假设你已经有一些方法可以做到这一点。所以剩下...如何检查网站上的所有链接。所以对于(2)，我会看类似Anemone的内容这将使您轻松抓取完整的网站:AnemoneisaRubylibr
我一直认为AJAX驱动的内容对搜索引擎是不可见的。(即通过XMLHTTPRequest将内容插入到DOM中)例如，在这个站点中，浏览器通过AJAX请求加载主要内容:http://www.trustedsource.org/query/terra.cl...如果您在禁用Javascript的情况下查看此页面，主要内容区域将空白。但是，Google缓存会在AJAX加载后显示完整内容:http://74.125.155.132/search?q=cache:JqcT6EVDHBoJ:www.trustedsource.org/query/terra.cl+http://www.trusted
如果我的论坛站点有大量线程，搜索引擎机器人每次都会抓取整个站点吗？假设我的站点中有超过1,000,000个线程，每次机器人抓取我的站点时它们都会被抓取吗？或者它是如何工作的？我希望我的网站被编入索引，但我不希望机器人杀死我的网站!换句话说，我不希望机器人每次抓取我的网站时都一次又一次地抓取旧线程。另外，之前爬取的页面呢？机器人每次抓取我的网站时都会请求它们以确保它们仍在网站上吗？我问这个是因为我只链接到最新的线程，即有一个包含所有最新线程列表的页面，但我没有链接到旧线程，它们必须通过URL明确请求，例如http://example.com/showthread.aspx?threadi
有没有办法从搜索引擎抓取中排除ControllerAction？有没有MVC动词(Attribute)，可以加在action名称上面？我想从搜索引擎抓取中排除以下网址Home/Secret?type=1但是我希望这个可以被搜索引擎抓取Home/Search 最佳答案 我认为您需要动态生成一个robots.txt文件。您应该创建一个RobotController来提供robots.txt文件。CheckReferenceHere与上述链接相关的是一个关于允许.txt扩展名由操作提供服务的问题:https://stackoverflow
我想知道是否可以自己做同样的事情，或者搜索引擎自己做？我想添加一些链接，如下所示: 最佳答案 Google自行执行此操作，您所能做的就是(然后)通过Google网站站长工具删除一些链接。它们通常被命名为SiteLinks您可以在谷歌上搜索“如何获取站点链接GoogleSERP”等等-有数以千计的提示可以帮助Google前进。清晰的导航结构和内部链接结构以及一致的anchor文本当然有帮助。 关于web-如何使我的网站在搜索引擎结果中看起来像下图，我们在StackOverflow上找到一个
我如何判断谷歌机器人是否在读取我的javascript生成的内容？我有一个AJAX脚本，它可以在页面上动态生成一些文本...此内容不会因用户而改变，而只会因日期/时间而改变。我不确定如何判断谷歌是否看到了它。 最佳答案 搜索引擎机器人没有javascript，因此它们看不到任何通过AJAX等动态添加到您的页面的内容。在您的浏览器选项中，关闭Javascript并重新加载您的网站。他们只会看到其中的内容和链接。解决方案:在您的页面上，在纯HTML中放置一个指向页面的链接，该页面显示您的其余内容(您将通过AJAX加载的内容)，然后让Ja
如果我有2个域名指向同一个网站(例如:microsoft.com和microsoft.net都指向microsoft.com)，搜索引擎如何区分这两个网站是同一个网站而不是重复的内容？我的问题是因为我知道例如Google有一个重复内容过滤器，我想知道如何明确地说这两个域是相同的并且不是重复内容的网站。谢谢! 最佳答案 选择哪个作为主域，然后在另一个上实现301重定向。 关于asp.net-如何告诉搜索引擎两个域名是同一个网站？，我们在StackOverflow上找到一个类似的问题：
我设置了一些下拉菜单，允许用户通过在多个下拉菜单中选择选项来查找我网站上的页面:例如。汽车颜色、年份这将生成如下链接:mysite.xyz/blue/2010/唯一的问题是，因为这个链接是用Javascript动态组合的，我还必须将下拉列表中的每个可能组合组合成一个列表，如:Nojavascriptenabled?Hereareallthelinks:mysite.xyz/blue/2009/mysite.xyz/blue/2010/mysite.xyz/red/2009/mysite.xyz/red/2010/我的问题是，如果我将这些放在这样的标签中，我会受到搜索引擎(例如Googl
我只是想知道Google或其他搜索引擎是否在您的网页上执行JavaScript。例如，如果您使用JavaScript设置标题标签，Google搜索引擎会看到吗？ 最佳答案 已经为SEO目的进行了一些实验，这表明至少大玩家(例如Google)可以并且确实遵循一些简单的JavaScript。他们避免偷偷摸摸的重定向等，但一些基本的内容操作似乎确实可以通过。(我没有方便Google自己确认或否认这一点的链接，这只是我之前处理此问题时遇到的各种帖子。)然而，这通常被认为是不可靠的。如果出于任何重要目的进行SEO，请不要依赖蜘蛛程序索引大量动
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭6年前。Improvethisquestion我刚刚获得了一份契约(Contract)，负责整理以前的“开发人员”留给我的一个客户的电子商务网站毒蛇巢穴。其中大约有几十个使用定制的购物车和CMS系统，这些系统过于嵌入式，无法转储并且运行良好，但迫切需要清理、重构和错误修复，因此需要相当大量的重新编码工作。作为其中的一部分，我的客户迫切希望确保他可以获得最佳的搜索引擎排名。像许多开发人员一样，我对这个想法只是点头之
