如果我的论坛站点有大量线程，搜索引擎机器人每次都会抓取整个站点吗？假设我的站点中有超过1,000,000个线程，每次机器人抓取我的站点时它们都会被抓取吗？或者它是如何工作的？我希望我的网站被编入索引，但我不希望机器人杀死我的网站!换句话说，我不希望机器人每次抓取我的网站时都一次又一次地抓取旧线程。另外，之前爬取的页面呢？机器人每次抓取我的网站时都会请求它们以确保它们仍在网站上吗？我问这个是因为我只链接到最新的线程，即有一个包含所有最新线程列表的页面，但我没有链接到旧线程，它们必须通过URL明确请求，例如http://example.com/showthread.aspx?threadi
有没有办法从搜索引擎抓取中排除ControllerAction？有没有MVC动词(Attribute)，可以加在action名称上面？我想从搜索引擎抓取中排除以下网址Home/Secret?type=1但是我希望这个可以被搜索引擎抓取Home/Search 最佳答案 我认为您需要动态生成一个robots.txt文件。您应该创建一个RobotController来提供robots.txt文件。CheckReferenceHere与上述链接相关的是一个关于允许.txt扩展名由操作提供服务的问题:https://stackoverflow
我想知道是否可以自己做同样的事情，或者搜索引擎自己做？我想添加一些链接，如下所示: 最佳答案 Google自行执行此操作，您所能做的就是(然后)通过Google网站站长工具删除一些链接。它们通常被命名为SiteLinks您可以在谷歌上搜索“如何获取站点链接GoogleSERP”等等-有数以千计的提示可以帮助Google前进。清晰的导航结构和内部链接结构以及一致的anchor文本当然有帮助。 关于web-如何使我的网站在搜索引擎结果中看起来像下图，我们在StackOverflow上找到一个
我如何判断谷歌机器人是否在读取我的javascript生成的内容？我有一个AJAX脚本，它可以在页面上动态生成一些文本...此内容不会因用户而改变，而只会因日期/时间而改变。我不确定如何判断谷歌是否看到了它。 最佳答案 搜索引擎机器人没有javascript，因此它们看不到任何通过AJAX等动态添加到您的页面的内容。在您的浏览器选项中，关闭Javascript并重新加载您的网站。他们只会看到其中的内容和链接。解决方案:在您的页面上，在纯HTML中放置一个指向页面的链接，该页面显示您的其余内容(您将通过AJAX加载的内容)，然后让Ja
如果我有2个域名指向同一个网站(例如:microsoft.com和microsoft.net都指向microsoft.com)，搜索引擎如何区分这两个网站是同一个网站而不是重复的内容？我的问题是因为我知道例如Google有一个重复内容过滤器，我想知道如何明确地说这两个域是相同的并且不是重复内容的网站。谢谢! 最佳答案 选择哪个作为主域，然后在另一个上实现301重定向。 关于asp.net-如何告诉搜索引擎两个域名是同一个网站？，我们在StackOverflow上找到一个类似的问题：
我设置了一些下拉菜单，允许用户通过在多个下拉菜单中选择选项来查找我网站上的页面:例如。汽车颜色、年份这将生成如下链接:mysite.xyz/blue/2010/唯一的问题是，因为这个链接是用Javascript动态组合的，我还必须将下拉列表中的每个可能组合组合成一个列表，如:Nojavascriptenabled?Hereareallthelinks:mysite.xyz/blue/2009/mysite.xyz/blue/2010/mysite.xyz/red/2009/mysite.xyz/red/2010/我的问题是，如果我将这些放在这样的标签中，我会受到搜索引擎(例如Googl
我只是想知道Google或其他搜索引擎是否在您的网页上执行JavaScript。例如，如果您使用JavaScript设置标题标签，Google搜索引擎会看到吗？ 最佳答案 已经为SEO目的进行了一些实验，这表明至少大玩家(例如Google)可以并且确实遵循一些简单的JavaScript。他们避免偷偷摸摸的重定向等，但一些基本的内容操作似乎确实可以通过。(我没有方便Google自己确认或否认这一点的链接，这只是我之前处理此问题时遇到的各种帖子。)然而，这通常被认为是不可靠的。如果出于任何重要目的进行SEO，请不要依赖蜘蛛程序索引大量动
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭6年前。Improvethisquestion我刚刚获得了一份契约(Contract)，负责整理以前的“开发人员”留给我的一个客户的电子商务网站毒蛇巢穴。其中大约有几十个使用定制的购物车和CMS系统，这些系统过于嵌入式，无法转储并且运行良好，但迫切需要清理、重构和错误修复，因此需要相当大量的重新编码工作。作为其中的一部分，我的客户迫切希望确保他可以获得最佳的搜索引擎排名。像许多开发人员一样，我对这个想法只是点头之
我有这个html代码，想使用div中的文本作为javascriptslider的“divHiddenTexts”，我希望搜索引擎能够找到该文本。我不想要的是使用CSS隐藏文本的惩罚，这在这个问题中讨论过SEO:Ish1tagthat’shiddenusingdisplay:nonegivenprominencebySearchengines?我的问题是:如果我改为使用javascript隐藏文本，我会受到惩罚吗？通过在DOM就绪函数中添加“隐藏”类。我读到搜索机器人没有打开javascript，所以他们会看到文本而不会发现它是“类似垃圾邮件”的，对吗？Sometext...blabla
如果您为了某种不可避免的维护任务而不得不关闭一个站点(并且它的站点不够大，您没有备份服务器)，您应该让您的服务器返回什么HTTP状态代码，以尽量减少搜索的可能性搜索引擎会认为网站不见了？我找到了thislistofstatuscodes来自W3C，其中以下似乎适用:503服务不可用500内部服务器错误408超时404未找到我觉得503最合适，不知道搜索引擎会喜欢什么。 最佳答案 Fromthehorse'smouth:Ifmysiteisdownformaintenance,howcanItellGooglebottocomebac
