从搜索引擎中隐藏我的暂存网站的最佳推荐方法是什么，我用Google搜索了一下，发现有些人说我应该放一个元标记，有些人说我应该在我的网站目录中放一个文本文件，我想知道标准方式。我目前的网站是在asp.net中，而我相信它一定是任何网站的通用方式，无论其编程语言如何。 最佳答案 使用robots.txt文件。看这里http://www.robotstxt.org/robotstxt.html 关于asp.net-如何完全隐藏搜索引擎的网站？，我们在StackOverflow上找到一个类似的问
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我们有一个域，我们已经在其中写博客了:blog.domain.com在www.domain.com上显然有指向实际网站的指针。我已经在谷歌索引中看到它，但我担心当我们发布时谷歌会认为它不好，因为它说“正在build中”或“即将推出”。是否有任何HTTPheader或实践可以帮助解决这个问题？
我正在rails中开发一个应用程序，它需要检查输入的网站是否生成了搜索引擎友好的URL。我想到的一个解决方案是使用nokogiri来解析网站的HTML并在链接标记中查找查找URL并查看它们是否对搜索引擎友好。是否有任何其他方法可以做到这一点？任何帮助都会非常有用。 最佳答案 这里有两个问题:您如何正式(以编程方式)定义“搜索引擎友好URL是什么”。我假设你已经有一些方法可以做到这一点。所以剩下...如何检查网站上的所有链接。所以对于(2)，我会看类似Anemone的内容这将使您轻松抓取完整的网站:AnemoneisaRubylibr
我一直认为AJAX驱动的内容对搜索引擎是不可见的。(即通过XMLHTTPRequest将内容插入到DOM中)例如，在这个站点中，浏览器通过AJAX请求加载主要内容:http://www.trustedsource.org/query/terra.cl...如果您在禁用Javascript的情况下查看此页面，主要内容区域将空白。但是，Google缓存会在AJAX加载后显示完整内容:http://74.125.155.132/search?q=cache:JqcT6EVDHBoJ:www.trustedsource.org/query/terra.cl+http://www.trusted
当我的网站托管在AWSS3上时，我想在无服务器架构中改进SEO(即，在搜索引擎上正确索引我的页面)。当我使用JavaScript方法进行路由(类似于angular，但更简单)并获取动态内容以填充元标记时，我发现对于没有JavaScript支持的抓取工具(如Facebook的抓取工具)来说，一切都非常麻烦。我已经插入了默认的元标记，当然，这些元标记加载得很好，但我需要更新的元标记。我知道大多数人在服务器上或通过类似Prerender.io的东西使用预渲染，但我真的很想找到一种对无服务器方法有意义的替代方案。我想我已经弄清楚了，因为OpenGraph元标记允许使用“指针”URL，如果需要，
我想知道是否可以自己做同样的事情，或者搜索引擎自己做？我想添加一些链接，如下所示: 最佳答案 Google自行执行此操作，您所能做的就是(然后)通过Google网站站长工具删除一些链接。它们通常被命名为SiteLinks您可以在谷歌上搜索“如何获取站点链接GoogleSERP”等等-有数以千计的提示可以帮助Google前进。清晰的导航结构和内部链接结构以及一致的anchor文本当然有帮助。 关于web-如何使我的网站在搜索引擎结果中看起来像下图，我们在StackOverflow上找到一个
如果我有2个域名指向同一个网站(例如:microsoft.com和microsoft.net都指向microsoft.com)，搜索引擎如何区分这两个网站是同一个网站而不是重复的内容？我的问题是因为我知道例如Google有一个重复内容过滤器，我想知道如何明确地说这两个域是相同的并且不是重复内容的网站。谢谢! 最佳答案 选择哪个作为主域，然后在另一个上实现301重定向。 关于asp.net-如何告诉搜索引擎两个域名是同一个网站？，我们在StackOverflow上找到一个类似的问题：
我们有一个使用angular-translate提供中文和英文版本的网站。前端确定语言设置。从客户端来看没问题，但是当googlebot出于SEO目的抓取我们的内容时，他们无法抓取内容。相反，他们在翻译之前抓取语法{{'CONTENT_1'|translate}}也如下图所附!GoogleBotsearchresult我们目前正在使用ajaxsnapshots为谷歌机器人提供快照。想知道是否有人知道如何使用AngularJS和Angular翻译正确地提供国际化内容! 最佳答案 当前的问题与angular-translate无关，而是
我已经设置了一个使用ui-state路由器的AngularJS应用程序。它有一些静态页面，除此之外还有配置文件页面，这些页面根据配置文件ID生成动态页面。出于SEO目的，我使用了PhantomJS并生成HTML以提供爬虫响应。但是，我怎样才能生成包含所有动态页面URL的sitemap.xml并通过该爬虫可以获取并在搜索引擎上列出？ 最佳答案 使用JavaScript您可以使用XMLWriter创建XML。然后您可以将此XML作为字符串传递给您的Web服务器。查看XMLWriter.这是使用XMLWriter编写XML的可用方法的教程
我无法让网站站长工具丰富网页摘要测试工具正确返回schema.org的WebPageElement类型的标记。http://schema.org/WebPageElement有人有托管此标记的网站吗？我正在为在Google搜索中返回不受欢迎的代码段的网站寻找解决方案。该网站是一个交互式幻灯片演示文稿库，具有高级搜索功能。这个网站上的许多不同的搜索页面每周都会从Google索引中删除。这些页面上返回的片段包括导航菜单。没有h1标签，导航菜单的第一行是粗体，所以谷歌将菜单识别为页面的主要内容，并在搜索结果中返回此信息。我需要Google将实际页面内容放在搜索结果中，以提高点击率并解决可能的
