我正在开发一个网络应用程序。我想使用站点地图文件将站点提交给网络爬虫。有很多方法可以做到这一点使用站点地图.xml使用sitemap.html使用urllist.txt使用压缩站点地图文件我们需要做的就是在应用程序的根目录中添加这些文件之一。我的问题是，其中哪个选项比较好用？ 最佳答案 我会使用此处定义的xml站点地图http://sitemaps.org/Html站点地图更适合用户导航，而urllist.txt似乎是提供指向yahoo的链接的旧方法。上述站点上定义的格式的XML站点地图由Google、Yahoo!创建。和微软，并得

我在Google、Bing等网站上收到了一些目录查询，我不一定希望全世界都看到这些目录。如何防止它抓取这些页面/目录？另外，如何删除以前的条目？ 最佳答案 友好网络爬虫(Google、Bing、Yahoo、Baidu等)会尊重您的robots.txtfile.来自非常有用的示例http://www.robotstxt.org/:User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/junk/当然，如果您真的想要限制您的私有(private)内容，您最好使用网络服务器的authen

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭10个月前。Improvethisquestion我的摄影网站位于photography.brianbattenfeld.com，但现在它已成为我的主要收入，而且我几乎全职从事这项工作，所以我的主要领域应该是我的摄影作品集。我正在考虑将brianbattenfeldphotography.com和/或brianbattenfeld.com作为我的新摄影域名。所以我的问题是:如果我将brianbattenfeldphotography.com设为pho

我将通过比较两个项目的托管文档来进行解释:PostgreSQL和Django。PostgreSQL项目的文档遵循架构http://www.postgresql.org/docs/.，而Django项目的文档遵循​​URL模式https://docs.djangoproject.com/en/..然而，谷歌对这些项目的处理方式却截然不同:当在谷歌上搜索“Djangofoobar”时，结果都链接到最新版本，这可能是所希望的；但是当在Google上搜索“Postgresfoobar”时，结果链接到各种不同的版本，其中一些版本非常旧。似乎Django项目有一些技术可以通知谷歌最新的文档。但是，

我想添加一个元关键字标签，它必须与我的drupal网站中的每个页面一起出现。怎么做？ 最佳答案 使用metatag太简单了模块.对于drupal6，我发现了这个:MetatagsNodeType欢迎 关于drupal-如何在我的drupal应用程序的每个页面中添加元关键字标签？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/12382916/

我有一个非常简单的网站，主要有图片、登录表单和注册链接。除了显示使用条款和版权声明链接的页脚外，正文中没有实际文本。我的网站目前显示在搜索引擎结果中，显示的是页脚内容，而不是我在中输入的内容标签。这是为什么？我怎样才能不让搜索引擎在显示页脚内容的情况下为我的网站编制索引？或者至少先显示元描述？我是否需要在某处以title属性或alt属性的形式放置一些文本？ 最佳答案 正如+Filburt所指出的，您可以将您的网站添加到网站站长工具中，这将为您提供有关您的网站在网络上和Google搜索结果中的存在情况的宝贵信息。它还可以为您提供有关我

我有一个安全站点。Google(和其他搜索引擎)会抓取网站上的页面吗？ 最佳答案 是的，Google会索引HTTP和HTTPS页面。如果您尝试使用搜索，这是显而易见的，尽管我目前似乎无法从任何“官方”来源找到确认。 关于search-Google会抓取HTTPS链接吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/9980613/

我们有近十万条路径需要301重定向到新结构。像这样的东西:lang.site.com/section/subsection/article->lang.site.com/newsection/newsubsection/article过去，当从domain.com迁移到newdomain.com时，我们只会放一个.htaccess文件包含10k+脚本生成的行，将旧路径匹配到新路径，并且工作正常。自.htaccess以来，它并未影响新域的性能。仅在用户尝试访问旧域时由Apache读取。这现在行不通了，因为域名没有改变，只是路径结构改变了。更改路径的数量接近100,000条标记，因此显然A

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭4年前。Improvethisquestion我们正在进行重新设计，想测试谷歌查看我们网站的方式，但我们不希望此时将其编入索引。我们有一个单独的子域用于开发，但是如果我们在robots.txt中不允许抓取，我们就无法进行任何测试，因为谷歌爬虫不会抓取任何测试页面。有没有办法通过谷歌网站管理员控制台运行一些测试，而不允许网站被公开索引？

目前url显示是这样的新闻/?tid=电信我需要别名新闻/电讯使用干净的URL它在所有页面中都有效，但在View中暴露的过滤器不起作用 最佳答案 您是否尝试过View上下文过滤器来解决您的问题？ 关于view-SEO友好暴露过滤器ViewDrupal7，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/19443174/