草庐IT

seo - 站点地图包含被 Google 网站站长工具下的 robots.txt 阻止的网址

coder 2024-03-01 原文

真的很郁闷。是因为技术错误还是谷歌的缓存效应？我还要再等几天吗？

自昨晚以来，我已经多次将我的机器人文件和站点地图更新到 Google 网站管理员工具。但是每次我重新提交站点地图时，它总是说:

Sitemap contains urls which are blocked by robots.txt.

似乎站点地图中的所有 URL 都被阻止了。示例:

http://janwawa.com/en
http://janwawa.com/en/
http://janwawa.com/en/album

这是我的机器人文件

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /qsystem/
Disallow: /piwik/
Disallow: /webpublisher/
Disallow: /en/quotation/
Disallow: /th/quotation/

这是我的站点地图

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xhtml="http://www.w3.org/1999/xhtml">

    <url>
        <loc>http://janwawa.com/en</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/hc005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/hk005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/jp005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/kr005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ib005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ib006.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ib010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ij005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/im005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/eu005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/eu010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m010f.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m015.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m015f.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m020.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m025.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m030.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m035.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m040.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m045.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m050.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m055.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m060.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m065.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m070.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/m075.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms015.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms020.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms025.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms030.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms035.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms040.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms045.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/ms050.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/s005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/s010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/hd005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/hd010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/hd015.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/t005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/tour/vn005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/calendar/month.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/heritage.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/visits.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/meals.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/shopping.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/album</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/contact.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/calendar/month.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/en/start_here.php</loc>
    </url>
        <url>
        <loc>http://janwawa.com/th</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/hc005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/hk005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/jp005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/kr005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ib005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ib006.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ib010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ij005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/im005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/eu005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/eu010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m010f.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m015.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m015f.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m020.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m025.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m030.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m035.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m040.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m045.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m050.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m055.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m060.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m065.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m070.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/m075.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms015.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms020.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms025.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms030.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms035.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms040.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms045.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/ms050.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/s005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/s010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/hd005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/hd010.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/hd015.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/t005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/tour/vn005.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/calendar/month.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/heritage.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/visits.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/meals.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/shopping.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/album</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/contact.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/calendar/month.php</loc>
    </url>
    <url>
        <loc>http://janwawa.com/th/start_here.php</loc>
    </url>

<url>
    <loc>http://janwawa.com/en/</loc>
    <xhtml:link 
                 rel="alternate"
                 hreflang="th"
                 href="http://janwawa.com/th/"
                 />
    <xhtml:link 
                 rel="alternate"
                 hreflang="en"
                 href="http://janwawa.com/en/"
                 />
</url>

<url>
    <loc>http://janwawa.com/th/</loc>
    <xhtml:link 
                 rel="alternate"
                 hreflang="en"
                 href="http://janwawa.com/en/"
                 />
     <xhtml:link 
                 rel="alternate"
                 hreflang="th"
                 href="http://janwawa.com/th/"
                 />
</url>

</urlset>

最佳答案

好吧，我去过你的网站一次，看了你的网站 map 和 robots.txt，你似乎做得对，但问题是谷歌网站管理员工具。 这里有一些你应该尝试的提示，让我知道你是否能够弄清楚， 转到您的网站管理员仪表板->选择站点->以Google方式获取->然后将任何属于您的站点目录的URL放入要让Google抓取的站点，然后提交索引，如果Google没有发现任何错误，那么您的问题将通过以下方法解决 再次以 Google 身份访问 fetch，然后输入 h ttp://janwawa.com/en 并使用 CRAWL DIRECT URL AND LINK 选项提交索引。

好的，如果您发现任何问题，请告诉我。

关于seo - 站点地图包含被 Google 网站站长工具下的 robots.txt 阻止的网址，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27579755/

站长Googlegtltlocseogoogle-search-consolexml-sitemap

有关seo - 站点地图包含被 Google 网站站长工具下的 robots.txt 阻止的网址的更多相关文章

  1. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  2. ruby - 检查字符串是否包含散列中的任何键并返回它包含的键的值 - 2

    我有一个包含多个键的散列和一个字符串，该字符串不包含散列中的任何键或包含一个键。h={"k1"=>"v1","k2"=>"v2","k3"=>"v3"}s="thisisanexamplestringthatmightoccurwithakeysomewhereinthestringk1(withspecialcharacterslike(^&*$#@!^&&*))"检查s是否包含h中的任何键的最佳方法是什么，如果包含，则返回它包含的键的值？例如，对于上面的h和s的例子，输出应该是v1。编辑:只有字符串是用户定义的。哈希将始终相同。 最佳答案

  3. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  4. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  5. postman接口测试工具-基础使用教程 - 2

    1.postman介绍Postman一款非常流行的API调试工具。其实，开发人员用的更多。因为测试人员做接口测试会有更多选择，例如Jmeter、soapUI等。不过，对于开发过程中去调试接口，Postman确实足够的简单方便，而且功能强大。2.下载安装官网地址:https://www.postman.com/下载完成后双击安装吧，安装过程极其简单，无需任何操作3.使用教程这里以百度为例,工具使用简单，填写URL地址即可发送请求，在下方查看响应结果和响应状态码常用方法都有支持请求方法:getpostputdeleteGet、Post、Put与Delete的作用get：请求方法一般是用于数据查询，

  6. ruby-on-rails - 使用包含多个关联和单独的条件 - 2

    我的Gallery模型中有以下查询:media_items.includes(:photo,:video).rank(:position_in_gallery)我的图库模型有_许多媒体项，每个都有一个照片或视频关联。到目前为止，一切正常。它返回所有media_items包括它们的photo或video关联，由media_item的position_in_gallery属性排序。但是我现在需要将此查询返回的照片限制为仅具有is_processing属性的照片，即nil。是否可以进行相同的查询，但条件是返回的照片等同于:.where(photo:'photo.is_processingIS

  7. ruby-on-rails - 有没有一种工具可以在编码时自动保存对文件的增量更改？ - 2

    我最喜欢的Google文档功能之一是它会在我工作时不断自动保存我的文档版本。这意味着即使我在进行关键更改之前忘记在某个点进行保存，也很有可能会自动创建一个保存点。至少，我可以将文档恢复到错误更改之前的状态，并从该点继续工作。对于在MacOS(或UNIX)上运行的Ruby编码器，是否有具有等效功能的工具？例如，一个工具会每隔几分钟自动将Gitcheckin我的本地存储库以获取我正在处理的文件。也许我有点偏执，但这点小保险可以让我在日常工作中安心。 最佳答案 虚拟机有些人可能讨厌我对此的回应，但我在编码时经常使用VIM，它具有自动保存功

  8. ruby - 我怎样才能只写一次 "Text"并同时检查 path_info 是否包含 'A' ？ - 2

    -if!request.path_info.include?'A'%{:id=>'A'}"Text"-else"Text"“文本”写了两次。我怎样才能只写一次并同时检查path_info是否包含“A”？ 最佳答案 有两种方法可以做到这一点。使用部分，或使用content_forblock:如果“文本”较长，或者是一个重要的子树，您可以将其提取到一个部分。这会使您的代码变干一点。在给出的示例中，这似乎有点矫枉过正。在这种情况下更好的方法是使用content_forblock，如下所示:-if!request.path_info.inc

  9. Ruby，使用包含 TK GUI 的 ocra 部署一个 exe - 2

    Ocra无法处理需要“tk”的应用程序require'tk'puts'nope'用奥克拉http://github.com/larsch/ocra不起作用(如链接中的一个问题所述)问题:https://github.com/larsch/ocra/issues/29(Ocra是1.9的"new"rubyscript2exe，本质上它用于将rb脚本部署为可执行文件)唯一的问题似乎是缺少tcl的DLL文件我不认为这是一个问题据我所知，问题是缺少tk的DLL文件如果它们是已知的，则可以在执行ocra时将它们包括在内有没有办法知道tk工作所需的DLL依赖项？ 最佳答

  10. ruby - 允许主机名包含下划线的 URI.parse 的替代方法 - 2

    我正在使用DMOZ的listofurltopics，其中包含一些具有包含下划线的主机名的url。例如:608609TheOuterHeaven610InformationandimagegalleryofMcFarlane'sactionfiguresforTrigun,Akira,TenchiMuyoandotherJapaneseSci-Fianimations.611Top/Arts/Animation/Anime/Collectibles/Models_and_Figures/Action_Figures612虽然此url可以在网络浏览器中使用(或者至少在我的浏览器中可以使用:

随机推荐