在robot.txt文件中，我放置了一个URL/custompages/*并且googlebot不应抓取与“/custompages/”匹配的页面。但是当我查看网站管理员时，我仍然可以从这些链接中看到错误消息。User-agent:*Disallow:/search/application/*Disallow:/custompages/*上面是我的robot.txt文件。在网站管理员上，我可以看到Googlebot无法访问此URL的内容，因为服务器在尝试处理请求时出现内部错误。这些错误往往与服务器本身有关，而不是与请求有关。对于网址custompages/savesearch?alid