恶意的蜘蛛行为不光会造成服务器的压力，并且对seo没有实质性用处，下面就拿SemrushBot蜘蛛为例来说明如何防止恶意爬取SemrushBot蜘蛛原型SemrushBot蜘蛛爬虫UA："Mozilla/5.0(compatible;SemrushBot/6~bl;+http://www.semrush.com/bot.html)"为什么要屏蔽SemrushBot蜘蛛抓取1、SemrushBot蜘蛛抓取过多增加网站服务器负担2、SemrushBot不会给网站带来实质性帮助SemrushBot蜘蛛爬虫屏蔽：通过robots.txtUser-Agent:SemrushBotDisallow:/注意
