草庐IT

nao-robot

全部标签

nginx禁止访问robots.txt防泄漏web目录

关于robots.txt文件:搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。访问www.linuxom.com/robots.txt,可以得知我们网站中存在/admin和/bbs,其中/admin是关于后台管理的目录,把这个路径轻易的暴漏显然是不×××全的,下面我们可以通过禁止访问.txt类型的文件来,增加网站的安全性。 修改nginx.conf文件,vi

nginx禁止访问robots.txt防泄漏web目录

关于robots.txt文件:搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。访问www.linuxom.com/robots.txt,可以得知我们网站中存在/admin和/bbs,其中/admin是关于后台管理的目录,把这个路径轻易的暴漏显然是不×××全的,下面我们可以通过禁止访问.txt类型的文件来,增加网站的安全性。 修改nginx.conf文件,vi