钟鼎山林都是梦,人间宠辱休惊,只消闲处遇平生。——辛弃疾
最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于那些不必要的蜘蛛,时不时来抓取我们的网站,要不要屏蔽掉呢?