搜一下

标签: 爬虫

robots规则以及阻止垃圾爬虫
反爬虫蜘蛛攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站