蜘蛛协议 - 前端资源网

Robots协议探究：如何好好利用爬虫提高网站权重

Deshun 发布于 6年前 (2019-03-29) 3677℃ 评论(0) 赞 (0)

站长们通常希望百度、Google 这样的大型搜索引擎来抓取网站内容，但又很厌恶其他来路不明的网络爬虫抓取自己的信息。这样才有“好爬虫”和“坏爬虫”这样的说法。提到“好爬虫”，就不得不提网络爬虫与web之间的访问授权协议——Robots协议了。Robots协议的定义Robots协议...