关于爬虫抓取数据的合法性问题,2017 年有个很著名的案子。
硅谷有家公司叫 hiQ Labs,干的是用爬虫抓取公开简历信息,向企业提供员工离职风险预警的买卖。简历大户 LinkedIn 当然不乐意,除了用技术手段对抗,还向 hiQ Labs 发出了律师函,说你别再抓我数据了,再抓我要告你。
结果 hiQ Labs 先下手为强,把 LinkedIn 给告了,认为 LinkedIn 阻止别人抓取公开数据是反竞争行为。
在法庭上,LinkedIn 说隐私保护, hiQ Labs 说不正当竞争;LinkedIn 说非法侵入, hiQ Labs 说言论自由;LinkedIn 说公共利益, hiQ Labs 也说公共利益。所以,这种事情从来都没那么简单。
不过,法庭总归还是要有一个判决。2017 年 8 月 14 日,美国加州北区联邦地方法庭法官发出禁令,要求 LinkedIn 在 24 小时内取消对 hiQ Lab 抓数据的技术对抗措施,同时撤回两封律师函,并不得再发这类律师函。