法院如何判断数据爬取行为是否合法？

网络爬虫（WebCrawler），也被称为网络蜘蛛或网络机器人，本质上是一种自动高效提取目标数据的程序或脚本，可按照指令通过遍历网络内容的方式，从数据库、数据网站、手机APP等对象中检索、搜集、提取所需的数据。网络爬虫最早作为通用搜索引擎应用到具体场景中，如最为大众所熟知的谷歌、百度、360搜索等皆以此为基础，多用于爬取目标数据进行统计、通过爬虫抢购商品、整合平台信息进行对比以及爬取个人信息等等。

与网络爬虫紧密联系的另一概念是爬虫协议（robots协议），是指互联网站所有者使用robots.txt文件，向网络机器人给出网站指令的协议。该robots.txt文件告知爬虫软件本站点中哪部分内容不允许被抓取，哪些可以抓取。其本质上是受访网站所有者与网络爬虫使用者之间的一种沟通方式，但不具有强制约束性。以是否违背被爬取者意愿进行区分，网络爬虫可以分为善意爬虫和恶意爬虫。善意爬虫符合robots协议的规范行为，爬取网络上的公开信息、经授权信息或对象网站中允许访问的内容；而恶意爬虫除爬取公开信息和允许访问内容以外，还会爬取robots协议中不允许访问的内容，更有甚者故意采取技术手段强行突破网站设置的限制，暴力爬取网站后台数据甚至用户个人信息等内容。较为著名的网络爬虫案件有新浪诉脉脉不正当竞争案，大众点评诉百度不正当竞争案，“车来了”APP网络爬虫技术刑事案等案件。

对网络爬虫有较强针对性的规制手段集中于《刑法》关于侵犯个人信息犯罪及计算机信息系统犯罪相关条文中。而关于网络爬虫造成的民事侵权责任，现行法律法规暂未作出针对性规定。目前大部分恶意爬虫侵权行为是通过适用《反不正当竞争法》对所涉不正当竞争行为进行规制或适用《中华人民共和国著作权法》（以下简称《著作权法》）对知识产权的法益保护进行司法追责与救济。

当前，法院就数据被爬取方竞争损害分析的思路，大体分为以下三种：（1）法院仅分析数据被爬取方，因爬取行为导致其在流量或数据等数字化商业利益方面受到的损害，仅凭借损害行为存在的事实，加上损害行为侵权因果分析，判定爬取方行为具有不正当性；（2）法院在分析竞争损害的基础上，对爬取行为的正当性予以分析，认为在自由开放的市场竞争中，允许一定程度的竞争损害发生，被爬取方需将损害作为一种竞争结果予以适当容忍，或者认定被爬取方的损失，尚未达到需要司法救济的程度。此类分析逻辑反映出法院已对数据爬取行为的正当性边界予以关注，注意到数据财产性价值只有在流动中才能得以实现的特性，不再将损害结果的认定作为直接判定数据爬取行为不正当性的充分条件，但仍然构成数据爬取行为不正当性认定的必要条件。（3）在（2）的基础上，认识到除保障其他经营者的合法权益外，还需要保护消费者合法权益与社会公共利益，在爬取行为是否违反商业道德的判断上，需从更广阔的市场环境、更多的利益主体的合理权益的维度去判断，且在分析时考虑爬取行为对消费者权益和市场整体利益的积极影响。
责任编辑  周 秀
美工    黄惠丽