抓取公开产品信息，爬虫程序“爬一爬”？

数据是信息时代的关键生产要素，

企业获取、分析、利用数据的能力

在市场竞争中越来越重要。

爬虫技术因其高效的自动化数据处理能力，

成为企业搜集市场情报、

监控竞争对手、分析用户行为的重要工具。

但爬虫技术的使用并非没有界限，

即使是公开数据，

擅自使用爬虫技术不当抓取

也可能违法甚至涉嫌犯罪。

2020年，王某从某名牌大学IT专业毕业后入职了一家网络公司。在浏览网络论坛时，王某发现爬虫技术目前应用火热，尤其在电商行业竞品分析中市场需求旺盛，这让王某嗅到了“生财之道”。

2021年，王某开发出一款能破解“得物”APP防护措施、自动抓取商品数据的爬虫程序，在微信朋友圈、博客等平台发布介绍贴并售卖，短短两年间，共计获利60余万元。

2021年10月，王某发布的贴文被得物公司员工发现，该员工添加其微信购买算法。经验证，该算法的确能够从“得物”APP获取包括产品定价信息等核心数据，得物公司立即向公安机关报案。

经公安机关侦查，上述爬虫程序通过破解API加密算法、批量获取设备身份指纹SK等技术方法绕过防护机制，无需授权即可获取服务器数据。

2023年11月，王某被公安机关抓获，到案后如实供述犯罪事实，自愿认罪认罚并退缴违法所得。

普陀区人民法院经审理后认为，被告人王某明知其开发的爬虫程序及接口具有破解APP安全保护措施并获取商品数据的功能，仍通过网络向他人售卖并提供维护服务等，经审计违法所得60余万元，其行为已构成提供侵入计算机信息系统程序罪，且情节特别严重，依法应予处罚。

鉴于王某具有坦白、认罪认罚、退赃等情节，最终判处其有期徒刑三年，缓刑三年，并处罚金人民币八万元。

网络爬虫作为常见的数据抓取技术，具有促进数据共享与侵犯数据安全的双刃性，必须在合理范围内使用，包括获得授权、遵守网站规则、限制抓取频率、避免涉及敏感数据等，否则可能构成民事侵权甚至涉嫌刑事犯罪。

一、非法使用爬虫技术，可能构成刑事犯罪

爬虫技术自诞生以来长期被视为中立技术，但随着爬虫技术的应用范围和深度不断扩张，其合理使用的界限愈加模糊，使用不当可能招致法律风险，而如果爬取的对象侵犯他人权益的，就可能构成违法犯罪。如未经授权爬取受保护的数据、破解验证码、绕过防火墙等可能构成非法获取计算机信息系统数据罪；利用爬虫对目标网站或系统发起大量请求，导致系统负载过高甚至崩溃可能构成破坏计算机信息系统罪；抓取包含个人信息的数据用于商业目的，可能构成侵犯公民个人信息罪；爬取企业内部数据库、竞争对手网站上的敏感数据可能构成侵犯商业秘密罪。

本案中，“得物”在APP的用户协议及Robots协议中均明确宣示禁止任何数据抓取行为，并采取了签名认证、图形验证、设备指纹、代码混淆加固等防护措施。被告人无视系统警示、未经授权许可，向他人提供爬虫程序破解防护机制，获取系统数据，已属于法律规定的提供“专门用于侵入计算机信息系统的程序”的行为，而非单纯的技术行为。

二、允许访问的公开数据不代表允许爬虫抓取

公开数据的访问和抓取在行为对象、行为内容和行为目的上均存在本质差异，二者不可混为一谈。

一般来说，访问公开数据是指用户是以消费为目的访问企业在客户端以文字、图片、视频等形式展现的商品信息；而爬虫抓取的是数据分析者在系统后台以计算机语言编辑、传输的加密代码，用以价格监控、行为分析、趋势预测等，超出了公开数据合理使用的限度。

本案中，涉案商品信息在“得物”APP客户端可以正常浏览，但上述信息数据在APP后台所对应的代码进行了加密保护，并设置了多种反爬虫措施。被告人开发的爬虫软件通过技术手段，绕过“得物”APP的防护机制，获取“得物”APP服务器数据，属于违法的“侵入性”访问，侵害了企业的数据安全，损害了企业的合法权益。

三、企业和开发者应当合法合规使用爬虫技术

“技术无善恶，法律却有界”。爬虫技术为企业在信息时代的竞争提供了强大的数据支持，但使用爬虫技术应严格遵守法律法规，避免触碰法律红线。

对此，企业和开发者在开发和利用爬虫技术时需要特别注意，确保爬虫只抓取授权的数据、严格遵守网站的Robots协议和服务条款、控制抓取频率以避免对目标网站造成过度负担，并强化数据安全与个人信息保护机制，通过规范使用，在市场竞争中获得合法优势。