我的位置: 上观号 > 上海市法学会 > 文章详情

潘雨祥|我国人工智能立法对个人数据权益保障的模式与路径

转自:上海市法学会 2025-07-07 07:58:28

近年来,人工智能立法已经成为当前国际人工智能软实力竞争的核心领域。在人工智能立法过程中,应重视个人数据权益的保护,因其事关分配正义和人工智能产业的可持续发展。然而,人工智能立法不宜为个人数据权益设立专门章节或条款。我国人工智能立法宜采取领域协同策略保护个人数据权益,避免对权益进行列举式立法,并构建以人工智能系统提供者义务为主导的权益保障机制。在设定相关义务时,可以通过“风险分级+场景规”的具体路径展开,针对高风险人工智能系统采取信托模式,针对中低风险人工智能系统采取经济激励模式,促成人工智能产业与个人的权益共赢格局。

引言
深度学习技术的应用标志着人工智能进入4.0阶段。互联网、移动设备、传感器等技术的发展为海量数据的形成提供了基础,云计算和高速CPU芯片技术的联动发展实现了人工智能算法的不断优化。随着数据和算法的迅猛发展和深度契合,人工智能技术进入了爆发式迭代升级的时代。从美国人工智能公司OpenAI推出的爆款应用ChatGPT到其迭代产品GPT-4上线问世,仅仅间隔4个月时间。语言的智能识别、自然语言处理、深度学习神经网络、知识图谱等技术的应用,使系统接收信息后能够迅速识别、搜索、分析信息并模拟人类进行反馈,实现智能人机交互,使得人工智能技术在计算机视觉、自动驾驶、医疗健康、交通运输等领域都有非常广泛的应用。深度学习技术展现了人工智能强大的能量和可能性,但其带来效率和便利的同时,也带来了一系列风险。美国民意调查机构“皮尤研究中心”发布的《人工智能与人类未来》调查报告,指出人们在行权自由风险、数据滥用风险、劳动力失业风险、人类思考能力流失风险等方面对人工智能技术存在担忧。
随着人工智能技术发展所带来的法律挑战愈发复杂,如何通过立法对人工智能进行治理成为各国亟待应对的重要课题。美国是首个将人工智能上升到国家战略层面的国家,提出了由联邦政府参与AI标准制定的系统性计划。2016年,美国政府发布了《国家人工智能研究和发展战略计划》,该报告是世界上首个国家层面的人工智能发展战略报告,强调AI安全战略。美国总统办公室与美国国家科学技术委员会联合发布报告《为人工智能的未来做好准备》,提出联邦政府应优先发展人工智能基础项目,私营企业则应当成为技术研究的主力。与此同时,美国总统行政机构还推动发布了《人工智能、自动化和经济》报告,专门分析人工智能应用中的经济和就业问题。不难看出,美国政府明确将“算法责任”置于人工智能发展的核心地位。相较之下,欧盟则将“基本权利保护”视为人工智能发展的基本理念。具体而言,欧盟于2019年发布《可信赖人工智能伦理指南》,从追责机制、数据治理等方面对人工智能发展提出了10项要求。欧盟委员会于2020年发布《人工智能白皮书:通往卓越和信任的欧洲之路》,将欧洲的技术和产业优势与数字基础设施以及符合其基本价值观的监管框架相结合,促成“布鲁塞尔效应”,使欧盟成为人工智能产业的全球引领者。欧盟理事会主席与欧洲议会谈判代表于2023年12月9日就欧盟人工智能法案达成了临时协议。随后,欧洲议会在2024年3月13日正式通过了该法案。5月21日,欧盟理事会亦批准了该法案。最终于7月12日,《欧盟官方公报》正式公布了欧盟人工智能法案,并确定该法将于2024年8月1日起正式生效。
在我国,人工智能立法的筹备工作也在紧锣密鼓地进行中。2023年6月发布的《国务院2023年度立法工作计划》将人工智能法列入立法规划。2023年7月,由网信办、发改委、工信部、公安部等部委联合制定并印发的《生成式人工智能服务管理暂行办法》,形成了世界上第一部关于生成式人工智能的成文法。2023年9月,第十四届全国人民代表大会常务委员会郑重部署了立法规划实施工作。人工智能法的制定不仅是对过去经验的总结与提炼,更将作为未来五年立法规划中“强化重点领域、新兴领域、涉外领域立法,并统筹推进国内法治和涉外法治”的典范之作,展现其引领和示范作用。在学界方面,人工智能法(学者建议稿)、人工智能示范法2.0(专家建议稿)等立法建议稿相继涌现,加速推动人工智能立法成为学界主流观点。然而,现有研究在人工智能法的立法目标、立法体系、具体规则等事项上存在较大争议。
在分析人工智能产业发展的脉络时,一个不争的事实是,该产业的蓬勃兴起高度依赖于对人工智能模型的海量数据“投喂式”训练,这一规律普遍适用于通用人工智能模型以及专业模型。然而,伴随此进程,一个亟待解决的问题浮现:法律制度如何有效平衡个人数据权益的保障与人工智能发展的需求?在制定相关法律制度时,是应侧重于美国强调的AI安全战略考量,还是更倾向于欧盟倡导的基本权利保护框架?人工智能法的立法设计,是否需通过专门章节或条款来保障个人数据权益?更进一步,如何在人工智能的广泛应用场景中,探索出一条既保障个人数据权益又促进技术发展的可行路径?这些问题,在当前学术研究成果中尚存模糊地带。
鉴于此,本文将通过借鉴域外制度经验以及分配正义理论,结合我国人工智能产业发展的实际情况,探索我国人工智能立法对个人数据权益保障的模式与路径。在保障个人数据权益方面,我国人工智能立法应采取领域法模式,避免采用过于僵化的列举式规定。在具体实施过程中,可引入风险分级规制策略,对高风险人工智能系统采用信托模式,确保“在发展中保护”的核心理念;而对于中低风险系统,则可通过经济激励模式,激励更多数据资源进入市场,从而扩大人工智能训练数据池的规模,同时确保个人在让渡数据权益时能够获得合理的经济补偿。
一、个人数据权益保障:人工智能立法的规范正义理路
如前所述,全球各国正加速推进人工智能领域的立法工作,以引发布鲁塞尔效应。我国亦不例外,已将人工智能法纳入立法议程。但值得注意的是,在此过程中,我们必须高度重视制度设计的正义性。具体而言,尽管学界普遍认为应倡导人工智能产业发展优先的理念,但在构建具体法律制度时,仍需严格遵循分配正义的理念,确保在人工智能分层业态的各类主体间,权利与义务得到公正、合理的配置。私法规则解决的无非是两方面的问题:权利、利益分配及对应的损失承担和风险负担,其实质是当事人之间的分配正义性问题。分配正义及其所代表的复杂思想最早可以追溯到两千年前,作为一种关于社会如何在具有竞争性需求的个体之间分配稀缺资源及产品的理论而存在。管窥分配正义的思想史渊源,从柏拉图到康德,再到诺齐克和罗尔斯,均提出了各自的分配正义理论。虽随着社会形态更迭,分配正义被赋予了各异的时代内涵,但近两百年来,分配正义逐渐被确定为社会资源分配的基本结构问题。党的二十大报告指出,要在社会中“构建初次分配、再分配、第三次分配协调配套的制度体系”。与此同时,还要推动高质量发展,在做好做大蛋糕的同时,构建三次分配协调配套的制度体系,促成共同富裕。分配正义的核心在于“得其应得”,即使人们在社会中得到应得的权利和经济利益。而欲论及“应得”这一概念在人工智能制度设计中的内涵,就需要厘清正义理论在人工智能权利义务分配中的具体应用,并探析其派生的两项具体内涵。
第一项内涵是人工智能法律制度的设计须充分考虑个人数据权益的保护。正如美国哲学家罗伯特·诺齐克(Robert Nozick)所提出的,分配正义表达的其实是一种持有正义,其由获取正义、转让正义和不正当持有的矫正三部分理论构成。依据获取正义,个人对其自身数据的获取类似于对无主物的占有,其对自身个人数据是具有持有资格的,这种持有资格将转化为个人对数据享有的权益。那么,人工智能提供者为获取训练数据,就必须依据转让正义的原则,充分保障个人对数据享有的权益,否则其将失去数据获取的正当性。
第二项内涵是人工智能法律制度的设计应当使人工智能系统的提供者承担维护个人数据权益的义务。立法对权利义务的分配,应体现所有人都受“同等关心和尊重”的自然法原则。约翰·罗尔斯(John Rawls)在其正义理论中提出,“所有社会价值——自由和机会、收入和财富、自尊的社会基础——都要平等的分配,除非对其中一种价值或所有价值的一种不平等分配合乎每一个人的利益”。基于此,如果让人工智能提供者负担更多义务更符合每个人的利益,那么这种分配就是正义的。罗尔斯指出,在社会中那些条件较好的人应当做出正的边际贡献。正义的人工智能法律制度,应该能够促使人工智能系统提供者与终端用户之间形成“链式联系”——当相对优势方的获益期望增加时,也能够带动相对弱势方利益的增加。
终端用户这一概念多见于互联网服务场景。正如美国耶鲁大学法学院教授杰克·巴尔金(Jack M. Balkin)所指出的,终端用户是指处于网络产品或服务提供链末端的用户。而在人工智能使用场景中,终端用户则指以享受服务为目的,使用专业人工智能系统或通用人工智能模型的个人。随着算法的优化与训练数据池的指数级扩容,人工智能模型的迭代升级呈现迅猛态势,终端用户愈发容易受到人工智能提供者的影响。且随着人工智能提供者拥有的算法模型愈发先进,其与终端用户之间的相对关系变得愈发不平等。人工智能模型可能在交互过程中收集并使用终端用户的个人数据,并最终利用这些数据来预测和控制终端用户的行为。究其本质,终端用户在与人工智能系统交互过程易受影响的原因在于:首先,终端用户没有能力评估其个人数据被人工智能系统收集、使用和披露后,将对其数据安全和未来产生何种损害风险。其次,终端用户无法轻易知道其个人数据被如何使用,从而对其做出令人惊讶和有力的推断,而这些推断可能会被用来损害他们的利益。最后,人工智能系统提供者可以通过巧妙地设计选项和人机交互界面,在终端用户毫无察觉的情况下收集数据,诱导披露甚至塑造用户行为。曾有学者将数字公司与医生和律师等专业人士进行类比,指出人工智能提供者在技术上的显著优势使得终端用户对其产生信任与依赖。但在医患关系中,患者清楚与医生的互动,而数字公司的用户往往不完全了解其与数字公司关系的本质。此外,医生经济利益与病人治疗目标不冲突,但数字企业可通过操纵用户行为追求更大经济利益。
除了上述特性之外,终端用户在与人工智能交互的具体场景中展现出的脆弱性同样不容忽视。在现有的网络治理法律框架中,一般以网络服务提供者作为责任主体,围绕平台责任展开治理。相比之下,网络服务的技术提供者由于并不与用户直接发生互动,因而并非规制的重点。但在人工智能领域,传统的“技术提供者—服务提供者—终端用户”三分法不再能够清晰地反映各法律主体之间的相互关系。原因在于,生成式人工智能技术的发展打破了现有的网络治理法律制度对数字社会生产方式在结构方面的底层设定,从底层的基础模型开始即可对终端的服务应用层内容生产产生直接影响。以ChatGPT为例,当其被运用于智能问答场景时,其提供的内容既直接与基础模型的预训练数据参数有关,也与专业模型的优化垂直领域训练数据直接相关。就此而言,无论是技术支持者还是服务提供者,其均能够直接利用生成式人工智能为终端用户提供服务,从而呈现技术支持与服务提供的融合技术形态。此外,随着生成式人工智能通用模型训练数据的社会化以及垂直领域训练数据的共享化,数据披露变得愈发困难,这源于特定数据的披露义务主体难以确定。质言之,生成式人工智能产业的分层态势,即“基础模型—专业模型—服务应用”的技术布局,使得各层级同时担任“技术支持者”与“服务提供者”的双重角色,从而引发了法律监管对象的模糊性。同时,生成式人工智能模型预训练数据的社会化与共享化特征导致了数据披露的复杂性。这种趋势在本质上对网络法的底层架构进行了重塑,这必然要求对其法律地位和治理框架进行重新认识和调整。就此而言,我国人工智能立法进程中一个亟待解决的关键问题,便是如何有效应对生成式人工智能产业分层态势所引发的终端用户个人数据权益保护挑战。这一问题的解决应充分发挥正义作为一种“最重要的美德”在指挥各项法律价值共同实现公共利益最大化目标中的基础性作用。
二、模式选择:AI立法保障个人数据权益的体系解读与比较分析
正如本文第二部分所指出的,个人数据权益的保护与人工智能法律制度设计的正义性紧密相连,是我国在人工智能立法过程中必须予以回应的重要议题。在此基础上,本部分旨在通过借鉴欧盟人工智能法案与美国白宫AI行政命令的比较法经验,结合我国人工智能产业发展的基本情况,提出并论证我国人工智能立法对个人数据权益的保障宜采取“领域协同+义务优先”的模式。

(一)
体系解读:个人数据权益保障不宜采取列举式立法

自从我国将人工智能法纳入立法规划以来,国内专家学者展开了日趋热烈的讨论。近月来,国内学者团队相继发布了人工智能法(学者建议稿)与人工智能示范法2.0(专家建议稿),为法律制定提供了重要参考。然而,在关于如何切实保障个人数据权益的问题上,学术界尚未达成共识。以人工智能法(学者建议稿)(以下简称“学者建议稿”)为例,该稿建议采取专章保护的形式,使用一章的篇幅对人工智能使用者享有的平等权、知情权、人工智能决策解释权、拒绝权、人工智能生成物的知识产权、诉权,以及隐私与个人信息保护等问题进行阐述。然而,人工智能示范法2.0(专家建议稿)(以下简称“专家建议稿2.0”)在体例上并未采用专章保护模式,该版立法建议稿甚至没有采用专门的条文对个人数据权益保障问题进行阐述。
究其机理,尽管在人工智能应用领域中,终端用户相对而言处于较为弱势的地位,但这并不构成人工智能法必须采用单独条款或设立专门章节以解决其个人数据权益保障问题的充分理由。新技术并不一定需要新法律。对于已经由其他法律规范明确界定和调整的法律关系,不宜再由人工智能法进行重复规定。此举旨在避免法律规范体系过于烦琐,从而影响其严谨性。为“简约条文”并维护法律体系的内在统一,相同法律关系的重复规定应当避免,这也是参照适用等立法技术被广泛应用于我国立法体系的重要原因。以终端用户的知情权为例,当终端用户利用生成式人工智能进行内容创作或输出时,其享有了解个人数据在何种范围、何种程度上以何种方式被人工智能系统所利用和处理的权利。但由于个人信息保护法第44条已对此类知情权进行了规定,实现了对该法律关系的实质性调整,故人工智能法没有必要再对终端用户享有的知情权进行规定。就此而论,人工智能作为一项日新月异的新兴技术,其虽在诸多方面展现出独特性质,但并未从根本上改变既有的法律关系结构。特别是在个人信息保护、数据安全及网络安全维护等方面,终端用户享有的权益基本可由现有法律规定加以调整,故在人工智能立法过程中应避免对终端用户权益进行不必要的重复规定。
此外,人工智能法对终端用户权益进行“列举式”规定也不具备可行性。一方面,列举式立法存在周延性问题。在当前阶段,是否能穷尽列举人工智能使用场景中终端用户的潜在数据权益及其保护方式,笔者持怀疑态度。我国民法典之所以能够规定如此多的权利,因其是对自市民社会以来悠久历史进程中既有法律实践的回顾与总结。然而,人工智能立法则呈现出显著的前瞻性特征,它需要在不断变化的未来情境中预见并切实保障相关权益。就此而言,民法典对权利的规定遵循“从当下总结历史”的归纳路径,但人工智能立法对权利的规定遵循“从当下窥探未来”的预见路径,两者存在本质差异。另一方面,列举式立法在权益种类日益增多的背景下,呈现出其固有的局限性。由于难以穷尽所有可能的权益,这种立法方式可能导致法律框架的不完整性和不确定性。因此,在构建人工智能法律制度框架的进程中,应当以审慎的态度,全面考虑列举式立法的适用范围与方式,以确保法律框架的严谨性和稳定性得以有效保障。

(二)
比较分析:人工智能立法保障个人数据权益的域外制度镜鉴

在我国关于人工智能立法的议题正引发广泛而热烈的讨论之际,旨在领跑全球人工智能领域发展并期望产生布鲁塞尔效应的欧盟人工智能法案已于2024年7月12日正式通过并公布,并于2024年8月1日全面生效。从立法体例来看,欧盟人工智能法案共设十三章,从人工智能的基本定义、被禁止的人工智能实践、高风险人工智能系统、人工智能提供者与部署者的义务、支持创新的措施、人工智能治理、监督与处罚等方面规定了人工智能在欧盟成员国的行为准则与指导方针。在审视欧盟人工智能法案的章节分布与结构体例时,不难发现该法案并未设置独立的章节以规定人工智能使用场景中的个人数据权益保障问题,甚至同样缺乏对个人数据权益的专门性规定。这不禁引人疑惑,欧盟高度重视个人数据权益保障,以GDPR为例,该条例通过修订数据处理原则,使得欧洲对个人数据权益的保护方式更趋近于基本权利的范畴。那么在此背景下,为何欧盟人工智能法案又对终端用户个人数据权益保障问题避而不谈呢?笔者认为,长臂管辖规则或许能够解答这一问题。
长臂管辖规则源于GDPR第3条的规定,旨在确保所有在欧盟境内从事个人数据处理以及提供相关产品或服务的相关主体,均须遵循并受到一般数据条例对于数据处理方面的监管和规范,旨在建立欧盟对数据规制的话语权。基于上述分析,可以对长臂管辖规则的内容进行二维解读:一方面,长臂管辖规则是GDPR对数据主权的突破,即便数据控制者或处理者在欧盟境内没有设立实体机构,但其对数据主体的个人数据处理行为,即适用该法;另一方面,长臂管辖规则还可以是GDPR在其他领域施加影响的桥梁。正如欧盟委员会于2020年发布的《人工智能白皮书》所指出的,要延续GDPR的长臂管辖规则,在欧盟范围内所有涉及提供AI相关产品或服务的主体,均须严格确保个人数据权益不受侵害,并全面遵循关于数据处理规则的强制性法律要求。就此而言,鉴于GDPR已对个人数据权益进行了相对完善的规定,并能够通过长臂管辖规则对人工智能使用场景中的个人数据权益保护产生实际影响,故欧盟人工智能法案无需再对个人数据权益作出特别规定。此外值得注意的是,除了个人数据权益保障之外,人工智能使用场景中的知识产权保护、劳动者权益保障、数字人权维护等一系列问题,亦可通过相应领域的法律规范进行调整与规制。
2023年10月30日,美国总统拜登签署了关于“安全、可靠和值得信赖的开发和使用人工智能”的第14110号行政命令(以下简称“AI行政命令”),标志着美国人工智能政策的重大转折。该行政命令包含了美国迄今为止最全面的人工智能治理方案,涵盖了从人工智能安全的行业新标准到隐私保护、公民权利、工人利益、技术创新、政府对人工智能的使用以及美国的国际领导力等多个领域。需要强调的是,尽管美国AI行政命令的第7条明确提出了“促进公平和公民权利”的目标,但其并未通过详细列举公民在人工智能应用领域内的各项具体权利来达成此目标。根据AI行政命令7.2款的规定,为了促进公平和公民权利,联邦政府及地方政府各部门应当采取相应的措施,以保障“与政府福利和计划相关的公民权利”。具体措施包括:其一,卫生与人类服务部部长应在本命令发布之日起180天内发布一项计划,解决自动化技术的使用或算法系统问题,分析福利计划使用的算法系统是否实现公平公正的结果,以评估公民获得福利的情况。其二,农业部长应在本命令发布之日起180天内根据本命令向州、地方、部落和领地公共福利机构发布指南管理员在实施福利或为部长管理的福利计划提供客户支持时使用自动化或算法系统,以确保使用这些系统的计划最大限度地提高公民参与度,并分析福利计划使用的算法系统是否能够实现公平。其三,在本命令发布之日起365天内,为了防止人工智能用于招聘的非法歧视,劳工部长应向联邦承包商发布涉及人工智能和其他基于技术的招聘系统的非歧视性指南。其四,为了解决住房市场和消费金融市场中对受保护群体的歧视和偏见,鼓励联邦住房金融局局长和消费者金融保护局局长考虑利用其认为适当的权力,要求各自的受监管实体在可能的情况下使用包括人工智能工具在内的适当方法。就此而言,虽然美国AI行政命令规定了公民权利保障,但其是通过为相关部门施加义务的方式得以进行的。这与欧盟人工智能法案第四章规定“人工智能提供商和部署商的义务”存在异曲同工之处,均强调人工智能使用场景中的个人权益的保护应采取义务本位的策略。

(三)
经验启示:我国个人数据权益保障宜采取“领域协同+义务优先”模式

在人工智能技术发展与制度设计的整体框架中,个人数据权益的保障无疑占据着举足轻重的地位。然而,这并不意味着在人工智能立法的过程中,需要专门针对个人数据权益制定特定的条款或章节。通过对欧盟人工智能法案以及美国AI行政指令的剖析,不难发现,为人工智能的提供者以及政府相关部门设定相应的义务,以此来保障个人数据权益,已经成为当前全球范围内人工智能立法的主流趋势。这一做法对于我国的人工智能立法工作具有重要的借鉴意义。法律是人类理性的产物,同时也是特定政治的产物及其核心精神的体现。结合我国人工智能产业发展的本土情况以及域外制度经验,可以认为在保障个人权益方面,我国人工智能立法宜遵循以下路径。
一方面,注重领域协同保护,避免列举式立法。在算法所涉利益攸关方日增的前提下,多领域协同治理是算法规制的必然走向。在人工智能使用场景中,领域协同保护强调网络法律部门与民法在维护个人数据权益方面的多元共治。这种协同保护旨在通过不同法律规范的相互配合,为个人数据权益提供更加全面和有效的法律保障。同时,鉴于人工智能系统及模型所体现出的自主性特征,对于个人数据权益的协同保护应当是体系化、全过程的。如前所述,人工智能虽然是一种前沿技术,但其在实际应用过程中并未催生全新的法律调整对象。鉴于此,有必要将人工智能治理焦点放在长臂管辖规则在人工智能权益保障场景中的适用性上,以确保个人数据权益得到有效保障。因此在保障个人数据权益方面,人工智能立法宜采取领域法思维而非部门法思维。领域法与部门法在法律调整方法上的区别在于,领域法采用横向调整方式,而部门法则采取纵向调整方式。在面临特定复杂法律问题的挑战时,若现有法律部门无法独立解决,则需要构建一种协调与融合的机制,这种机制即构成了领域法的核心。以经济法为例,其早期以领域法的形式出现,但随着研究的深入和成熟,已逐渐固化为一个独立的法律部门。因此,可以视领域法为新法律部门发展的初始阶段,其结构尚未稳定。鉴于当前情境,我国现阶段的人工智能立法尚不足以全面应对该产业发展过程中涌现的复杂法律挑战。因此实施领域协同保护策略,以应对当前现实需求,显得尤为必要。同时,人工智能产业的快速演进特性亦会引致人工智能法内容架构的动态变化,继而引发法律的不稳定性,这一特点与领域法所固有的基本属性同样吻合。这主要源于人工智能立法的前瞻性,它需要在预见未来可能发生的各种情境中,预先解决潜在问题。为了应对这些具有前瞻性的挑战,人工智能法需整合网络法律部门与民事法律部门中的不同工具,通过特定的组合方式、方法和策略来实现其立法目标。这一过程本身即一种方法论的提炼,展示了领域法在解决问题时的灵活性与创新性。
另一方面,对个人权益的保障应强调义务优先。如前所述,民法典之所以是一部权利法,是因为民法典是对自市民社会以来法律实践的回顾与总结。但人工智能立法具有前瞻性,需要在未来可能出现的情况中预见并保障权益。就此而言,随着人工智能技术的迅速迭代演进,未来权益保护的具体需求尚不明朗。然而,有一点可以确定的是,无论人工智能技术如何发展,其系统提供者将持续承担义务,而政府亦将始终保持监管的核心地位。就此而言,为确保我国人工智能立法的稳定性和产业发展可持续性,应当将个人数据权益保障的侧重点置于义务主体之上。正如欧盟人工智能法案在“基于原则”“基于权利”和“基于风险”三种人工智能法律规制路径中,最终选择了“基于风险”的规制路径,通过强化企业负责性而非赋予公民个体控制性权利的方式实现监管与创新的平衡。但值得强调的是,强调人工智能系统提供者的义务,与推动人工智能技术发展的理念并无矛盾。这是因为,人工智能技术的进步不应是盲目的,更不是搞以牺牲个体权益为代价的掠夺式发展。其高速发展必须建立在诚实信用和维护终端用户权益的基石之上。只有当为人工智能系统提供者设定合理的义务,确保终端用户权益得到充分保障,才能激发和吸引更多个体参与,从而为人工智能训练数据池的发展提供庞大的用户基础,进而形成良性的循环机制。因此,在权利保护前景尚不明朗、需将人工智能技术发展置于法治良性轨道的背景之下,采取义务优先的理念或为一个明智的选择。
三、路径展开:构建基于AI风险分级规制的个人数据权益保障框架
本文第三部分阐述了我国在人工智能立法过程中,为有效保障终端用户数据权益所应选择的立法模式。具体而言,本文主张采用领域协同保护的思维,避免法律条文中对终端用户数据权益的“列举式”界定,进而确立一套以义务为主导的权益保障机制。然而,在设定相关义务时,需避免对人工智能系统提供者施加过重负担,以免对我国人工智能产业的持续健康发展造成不必要的限制。为实现人工智能产业发展价值与终端用户数据权益保障价值的衡平,本部分将在构建风险分级规制框架的基础上,探索将信托模式应用于高风险人工智能系统的治理及终端用户权益保障中,旨在通过此模式实现发展与保护的双赢局面。同时,针对中低风险的人工智能系统,本文提议引入经济激励机制,以激发数据市场的活力,促进个人数据的市场化流通,确保在数据权益部分让渡的过程中,终端用户的经济利益得到妥善保障。

(一)
基于AI风险分级规制的个人数据权益保障路径

从世界范围观察,为保障终端用户权益,部分国家倾向于对人工智能系统进行分级规制,即按照风险的层级,为人工智能系统的提供者设定相应的规制方式。基于风险的方法的核心是根据风险的高低、性质、级别等配置规制活动的优先次序,以实现最优的资源分配和效果达成,具有动态性、迭代性、定制化以及比例性的特点,可以实现人工智能治理的全面性、灵活性、多元性以及科学性。以欧盟人工智能法案为例,该法案将人工智能系统的风险分级为禁止性风险、高风险、有限风险、最小风险四个种类。值得注意的是,此处所指的风险系实际风险而非感知风险。所谓实际风险,即客观存在的风险,与感知风险——人们主观上感知到的风险——有所区别。强调将实际风险作为人工智能规制的焦点,旨在规避因公众对人工智能技术的非理性恐慌而引发的非必要规制措施。例如,欧盟人工智能法案在风险规制过程中,预先假设人工智能系统存在需要特别规制的“额外”或“独特”风险。但实际上,人工智能系统并不一定比非人工智能系统面临更多风险,过于关注人工智能系统的感知风险而进行过度规制容易形成“恶性循环”,是值得警惕的。尽管欧盟人工智能法案所采取的风险分级规制方案在风险分级标准的设定以及风险分级的科学性与确定性方面尚存在理论上的不足,但其基于实用主义立场的立法方法对于我国具有借鉴意义。
基于风险规制的方法对于我国而言并不陌生,国内学界在数据安全、个人信息保护、人工智能治理等领域都有过讨论与实践。因此,我国人工智能立法在保障终端用户权益时,同样可以采取类似欧盟人工智能立法中的风险分级规制策略,即通过风险层级划分,为人工智能系统的提供者设定相应的法律义务。此种依据风险等级配置义务的模式,能够确保终端用户的数据权益保障需求与规制手段之间形成契合,进而有效提升终端用户权益的保障效率。同时,此模式还能有效规避直接列举终端用户权益可能带来的复杂性与局限性,与我国当前人工智能立法的实际需求高度吻合。就此而言,确立合理的义务设定基准显得尤为重要。为实现此目标,有必要构建一套针对人工智能系统风险的分级评价机制。具体而言,在目前我国的发展阶段,人工智能风险主要可归纳为以下两大类别。
一类是高风险人工智能系统,即指对个人健康、安全与基本权利产生高风险的人工智能系统。欧盟人工智能法案对高风险人工智能系统进行了“抽象规定+具体列举”式的界定。根据该法案,高风险人工智能系统存在两个种类:一种是产品或安全组件类的人工智能系统,如果某类人工智能系统属于现行欧盟产品安全法规定的产品,或者是此类产品的安全组件,则该系统是高风险系统;另一类则是独立运行的人工智能系统,如果某类系统对公民的基本权利造成风险,则此类系统属于高风险人工智能系统。除此之外,欧盟人工智能法案附件三还具体列举了部分高风险人工智能系统,这些系统包括:远程生物识别系统、自然人情感识别系统、拟用作关键基础设施的系统(如数字基础设施、道路交通和供水电气系统等)、用于教育和职业培训的系统、用于就业和工人管理的系统、用于公共服务和福利的系统、供执法机关使用的系统、用于移民和边境管理的系统、用于司法和民主进程的系统等。此外,在遵循欧盟人工智能法案的框架内,若某特定人工智能系统对基本权利、健康和安全造成的风险超越附件三所列系统的风险级别,则欧盟委员会拥有依据授权立法的机制,将此类系统纳入附件三的管理范畴之内。相反,若某人工智能系统对基本权利、健康和安全不再构成显著风险,则不应将其视为高风险系统。
另一类则是中低风险系统,其包含有限风险系统和无风险系统,该类系统对于终端用户所构成的风险程度相对较低或可视为微不足道。中等风险系统包括了如ChatGPT等提供内容生成或聊天机器人服务的人工智能,而低风险系统则主要涉及仅供娱乐性质的系统。对于有限风险的人工智能系统,欧盟人工智能法案第四章规定了人工智能提供者的透明性义务。根据该法案规定,“人工智能提供者应确保旨在与自然人直接交互的人工智能系统的设计和开发方式能够让相关自然人了解他们正在与人工智能系统进行交互”,但“这一义务不适用于经法律授权侦查、预防、调查或起诉刑事犯罪的人工智能系统”。此外,“人工智能系统的提供者,包括生成合成音频、图像、视频或文本内容的通用人工智能系统,应确保人工智能系统输出以机器可读的格式标示,并可检测出其是人工生成的或篡改的。在技术可行的情况下,提供商应确保其技术解决方案的有效性、可互操作性、稳健性和可靠性”。对于人工智能系统的部署者而言,其“在生成或处理构成深度伪造的图像、音频或视频内容时,应披露该内容是人工生成或人为篡改的”。值得注意的是,依据上述透明义务所产生的披露信息“应最迟在第一次互动或接触时以清晰可辨的方式提供给有关自然人,且信息应符合适用的无障碍要求”。在涉及无风险系统的管理方面,欧盟人工智能法案并未实施强制性的规定,而是侧重于采用自愿性的行为准则以及推广最佳实践作为主要的约束机制。
虽然欧盟人工智能法案提出了AI风险分级规制框架,但亦暴露出分级标准不清、分级方法缺乏科学与确定性等问题。因此,我国在进行人工智能立法时,不宜直接照搬其内容。确切地说,为切实保障终端用户的权益,我国在人工智能立法进程中,除引入人工智能风险分级规制方法外,还应建立场景化规制标准。场景化规制,即是将人工智能风险置于具体的行业、整体产品及既有法律关系之中,依托行业与领域性风险监管机制及既有的法律关系进行监管。在保障终端用户权益的过程中,场景规制的方法不仅符合本文提出的领域法思维,也能更能有效与合理地分配风险规制的责任。下文将结合“风险分级+场景规制”的方法,探索我国人工智能立法应当如何进行制度设计,以维护高风险和中低风险场景下的终端用户数据权益。

(二)
合作共赢:针对高风险人工智能系统采取信托模式

如前所述,高风险人工智能系统是指对个人健康、安全与基本权利产生高风险的人工智能系统。鉴于其潜在风险转化为实际损害的高概率性,该类系统有可能对终端用户权益造成严重侵害。因此从原则上讲,应当禁止此类系统进入市场并投入实际应用。然而,高风险人工智能系统(例如生物识别、教育培训、就业管理、社会服务、边境管理等)在社会管理与发展的多个层面均扮演关键角色。因此,不宜单纯因为风险而全面禁止该类人工智能系统的应用,以免阻碍社会进步与发展。实际上,人工智能产业与终端用户权益之间的关系并非必然是零和博弈,通过合理的制度安排,也完全可以实现双方的互利共赢。在健康的人工智能产业发展生态中,基于合作共赢的产业发展关系应当是我国人工智能立法所积极倡导的目标。为实现这一目标,信托机制应运入局,它为人工智能系统提供者设立了一系列信义义务,包括保密义务、注意义务和忠诚义务等,旨在确保人工智能系统提供者的利益与个人利益相协调。个人基于信赖,允许人工智能系统处理其个人数据,海量数据的汇聚将促使人工智能训练数据池实现指数级别的显著扩容,进而为算法模型的优化提供有力支持。这种信赖将触发社会层面的“润滑剂效应”,促使人工智能系统将科技进步福祉回馈至终端用户,从而形成一个良性的循环发展机制。
巴尔金教授在其所著论文《隐私信托模式》中深入探讨了信托模式在企业收集用户信息以换取服务场景下的适用性。巴尔金指出,信托模式可以应用于人工智能领域。将信托模式引入人工智能使用场景将触发社会系统性效应。首先,信义义务不仅适用于诸如OpenAI这类大型企业,同样适用于一般的人工智能系统提供者。尽管小型人工智能系统提供者在经济规模上可能较为有限,但其仍可能对终端用户进行监视和操纵,特别是在信息不对称的情况下,终端用户往往难以了解算法的具体运作方式。其次,信义义务具有传递性特征。在涉及个人数据传输时,若这些个人数据经由人工智能处理并传递给第三方主体,则信义义务也将随之传递,此举将极大增强个人数据处理的安全性和可信度。最后,信义义务的引入将使得大型企业的行为更具公共性。以OpenAI为例,作为通用人工智能模型的开发与提供者,其服务直接面向广大终端用户,因此必须恪守信义义务,为终端用户的利益行事,这实际上也是对整个社会公众利益的维护。例如在某些选举活动中,若该公司通过旗下的ChatGPT诱导用户投票给特定候选人或弃权,就显然违背了信义义务中的谨慎和忠诚原则。正如部分学者所强调,人工智能对终端用户权益的侵犯具有显著的社会负外部性,其影响深远且广泛,类似于环境污染问题,给社会带来了不可忽视的负面影响。这为信托模式适用于人工智能治理厘清了现实基础。
信托义务产生于社会关系,以及这些关系中固有的权力和脆弱性。信托义务的性质取决于社会关系的性质、参与者的理解,以及更有权势的一方滥用、操纵、自我交易和越权的潜在危险。结合这一理解,我国人工智能立法中,应当为高风险人工智能系统提供者施加以下信义义务:首先,保密义务。根据保密义务的要求,人工智能系统提供者必须确保在未经终端用户同意的情况下,不得将终端用户的数据与第三方机构共享。同时,人工智能系统提供者还需采取必要的技术手段,加强人工智能系统的安全防护,以防止在算法运行过程中发生数据泄露的情况。其次,忠诚义务。忠诚义务要求人工智能系统提供者确保其系统的运行始终与终端用户的利益保持一致。不得将终端用户作为谋取利益的工具。在算法运行过程中,如遇到利益冲突的情况,应设计相应的子系统及时阻止系统继续运行,并征求终端用户的意见。此外,在交互界面及生成内容的设计过程中,提供者应避免采用诱导性阐述,以免干扰终端用户的自主判断。最后,注意义务。根据注意义务的要求,人工智能系统提供者应确保企业运营的合规性。为实现这一目标,提供者需建立风险管理系统、优化数据治理、编制和更新技术性文件、保存记录、提高透明度和向部署者提供信息、加强人为监督、确保算法的准确性、稳健性和网络安全。此外,提供者还应持续保障算法系统的安全性,通过组建专业技术团队进行定期风险排查和不定期检查,确保系统稳定运行。简而言之,构建人工智能信托模式的核心是确保人工智能服务提供者与终端用户之间的利益相协调,并通过采取勤勉、专业的方法来运营人工智能系统,进而在发展过程中充分保障终端用户合法权益。

(三)
促进数据流通:针对中低风险人工智能系统采取经济激励模式

如前所述,中低风险人工智能系统是指对终端用户所构成的风险程度较低或几乎可忽略不计的人工智能系统。与高风险人工智能系统形成鲜明对比,中低风险人工智能系统在侵害风险以及侵害内容上均不会对终端用户权益构成显著影响。因此,中低风险人工智能系统规制策略的设计更应注重如何促进人工智能产业的发展,以体现法律对科技创新的促进作用。
鉴于此,应当探索终端用户与人工智能提供者之间的利益对价机制。通过终端用户合理让渡部分个人数据权益,可以促进中低风险人工智能训练数据池的扩容,但这一过程也需强调终端用户所让渡权利的经济回报。
为促进使用中低风险人工智能系统的终端用户积极提供个人数据,在制度设计时可以采纳经济激励的方法。为此可以参考美国加利福尼亚州消费者隐私法案(California Consumer Privacy Act,以下简称CCPA)。根据CCPA第1798.125条第2款之规定,当消费者提出删除其个人数据或拒绝企业销售其个人数据的请求时,企业可采取经济激励手段,以鼓励消费者不行使上述权利。经济激励的形式既可直接体现为经济补偿,亦可通过调整价格或费率,或提供不同水准及质量的产品与服务来实现。此外,若企业决定采用经济激励制度,务必事先向消费者明确告知,且企业仅能基于消费者的明确同意才能将其纳入激励项目,而消费者则享有随时退出该项目的权利。CCPA引入经济激励机制的重要借鉴意义在于,其打破了消费者与信息处理者之间的对立博弈局面,通过利益反馈、合理差别对待等机制的构建,促使消费者与信息处理者走上合作共赢之路。
基于经济激励的终端用户权益让渡机制与我国目前人工智能产业的发展需求高度吻合。原因在于,人工智能产业的升级离不开数据、算法、算力三要素的发展。而数据是我国人工智能产业发展的核心要素,因为在算力基础设施发展速度有限的情况下,人工智能训练数据池的容量将直接影响到算法模型发展速度。以美国人工智能公司OpenAI为例,该公司自推出备受瞩目的人工智能应用ChatGPT至其后续迭代产品GPT-4的问世,仅用时四个月。与ChatGPT相比,GPT-4在多个方面实现了显著的飞跃式提升:其识图能力得到了强化,文字输入限制得到了提升,回答准确性显著提高,并且具备了生成歌词、创意文本的能力,同时支持不同风格的切换。而ChatGPT飞速迭代升级的背后,是大量终端用户涌入而带来的海量个人数据。这给我国人工智能产业发展带来的启示是,在人工智能立法的过程中,针对中低风险人工智能系统,制度设计的重点应当在于如何促进终端用户让渡部分个人数据权益,以促使更多个人数据流向市场,并在此过程中实现个人权益让渡与利益反馈的衡平。
随着经济激励制度的构建,中低风险人工智能系统提供者可以自主决定经济激励的具体内容。同时,终端用户拥有自由选择是否参与该经济激励项目的权利。例如,人工智能提供者可与终端用户就个人数据的处理范围、方式、程度以及数据处理行为的限制权、删除权的行使等方面达成协议。终端用户若同意人工智能处理更多的个人数据,则将有机会获得生成于人工智能系统的深度计算结果,以及相应的经济补偿。同时,终端用户也可通过价格或费率调整,或者获得不同水准及质量的产品与服务等方式,实现利益的有效平衡。值得注意的是,CCPA采取的规制模式较为宽松,其更加注重对经济激励制度进行程序性规范,即通过透明度要求和用户选择权保障构建一个公平的市场交易环境,这与欧盟人工智能法案对中低风险人工智能提供者和部署者关于透明义务要求的规定不谋而合。
基于此,在设立经济激励制度时,应当强调中低风险人工智能系统提供者的透明性义务,以实现对经济激励制度的程序性规范。具体而言,人工智能系统提供者与部署者需在经济激励制度的适用中需履行以下义务:首先,人工智能系统的提供者应在其人机交互界面的设计和开发的过程中,始终确保终端用户明确认知到其正在与人工智能系统进行交互,这一认知事实对于一般自然人而言应当是显而易见的。其次,系统提供者需在人机交互界面以清晰、易懂、明确的方式标示出可供终端用户选择的经济激励方案,并详细阐述该方案可能给终端用户权益带来的风险,以及基于该方案使用人工智能系统后,终端用户将获得的利益反馈。在此过程中,人工智能系统应明确告知终端用户拒绝进入经济激励制度并不影响系统功能的使用,以防系统提供者利用框架效应在潜意识中影响甚至误导用户的自主选择。最后,在涉及情感识别、生物识别分类等可能影响终端用户人格权益的系统中,人工智能系统必须及时向终端用户告知系统运行情况。需要强调的是,基于上述透明度义务所产生的披露信息,应在首次互动或接触时,以清晰可辨且符合无障碍要求的方式提供给终端用户。
结语
当前,推动人工智能产业的繁荣发展已成为学术界与政策制定者的主流共识。然而,此进程之推进,绝不应成为盲目扩张或侵犯用户个人数据权益的借口。互联网应当在法治轨道上健康运行。因此,人工智能产业的可持续发展必须建立在坚实地保护终端用户数据权益的基础之上。但值得注意的是,这并非要求在人工智能立法中为个人数据权益设立专门条款或章节。本文在借鉴欧盟人工智能法案及美国白宫AI行政命令的基础上,对我国人工智能立法如何有效保障个人数据权益进行了构思和论证。我国人工智能立法在保障个人数据权益方面,应采取领域协同保护的策略,避免采取“列举式”的方式界定个人数据权益,而应构建一套以义务为核心的权益保障机制。在具体设定相关义务时,可以构建人工智能系统的风险分级规制框架,针对高风险系统探索信托模式的规制方式,而对中低风险系统则考虑采用经济激励模式的治理策略,以此实现人工智能产业发展与终端用户数据权益保护的平衡。展望未来,随着人工智能技术的不断迭代与产业的持续升级,势必会涌现出更为复杂的法律挑战。因此,本文提出的“领域协同+义务优先”的个人数据权益保护框架,符合我国人工智能法制定过程中的“留白”需求,以便后续研究者在进一步完善相关理论的情况下进行“补白”。

往期精彩回顾

逄政 王晓燕|以诈骗犯罪规制信息服务型助贷中介的法理评析
李晶|应用场景视角下数据要素乘数效应的法律构造、风险与规制
许辰诺|醉酒型危险驾驶罪的司法现状及优化路径——基于S市M区人民法院的数据研究
曹化 蒋昊|数字藏品检察治理的实践隐忧与发展进路
沈映涵 王茂艺|老年人数字化生活困境及应对
包佳涵|数字人权是人权数字化吗?——兼论“数字人权”概念争鸣

上海市法学会官网

http://www.sls.org.cn