查看新版>>
我的位置： 上观号 > 上海市法学会 > 文章详情

徐克｜人工智能时代自动化行政的实践困境与优化路径

转自：上海市法学会 2024-10-21 08:22:38

人工智能的发展给行政管理的变革带来双重境遇。自动化行政强大的正向效应使其风险样态长期被忽视，纯粹功利主义的考量，无法掩盖其对自动化行政时代的冲击。由于算法极速性、过度自动化、主体多元化引发了正当程序缺失的风险，加剧了弱势群体的数字鸿沟，模糊了责任主体的认定。故此，首先，行政机关应当保障当事人陈述、申辩权，强化行政机关说明理由程序的履行，以此增益自动化行政程序；其次，在制度层面建立健全弱势群体数字权益保障规范体系，在技术层面构建传统服务与技术创新相融合模式，在伦理层面保证信息、资源平等分配，以此保障弱势群体的数字利益；最后，确定行政机关为直接责任主体，完善自动化行政的法律责任承担机制。

一、问题的提出
人工智能是人脸识别技术、语音识别技术和学习技术的集大成者。纵观人工智能技术的发展，经历了三次发展高潮时期和两次消沉时期，并于2016年迎来了再一次的发展高潮与技术革新，随着AlphaGo与世界围棋冠军李世石展开对弈，并战胜了人脑，人工智能再一次引发了世界关注。以人工智能为代表的高新技术在智慧政务等领域频繁运用并蓬勃发展。2021年8月2日，中共中央、国务院印发的《法治政府建设实施纲要（2021-2025）》明确提出“全面建设数字法治政府”的目标。
将人工智能嵌入行政执法领域，发展自动化行政可以针对纷繁复杂的程序快速得出结论，节省大量的人力、物力和财力等资源，并大幅提高行政管理效率。但是，风险与机遇往往相伴而生，自动化行政如火如荼展开的势头下各种风险暗流涌动。自动化行政在实际运行中存在着算法权力异化、行政正当程序的缺失等法律风险。人工智能技术为自动化赋能的同时，更应积极防范技术“负能”，规制自动化行政在实际操作中的各种风险。
近年来，我国学者对自动化行政研究成果颇丰，主要围绕自动化行政的内涵、适用范围、等级、法律风险与规制。其中，关于自动化行政的内涵。马颜昕认为自动化行政为人工智能技术与行政管理的有机结合，根据人工智能自动化系统在行政管理领域发挥的不同作用，达到部分行政自动化或全部行政自动化程度。关于自动化行政的适用范围，胡敏洁认为，人工智能可应用于政务数据收集与处理、无需裁量或听证而直接决策、行政活动数据化的情形。关于自动化行政的法律风险与规制，张恩典认为人工智能算法权力的泛化使得自动化行政渐有预先设定的算法程序取代法律规定的趋势，因而导致依法行政原则日渐式微、相对人陈述、申辩权等程序性权利被悬置。基于此，提出合理限制自动化行政的适用范围、赋予行政相对人算法解释权等应对思路。本文归纳了自动化行政在实际运行中的法律风险样态并提出行之有效的规制路径。
二、人工智能时代自动化行政的实践考察
在对人工智能时代自动化行政进行研究时，为确保研究结论的严谨性、科学性和准确性，应当基于研究对象的实践应用场域，明晰研究对象的具体内容。通过对自动化行政的实践考察发现，人工智能技术的引入容易违反正当程序，侵犯公民个人信息以及阻碍公众参与行政管理。

（一）
自动化行政执法违反正当程序案

在“舒某强诉北京市交通支队某大队”一案中，原告舒某强于2018年12月30日驾驶机动车在道路中间停车，此行为被道路交通监控设备拍摄，后交警依据此拍摄记录认定舒某强违反道路交通安全法并做出行政处罚。本案的重要意义在于通过将自动化行政在具体的行政执法中缺失正当程序引入司法审判中，进而引发对自动化行政法律风险进行规制的思考。根据道路交通安全法第93条第1款、第2款之规定，对于相对人的违法行为，可以先对其口头警告，令其立即驶离，直接进行罚款并不是第一选择，即比例原则的内在要求。本案中的执法人员仅依据监控设备便做出罚款处罚决定显然有违比例原则。另外，根据行政处罚法第44条的规定，行政机关在作出处罚前应当听取当事人的陈述、申辩。

（二）
人脸识别技术侵犯公民个人信息案

作为一种个人独有的生物信息，人脸信息因具备高度的唯一性和可识别性等特征，被广泛运用于交通、支付、商务等领域。随着这一技术的广泛运用，人脸识别与行政管理密切结合，人脸抓拍交通违法行为也走进了行政执法的视野。然而，被广泛运用的同时应当警惕其对公民个人信息安全的潜在威胁。实践中，各地行政执法部门对人脸识别系统披露违法相对人的身份信息标准不一，对相对人的个人信息安全造成不同程度的侵犯。随着智慧交通的不断推进，广东、江苏等地率先运用人脸识别技术抓拍交通违法行为，通过在公共场合曝光违法行为人的头像、经处理的身份证号码与姓名等个人信息，警示公众依法遵守交通法规，以此起到教育、震慑的作用，此种做法的确有助于提高违法成本，促使公众规范自己的行为。但是，这一技术在运用过程中也出现了滥用的现象。安徽省宿州市城市管理局在微信公众号上曝光了7位穿睡衣出行的公民个人信息，主要内容包括姓名、身份证号码以及未经处理的人脸信息，该公众号内容一经发布便引发社会热议。当舆论发酵后，相关部门于当日便撤回该公众号文章，并向当事人致歉。该案中人脸识别技术的滥用不仅挑战了依法行政原则与比例原则，同时也侵犯了公民的个人信息权利，并且这种侵犯所导致的结果是无法及时消除的，权利状态也无法完全恢复。

（三）
算法技术垄断阻碍公众参与案

公众参与是缩小行政机关与公民之间的信息鸿沟、保障公民知情权与监督权的重要制度设计。在人工智能时代自动化行政的背景下，公私合作的行政管理模式得以普及。相对普通民众，高新技术企业拥有天然的技术优势，甚至在算法程序中处于优势地位，进而导致企业形成技术垄断，民众也只能被动地接受算法技术的决策结果。高新技术企业的介入为自动化行政的治理提供技术支持，但同时也在一定程度上降低了公众的政治参与度。比如，浙江省在2021年实行数字化改革，开发了“浙江e行在线”“浙里民生”“浙江公平在线”等智慧应用。浙江省数字化技术改革一路高歌猛进的背后，离不开阿里巴巴公司提供的技术支持。算法技术作为自动化行政中的关键变量，决定着行政决策的精准度问题，而企业所垄断的关键技术恰恰助推其通过算法开发参与日常行政管理，大大削弱了普通民众的政治参与度。该案例也充分体现了行政机关普遍通过智能应用进行行政管理的现状。诚然，人工智能时代的自动化行政在行政管理中的高效处理极大地满足了政府的管理诉求，但类似上述案例的发生也在引发公众对于人工智能充当“裁判者”角色的担忧。行政机关将人工智能技术运用到行政管理时，应高度警惕成为工具的工具。
三、人工智能时代自动化行政的实践困境及其成因探析
尽管人工智能技术给现代行政管理带来巨大红利，但是技术藩篱也同样存在，因此必须警惕人工智能时代自动化行政可能导致的实践困境。由于算法的极速性、过度自动化、主体多元化致使正当程序缺失，加剧了弱势群体“数字鸿沟”，责任主体难以界定。

（一）
人工智能时代自动化行政的实践困境

1.正当程序的缺失




在自动化行政中，行政程序的开始与结束均由算法系统主导，行政机关与相对人无法参与，在此过程中并不存在行政机关与相对人面对面交互的可能性，传统的行政执法程序规定被架空。行政机关说明理由的义务以及相对人陈述、申辩权利的缺失成为纠正程序偏差的重点。
（1）相对人陈述、申辩权利被剥夺
正当程序制度源于英国的“自然正义”原则，该原则主张任何人在受到不利决定前均有权表达意见来维护自身权益。行政相对人陈述、申辩权的充分行使是对行政机关依法行政的监督，在一定程度上可以制约行政权力的恣意与专横。在自动化行政的具体应用中，相对人陈述、申辩的权力遭到了不同程度的剥夺。以交通领域的非现场行政执法为例，工作流程见图1。

图1  交通领域非现场执法流程图

从图1可以推断出非现场行政执法程序的设计初衷便考虑到了人工智能的辅助作用，无论自动化行政怎样赋能，释法说理之义务都不可或缺。但实践中，自动化行政却以牺牲相对人陈述、申辩的权利提高行政效率，这种建立在侵犯正当程序原则之上的“高效执法”无疑是人工智能带来的“负能”。2021年4月5日，一则“卡车司机因北斗掉线被处罚后服毒身亡”的新闻引发热议。该案缘起于该司机因卡车北斗定位系统掉线，被行政机关处以暂扣车辆并罚款2000的行政处罚。该案当事人因不满处罚，遂选择服毒自杀。该案行政机关仅依据电子技术监控到涉案车辆北斗定位系统掉线便做出处罚决定明显违反了事先告知的规定，也未听取当事人的陈述、申辩。人工智能时代自动化行政表面上提高了行政执法效率，但其是否真正提升了执法效能仍需接受公众检验。
（2）行政机关说明理由程序缺省
行政机关在做出任何决定时都应当履行说明理由的义务，说明理由的制度设计即依法行政的体现，也可以破除行政机关与相对人之间存在的信息孤岛。然而，在自动化行政执法中，行政机关的说明理由程序被搁置，使得行政相对人的程序权利受损。与自动化行政执法相比，传统行政执法可以与相对人面对面交流沟通，因此说明理由义务的实现在客观上不存在难度。但在自动化行政中，行政执法人员并不在现场，而是由电子监控等自动化设备替代行政执法人员收集违法事实，因此行政机关说明理由的程序被搁置。在知情权得不到落实的前提下，遑论相对人陈述、申辩权的保障。
2.加剧弱势群体“数字鸿沟”




截至2020年12月，我国网民数量已达到9亿之多，人工智能的迅猛发展使得公众可以广泛享受数字福利。但是，另一些群体也因教育、资源有限而陷入数字鸿沟，这类群体就是“数字时代的弱势群体”。从行政机关的立场出发，自动化行政可以极大地提高行政效率。但从公众的立场出发，人工智能时代所赋能的行政管理与服务行政是否真正提升了公众尤其是弱势群体的幸福感仍需进一步考察。随着自动化行政的普及，不少弱势群体深感不便的案例引发公众热议，如“老人冒雨用现金交医保被拒”“94岁老人被抱起做人脸识别”，两则新闻中的两位老人无助的处境不免令人发问，老人究竟应该如何适应人工智能时代下自动化行政的特有模式？抑或该如何生存？尽管我国目前仍然是自动化行政与传统行政服务并存的模式，但自动化行政优势日渐加强，将导致弱势群体的“数字鸿沟”不断加剧，数字弱势群体本应享受的公共资源难以会产生一定的“挤占效应”，甚至出现系统性的社会排斥现象。因此，应当充分考虑到人口老龄化的因素，人工智能时代的自动化行政不应盲目追求自动化行政执法的建设目标，停滞在功能层面的数字治理，而应当将目光聚焦在弱势群体的幸福感上，坚持以人为本的价值追求。
3.责任主体界定不明




近年来，人工智能被充分运用于立法、司法、执法等方面并取得了丰硕成果。但是，人工智能的广泛应用也势必会引发法律风险，在探讨人工智能法律责任这一风险时，不得不考虑其能否独立承担责任。关于人工智能的法律地位，有学者认为应当将其与法人、非法人组织等同，认可人工智能参照法人、非法人组织确立为民事主体的过程的可能性。也有学者认为人工智能不具备独立的意思表示能力，并站在法律伦理的角度主张人工智能非主体性的合理性。此问题争论不休，我国尚未出台具体的法律法规对人工智能的法律主体地位进行界定。现代社会管理模式已由传统的公权力管理向公私合作治理模式转型，行政机关不再是社会治理的唯一主体。实践中，政府往往通过社会购买的方式提高其行政管理的效率，但外部技术企业的介入加大了责任认定的难度。在以往的传统行政执法中，由两名以上执法人员进行执法，对于责任的界定难度不大，但在自动化行政中，技术企业掌握着先进的技术设备与算法逻辑。自动化设备的设计、安装、测试、运行、保养等环节需要技术企业提供技术支持，因此这些专业技术人员成为自动化设备的主要控制者。主体多元化势必导致责任认定难度加大，除了行政机关作为直接责任主体外，还应考虑自动化设备自身是否科学以及技术人员的专业性问题。

（二）
人工智能时代自动化行政实践困境的成因探析

1.算法的极速性侵蚀相对人陈述、申辩权




程序正义历来是法治国家与法治社会共同追求的法治价值，正当程序的遵守既是对公权力的监督，也是对私权利的保障。但在人工智能时代自动化行政背景下，未经相对人陈述申辩、告知理由等程序便做出行政决定明显侵蚀了当事人的程序权利。自动化行政因算法技术的极速性导致当事人陈述、申辩的权利被剥夺。在传统的行政执法过程中，执法人员需要在一定的空间、时间展开执法活动，当事人的陈述、申辩权相对容易行使并设置了相应的程序性装置加以保障。但是，在自动化行政中，智慧应用使得行政机关结合以往的执法经验做出某种程度的预测，将纷繁复杂的案件统归为人工智能系统中的各种指标、参数，然后自动化行政系统在实际运行中，以一种“自助贩卖机”的方式输出决定，行政机关便以此为依据进行行政执法。算法技术的极速性体现在其以毫秒为单位的计算速度上，在算法决策的实际应用中，人工智能大数据处理的极速性极大地节省了传统行政决策的做出时间。正是由于算法的极速性使得当事人无法及时应对，行政执法工作人员也只能被动应对，算法技术的此种特性直接导致当事人无法在第一时间实现自我救济。本应由行政执法工作人员和当事人面对面确认行政决定的内容、依据、种类等，但自动化设备的介入使得当事人只能被动接受算法给予的处理结果。
2.过度自动化侵犯弱势群体数字权益




自动化决策、自动化审批、自动化预测等高效行政管理模式的推广使得数字弱势群体的数字权利被侵犯，“数字鸿沟”的客观差距导致信息获取能力的不平等与信息资源获取的差异性，形成了算法上的不平等。但是，自动化行政的正面效应使得政府给予其高度信任，潜在的负面效应却被忽视。根据《数字中国发展报告（2020年）》统计数据显示，2020年我国电子社保卡共签发3.6亿张。此数据尽管体现了数字化时代为政府管理带来了巨大便利，但也应当注意到仍然有很多农村地区存在老年人使用智能手机进行社保卡认证存在困难的现状。有些地区，不考虑老年人的文化水平强迫公众必须下载政务官方应用、加入微信群，使得这一弱势群体无法及时获取准确信息导致权利受损。无法及时获取信息、理解使用不畅、数字时代体验感不佳等障碍进一步加剧了“数字鸿沟”。长此以往，弱势群体的数字权益将无法得到有效保障（见图2）。人工智能时代的自动化行政作为一种现代科技，当其与行政管理相结合时，会融入市民生活的方方面面，由此而产生的社会效益与法律效益成为关注的重点。

图2  数字弱势群体权益受损类型

3.主体多元化阻碍责任认定




如前所述，理论界对于人工智能的法律主体地位争议较大。在立法界定前，学界也尚未达成共识，甚至在学术界对该问题的研究呈现“泡沫化”倾向。在自动化行政中，打破了以往传统的“行政主体－行政相对人”在行政执法活动中的双方当事人的地位，外部技术企业的介入使行政执法活动中的主体数量增多，多元化主体阻碍了责任主体的认定。自动化行政执法所需要的人工智能系统的设计、安装、运行等方面均需要高新技术企业的介入，这些企业的介入使得传统的二元主体转型为多元主体（见图3）。而多元主体模式势必导致责任主体的认定变得模糊。

图3  传统行政行为与自动化行政主体对比
在公私合作治理的新型行政管理模式下，政府高效管理服务行政均需要借助社会力量。在人工智能时代的自动化行政中，表现为政府通过向社会购买高端自动化设备、开发智慧应用软件为社会公众提供高质量公共服务产品。在签订行政协议的过程中，一些地方政府工作人员由于专业性不强，对PPP等公私合作模式的理解和执行能力不足，使得协议中的权利义务分配存在重大歧义。此外，自动化行政中存在执法人员过度依赖算法技术进行行政决定的可能，当行政机关过于依赖外部技术企业的先进技术时，一些企业很容易通过技术垄断干预算法运行。当自动化行政执法中算法决策出现技术故障时，行政相对人难以进行权利救济，权责不清导致责任主体认定模糊。
四、人工智能时代自动化行政的优化路径
人工智能时代的自动化行政依靠其技术优越性进入现代行政管理视野，发展速度与规模远超传统行政管理，并呈现出应用范围广泛和技术构成复杂的独有优势。但是，如前文所述行政方式的革新意味着风险与收益是相伴而生的，人工智能设备在应用实践中应当不断优化。在正当程序方面，通过保障当事人陈述、申辩权，强化行政机关说明理由程序的履行以增益自动化行政程序；在制度层面、技术层面和伦理层面保障弱势群体数字权益；在责任认定方面，确定行政机关为直接责任主体。

（一）
增益自动化行政程序

1.保障当事人陈述、申辩权




与传统行政行为的做出相比，自动化行政行为的做出是一个封闭的过程，当事人对自动化行政的内部操作系统是如何运行的完全不了解，以至于当事人陈述、申辩的程序性权利被搁置。如前所述，算法的极速性侵蚀了当事人的陈述、申辩权，使当事人无法及时获知自己的违法行为，也无法及时纠正。为保证自动化行政的公信力与行政机关的权威性，应当为当事人预留充分的事后救济时间，应将当事人签收行政决定通知作为行政行为生效的依据。由于传统行政与自动化行政在执法空间上表现出明显差异，行政机关难以及时到达执法现场听取当事人的陈述、申辩，因此行政机关可以探索为当事人提供新型陈述、申辩的方式，告知当事人可以通过政府部门的官方网站、智慧应用等方式在线提出自己的意见，提出对行政决定的异议，如果异议成立，则消除违法记录。
2.强化行政机关说明理由程序的履行




关于算法解释的内涵，我国学者认为，当事人认为其自身基于算法决策可能或已经遭到损害的，有权知晓任何个人数据自动处理的逻辑，并对结果提出异议或要求更正错误。行政机关算法解释的内容包括对数据准确性的解释和算法决策结果的解释。第一，对数据准确性的解释。随着高新技术的迅猛发展，数据资源呈井喷式增长，为政府决策的作出提供了技术支持。但应当注意的是，数据信息的剧增同样存在信息资源良莠不齐的问题，尽管自动化设备作出决策的前提是预先摄入大量的数据信息，但如果数据信息自身有瑕疵时，那么由此得出的结果的准确性难以让人信服。故此，行政机关应当就数据的准确性进行充分合理地解释。第二，对算法决策结果解释。当事人或其他利害关系人对自动化决策结果存疑时，为确保行政机关的权威性与公信力，行政机关有必要对自动化系统的程序、逻辑等问题作出解释。由于自动化系统属于高端科技产品，可以考虑政府与技术企业合作的方式，由相关技术企业做出解释，并由第三方专家进行评估。

（二）
保障弱势群体数字权益

人工智能时代自动化行政的广泛推行使得其正面效应深入人心，但是，由于资源占有的差异性等因素使得自动化行政的负面效应也日渐暴露。只有当数字政府使所有群众受益时，才能降低数字鸿沟所造成的不平等风险。我国数字科技高速发展的同时，数字弱势群体也在不断扩大，应当从制度层面、技术层面、伦理层面保障弱势群体的数字权益。
1.制度层面：建立健全弱势群体数字权益保障规范体系




目前，我国关于数字科技的立法仍然停留在宏观指导层面，缺乏细化的、操作性强的具体规定。在人工智能时代自动行政的背景下，数字弱势群体不仅包括不善于使用智能设备的老年人，还包括未成年人、残障人士以及行政机关中需要运用数字技术办公的工作人员。面对立法滞后的现状，立法亟须回应民众诉求，基于平等享受数字福利的立场，应充分保障数字弱势群体的“数字人权”。
2.技术层面：构建传统服务与技术创新相融合模式




传统服务与数字技术并非对立排斥的关系，社会治理与公共服务如果走向完全自动化的模式，无疑是对数字弱势群体选择权的剥夺。自动化行政在提高行政效率的同时，也应强调对弱势群体的关注。在技术层面，可以采用“线上服务+线下服务”相融合的方式，防止数字技术“一刀切”，为人工服务预留空间。针对弱势群体的共性，制定普遍适用的政策，批量解决数字差异问题。还可以开通“绿色通道”，为数字弱势群体提供针对性的服务，让他们感受到数字化治理的人文关怀。
3.伦理层面：保证信息、资源平等分配




由于文化水平、认知能力、资源分配等因素，不同的群体对数字技术所带来的福利享受程度也各有不同。故此，应当坚持平等保护与个别保护并行的原则。平等保护要求在给予数字弱势群体特殊照顾的同时，避免使其产生“特权”意识。个别保护要求需要通过制度倾斜供给，弥补数字弱势群体在信息资源占有方面的劣势地位。比如，欧盟提出以智慧养老为核心的“银发经济”发展战略，新加坡提出“智慧国家2025”发展战略。

（三）
确定行政机关为直接责任主体

人工智能行为的不可解释性决定了其不具备独立承担法律责任的资格，自动化行政行为中应当厘清责任主体，明晰外部技术企业与行政机关的内在关系。基于技术辅助的立场，本文认为行政机关应当作为直接责任主体。首先，在行政法律关系中，赋予行政相对人权利与义务的主体是行政机关，即便有自动化系统的介入，行政相对人也无法向自动化系统寻求救济。并且，人工智能算法的不可解释性决定了外部技术企业不具有独立承担责任的资格，也无法承担责任。故此，在行政法律关系中，当相对人寻求救济时，无需考虑除行政机关以外的其他主体，对行政行为不服的可直接对行政机关提起行政复议或行政诉讼。其次，由于自动化系统的专业性，行政机关无法自主完成系统的设计、安装、测试，需要通过政府购买的方式实现对自动化技术的应用。在此过程中，行政机关对外部企业负有监督义务，当算法决策出现技术性故障时归咎于外部技术企业，但行政机关需作为向社会公众负责的直接主体，承担责任具有一定的正当性。最后，政府可根据行政协议对技术企业进行事后追责。若自动化系统出现技术故障导致相对人权益受损，在行政机关承担责任后可向技术企业主体追责，关于事后追责的问题涉及双方当事人的法律服务协议，属于行政协议法律关系的范畴。
结语
人工智能时代的自动化行政加速了传统行政向数字法治政府的转型，有效回应了数字社会治理的需求。自动化行政在数字政府管理中受到行政机关的青睐，宏观背景下也使得社会公众享受到了数字时代所带来的福利。但是，风险与机遇往往相伴而生，自动化行政如火如荼展开的势头下也隐藏着各种风险的暗流涌动。
算法的极速性、过度自动化、主体多元化等因素引发了正当程序缺失，加剧了弱势群体的数字鸿沟，模糊了责任主体的认定。本文对自动化行政的法律风险及其规制路径的研究仅为初步探索，是为抛砖引玉，仍存在进一步研究空间。

往期精彩回顾

李非易 张献之｜资本要素流通视角下公司集团资金池的解构与规制

李梦菲｜生成式人工智能创作物在著作权领域的权利归属及保护路径

徐斌｜股权对外转让“除外条款”的效力审查

郭锐 曹瑞璇｜职业打假行为与敲诈勒索罪的界限与界定研究

程雪军 汪敏｜算法社会下金融消费者公益诉讼的法治因应

徐叶伟｜财产保全的实务困境和路径探究

上海市法学会官网

http://www.sls.org.cn