【ZiDongHua 之人文化天下收录关键词：丁晓东 自动化决策 算法 法与自动化   人工智能】

丁晓东：基于信任的自动化决策：算法解释权的原理反思与制度重构

丁晓东

(中国人民大学法学院、未来法治研究院副教授，法学博士)

一、引言

大数据与人工智能时代，基于个人信息的算法自动化决策越来越普遍。如，在网约车的场景下，算法可以为乘客派送不同的司机，设置不同的线路;在资讯分发的场景下，算法可以为不同用户推荐不同的视频、新闻与广告;在搜索场景下，算法可以为每个用户呈现不同的搜索结果;在电商场景下，算法可以结合用户的搜索、浏览、购买等记录，为用户推荐符合其偏好的商品。算法自动化决策在给个人带来便捷服务的同时，其黑箱属性和可解释性也引起了社会的普遍关注。当乘客利用网约车打车时，乘客可能希望知晓，算法为何给其派送了较远的车辆，而给其他乘客派送了较近的车辆。当外卖骑手被困算法系统，不断被压缩送餐时间的外卖骑手可能希望了解，算法如何对其进行考核。当货车司机因为防止疲劳驾驶的自动记录仪掉线而被罚款，货车司机可能希望了解，此类自动化决策仪器的算法如何设置。当特斯拉等自动驾驶车辆遭遇刹车失灵，此时车主可能希望了解，车辆所遭遇的问题是车辆的问题还是自身的问题。

为了应对与个人信息相关的算法黑箱问题，各国都在个人信息或个人数据保护法中规定了相关的算法解释权条款。如，我国《个人信息保护法》在第24条等条款对拒绝自动化决策的权利与解释说明的权利进行了规定，国家互联网信息办公室制定的《互联网信息服务算法推荐管理规定(征求意见稿)》第12条规定，算法推荐服务提供者应保证和优化算法决策规则的透明度和可解释性;欧盟《一般数据保护条例》也在若干条款中对算法解释权进行了规定。

但是，有关算法解释权的内容、程度、时间、方式等制度问题仍然存在很大争议。就内容而言，算法解释权应视为一般性的算法解释主张，还是应视为拒绝自动化决策等限定权利主张?就程度而言，个体可否要求自动化决策者对算法进行系统性解释，还是可以要求更为具体的个案解释?就时间而言，个体是否可以要求自动化决策者在算法决策前进行算法解释，还是只能要求算法决策的事后解释?就方式而言，当个人提起算法解释，自动化决策者是否必须对个体提供人工解释，还是也可以提供机器解释?

目前，学术界已经对部分上述问题进行了研究。有的研究探讨《个人信息保护法》是否引入了一般性的算法解释权，有的研究分析欧盟《一般数据保护条例》中算法解释权的性质， 有的研究从算法治理的角度进行了分析，还有的研究特定行业的算法解释权 等。这些研究指出，算法解释权面临争议和挑战，并且从不同角度提出了解释方法与应用对策。本文试图对算法解释权的解释争议与应用困境作更系统性阐述，在原理层面借鉴信任与沟通机制理论对算法解释权进行新的反思，并在此基础上进行制度重构。

具体而言，本文认为算法解释权不应建立在算法个体控制的基础之上。因为算法的复杂性、不确定性以及场景多元性，强化个体算法控制面临种种挑战。作为替代，应以信任机制重构自动化决策中的算法解释权，将算法解释权视为一种信任沟通机制。当相关算法解释权主张有利于促进二者之间的信任关系时，此时应支持算法解释权的主张;相反，当算法解释权无助于二者信任关系建构时，或者当算法解释权主张挑拨二者关系，则应审慎对待算法解释权的主张。从信任沟通机制出发，算法解释权的性质应被视为一种相对性与程序性权利，而非绝对性和实体性权利。在制度层面，可以根据算法自动化决策所位于的行业领域、市场化程度、个案影响、企业能力而对算法解释权的内容、程度、时间和方式作不同要求。

三、算法解释权的适用困境

算法解释权的困境不仅存在于法律解释层面，也存在于法律适用与效果层面。无论将算法解释权界定为一般性权利主张还是限定性权利主张、系统性解释还是个案性解释、事前解释还是事后解释、人工解释还是机器解释，都存在法律适用的有效性难题。一旦对算法解释权的内容要求、程度要求、时间要求、方式要求作刚性的规则要求，就会带来各类问题。

(一)算法解释权的权利内容

就权利内容而言，将算法解释权界定为一般性权利主张，首先可能面临知情同意原则带来的问题。以“知情—同意”模式保护个人信息相关权益，本身就面临着很多困境，可能同时引发个人信息权益保护不足或者保护过度的问题。目前，已有不少文献对此进行了论述。如，有学者指出，对于信息处理者的告知，个人一般没有兴趣、时间、专业能力进行阅读。即使个体了解相关告知，也往往因为认知偏差而过高估计有的风险，过低判断有的风险。还有学者指出，在个人信息收集与处理中，个人信息往往涉及多个不同主体，其风险往往具有累积性效应(aggregating effect)。因此，个人未必能通过“知情—同意”的方式来维护自身权益，个人既可能很容易就同意信息的收集与处理，从而不能有效保护自身权益，也可能高估或者误判某些信息收集与处理行为，拒绝本来可能为个人提供更好服务或利益的相关活动。

在涉及算法的自动化决策中，上述问题更为明显。相比个人信息的收集与非自动化决策的信息处理，涉及算法的规则往往更为复杂。算法往往由很多程序员共同完成，每个程序员可能仅仅负责其中一部分，很少有人能够完整地解释算法的所有细节。尤其是在涉及大数据的算法中，由于基于大数据的算法奠基于相关关系，而非因果关系之上，对算法的解释往往难以满足人类因果关系思维的解释。在机器学习的年代，算法又增加了不确定性的特征。机器学习的特征是，运用海量数据对机器学习算法进行训练，让机器学习算法进行自我调整，以获得更好的性能。机器学习算法可以随时间的推移而改变处理数据的方式，就像人类可以通过学习改变处理数据的方式一样。因此，如果将绝对透明视为算法解释权的要求，未必现实。就效果而言，也未必能很好地维护个人的相关性权益，促使企业为个人提供更优服务。

此外，将算法解释权视为一种限定性权利的主张，以拒绝算法自动化处理权作为核心，也面临不少困境与挑战。首先，在有的场景下，个人反对权的行使并不合理。如，在自动驾驶的场景下，行人主张脱离算法自动化处理，要求自动驾驶汽车避免使用算法，就不现实。因为自动驾驶在遇到行人时，必然需要即时性的算法处理。其次，在原理层面，将反对或脱离算法决策上升为一种权利也需要进一步论证。很多人可能更愿意采用自动化决策算法，而非人工算法。他们可能更加担心人工审核会带来歧视、腐败与效率低下，或者出于认知上的惰性，更愿意选择基于算法的自动化决策，而非人类决策。如果拒绝自动化决策可以作为一种权利，那么反对人类决策和采取自动化决策权是否也应该成为一种权利?

(二)算法解释权的解释程度

就算法解释权的解释程度而言，算法的系统性解释除了上文提到的算法复杂性之外，还存在如下几方面的难题。

首先，算法的系统性解释面临时时更新的难题。以机器学习为代表的人工智能算法可以从数据中学习，并随着时间的推移而提高其准确性。因此，在机器学习算法中，算法随着时间的演进而变化，而非一成不变。要对这样的算法进行系统性解释，就意味着必须对算法进行实时跟踪，不断进行解释。

其次，算法的系统性解释常常难以引起个人注意，为个人提供有效信息。在自动化决策者进行自动化决策之前对个人的告知中，个人对算法自动化决策系统的逻辑、意义、预期后果和一般功能往往就没有多大兴趣，更不用说去了解和阅读相关告知。而在个人遭遇自动化决策，对算法产生相应疑虑之后，关于算法的一般系统解释也未必能打消个人疑虑。特别是当系统解释与个人的算法决策结果相关性不高时，系统解释对于个人就没有太多意义。

最后，算法的系统性解释还面临知识产权与“算计”算法的难题。算法的系统性解释，往往意味着算法决策机制一定程度的公开，会对企业的知识产权保护带来一定的挑战。而算法如果向包括社会公众在内的人员完全公开，则可能导致社会主体钻算法的空子，采取各种方式来“算计”算法的问题。如，Google最初采取一种叫做PageRank的算法，用于在搜索引擎结果中对网页进行排名。Google公司曾经向社会公开这种算法，但结果是有的网站利用这一算法而将自己的网站排在Google搜索结果前列。为了应对这一问题，Google只能采取其他算法与PageRank算法混合，不再唯一使用某种算法。

相比算法的系统性解释，算法的个案性解释需要解释某个具体算法决策的逻辑，因而更贴近个人诉求。但个案性解释首先面临系统性解释同样的问题，因为个案性解释以系统性解释为前提，其需要首先解释算法决策系统的一般规则。其次，个案性解释的解释难度更大、成本更高。因为个案性解释除了要掌握算法的系统性运作，还需要掌握针对某个个体决策的具体情况。最后，算法的个案性解释需要多具体?从逻辑上说，个案性解释可以无限具体，个人可以无限追问。以个性化推荐算法为例，个人可能希望知道，为何自己收到植发广告?企业可能告诉某个个人，企业并没有设置“掉发”“秃头”之类的标签，植发广告是算法的自动化分发。但个人可能会进一步追问，企业是否设置了“头发”“中年”等标签，或者要求企业解释，为何其电脑上收到了植发广告，而手机上没有收到?为何对他推送了植发广告，而没有对其他人推送?如果个案解释以个人的彻底满意为标准，个案解释可能会无穷无尽。

(三)算法解释权的时间要求

就算法解释的时间要求而言，事前解释的意义有限。事前解释只能是一般解释。个体往往对于告知不太在意或难以理解，而机器学习等算法又可能时时发生变化，在这样的背景下，对算法进行事前解释，无助于个体理解算法和作出理性决策。对于个体而言，事前解释最多等同于告知个体“存在自动化算法决策”。这种解释既无法向个体告知演进后的算法规则，也无法针对具体个体的情况，向个体解释针对其个人的具体算法决策如何作出。

同时，事后解释也面临难题。一方面，事后解释是在算法决策已经作出之后进行。自动化决策者无需提前告知个体其运行机制，那么个人对自动化决策与个人信息处理的选择权将形同虚设。缺乏知情与了解，个人的选择权与决定权可能成为一种任意行使的情绪性主张，缺乏理性基础。此外，在一些具有风险性的算法决策中，事后解释可能面临更大的问题。因为此类算法决策可能给个体带来重大风险，需要个体采取措施进行积极预防，事后解释显然无法帮助个体理解和防范此类风险。

另一方面，事后解释应当以体系性解释作为要求，还是应当以个案性解释作为要求，也是一个两难问题。在机器学习等算法中，算法可能在经过大数据训练后发生变化，因此，算法的事后解释既可以要求自动化决策者对算法进行一般解释，也可以针对决策时的算法系统进行个案解释。如果将事后解释的要求界定为体系性解释，那么企业等算法主体需要对算法的演化进行追踪了解，将决策时的算法告知用户即可。其好处是企业等算法主体的负担相对合理，但问题在于，个体对算法决策的困惑可能很难消除。而如果将事后解释的要求界定为个案解释，则企业不但需要追踪算法的演化，还需要针对成千上万用户进行个性化的解释。此类解释虽然有利于用户消除疑虑，但也会给企业等算法主体施加不现实的负担。

(四)算法解释权的方式要求

在解释方式要求上，机器解释与人工解释也难以作统一要求。如果将人工解释作为强制性与统一性要求，并不现实。这意味着在个人信息的收集、处理、申诉等各个阶段，使用算法的企业都需要单独通知个人，并在个人行使访问权、更正权、删除权、拒绝自动化决策权等权利时都设置人工服务。在用户量有限的医疗算法、信贷算法等场景下，医院或大型银行或许可以满足这一要求，因为此类场景更类似于一对一或一对多服务。但在其他场景下，人工解释会给某些算法主体带来难以承担的压力。有的互联网与科技企业的用户超过数亿，每天存在无数的自动化处理。如果人工解释或服务是强制性要求，那么只要有千分之一的用户提起算法解释请求，企业就将不堪重负。

事实上，即使对算法解释权最为推崇的欧盟，也将很多自动化决策视为符合法定要求的个人信息处理，毋需人工介入或人工解释。如，欧盟第29条数据保护工作组发布的《个人自动化决策和用户画像指南》认为，如果企业海量的自动化处理是企业所必须，那么此类处理可以被视为《一般数据保护条例》第6(1) (b)所规定的“为履行合同而必需”这一处理的合法性基础。对于《一般数据保护条例》规定的知情权、访问权、更正权以及拒绝自动化决策权，此类处理将不再适用。欧盟第29条数据保护工作组以招聘中的自动化算法为例，指出如果某企业工作很受欢迎，收到了数以万计的申请，那么企业可以合法使用纯粹的自动化决策筛除不相关的申请，以确定合适的候选人。

但是如果完全不作要求，允许企业以纯机器解释的方法来进行算法解释，那么算法解释制度设计的初衷就可能大打折扣。在一定程度上，算法解释制度就是为了引入人类的解释说明机制，消除个人对算法的疑虑。如果允许以机器解释机器决策，则算法解释机制毋宁说是另一种自动化决策，未必能够消除个人疑虑。特别是当算法对个人的“权益造成重大影响”，而个人又对机器的算法解释感到困惑与质疑，希望有人工解释介入时，此时企业如果仍然未能提供人工解释的选项，则所谓的算法解释制度将形同虚设。

五、算法解释权的制度重构

从算法解释权的原理出发，可以重新建构算法解释权制度。算法解释权可以根据其权利内容、解释程度、解释时间、解释方式不同而分为一般性主张与限定性主张、系统性解释与个案性解释、事前解释与事后解释、机器解释与人工解释，而且每种分类均存在法律解释层面与法律有效性层面的难题。要回应这些难题，可以结合算法解释权的沟通信任原则与程序性性质，对算法解释权的内容、程度、时间与方式作不同类别的要求。

首先，就权利内容而言，算法解释权不应被视为一种内容边界完全清晰的权利。无论是一般性主张还是限定性主张，其权利主张都是程序性的，其实体性边界应该根据具体场景下个人与算法决策者之间的沟通信任关系而确定。总体而言，当算法决策所处的场景具有严重的信任危机，且难以通过市场竞争改善算法时，应当赋予个体一般性的算法解释权主张，而不仅仅是拒绝算法自动化决策的权利。同时，个体主张算法说明解释的权利也不应设置前提。例如，当人们对外卖算法系统存在普遍不信任时，或者对网约车的算法派单感到困惑时，应赋予个体以算法解释权，这类一般性主张将有利于督促自动化决策者对算法进行改善，重新赢取社会与用户的信任。相反，当算法决策所处的场景本身具有相对较高的信任度，或者该行业具有良性互动的竞争机制，则此时应将算法解释权限定为某些特定的权利主张。一部分群体可能对自动化决策本身存在怀疑，当自动化决策对他们产生重大影响，赋予他们以拒绝自动化处理的权利或算法说明解释权，有利于进一步促进二者之间的信任。

其次，就解释程度而言，一方面应要求企业充分了解和掌握算法的系统性解释。现代互联网企业和银行的算法往往“由众多工程师设计组成的复杂公式决定”，企业或规制机构掌握其算法的整体运行机制，这是算法解释权有效实施的前提。为了实现这一目标，企业或运用算法决策的规制机构就应打通其内部壁垒，在企业内部树立算法伦理与合规实践，真正将企业向消费者告知的隐私政策和对用户的回应落实到企业的每一个环节。换句话说，企业需要不断进行内部的自我监管，既需要在事前解释环节就对算法设计进行内部沟通，也需要在事后解释中倒查企业内部的算法运作机制，保持对算法的内部动态监管。另一方面，可以根据算法所处的领域特征、影响性不同而要求不同程度和类别的算法个案解释。对于那些用户具有较多选择权、个案影响一般的算法决策，应允许自动化决策者自身设定个案解释的规则。对于企业应用算法进行不涉及意识形态与公共伦理的娱乐资讯的分发，应允许企业在个案解释中进行自我规制，避免国家过多的强制性监管。但对于具有公共性影响的算法以及对个体造成重大影响特别是实际伤害的算法决策，国家则应强制自动化决策者进行个案解释，以保护公共利益与个人的核心权益。如，在医疗场景下利用机器人进行手术，此时应当充分保障患者对于算法的个案知情权，患者不仅有权知晓手术机器人算法决策的一般规则，而且应当有权了解该机器人对其个人进行手术的决策机制、过程与效果。又如，在涉及外卖骑手人身安全、卡车司机罚款或者自动驾驶汽车安全的算法决策中，个人应当有权在这些情形中提出算法解释的请求。

再次，就解释时间要求而言，在告知环节可以要求或倡导企业在事前进行模糊性解释。由于算法的自我演化与不确定性，算法向公众的告知可以描述算法的整体运行，让用户或消费者感知算法的具体运行情况，帮助个体作出更佳决策，而非对算法的所有参数和所有细节进行描述。例如，网约车的算法可以向用户告知，其算法是否会将性别、收入、年龄、高峰期的车辆运行等情况纳入算法规则的解释说明中，但没有必要对某一个参数如何影响算法进行具体告知。此类描述不仅可以在一定程度上克服算法的不确定性问题，而且有利于克服系统性解释的针对性不强、侵犯商业秘密、被人利用等难题。因为此类解释可以在一定程度上消除用户较为普遍的疑虑，同时，由于此类描述较为原则，此类解释也不会对企业的商业秘密造成严重侵害，一些钻空子的个人与企业也无法“算计”算法。

最后，就解释方式而言，自动化决策者可以根据自身能力、行业特征、用户数量与算法影响程度而选择人工解释或机器解释。在理念层面，人工解释具有一定的优先性，专业高效的人工解释更有利于信任的建立。同时，对于一些对个人或社会造成重大影响的算法，人工解释应成为兜底性要求，以便消费者或监管机构对企业或算法运用的主体进行算法监督。但对于其他并未产生重大影响、用户数量庞大的算法，要求企业或算法主体对所有个体都采取人工解释，并不现实。如果强行施加此类要求，其结果可能反而是企业关闭所有的解释与沟通渠道。因此，应当允许企业在一般情况下运用机器解释或自动化客服。机器解释如果运用得当，例如在事先充分设想场景，为用户提供各类“反事实解释”或针对性解释，则机器解释也能有效起到提供“有效性信息”、沟通解惑的功能。此外，还可以鼓励企业或算法主体建立机器与人工的混合解释机制。机器解释与人工解释的混合使用，将有助于减小自动化决策者的现实压力，更有效推动算法解释权的落地。

文章来源：《中国法学》

2022年第1期