在出行平台上预订酒店，发现会员等级越高价格越贵;在外卖平台上点餐，开通会员之后配送费就涨了几块钱;用苹果和安卓手机叫网约车，时间和起止点都一样，价格却相差了不少;去售楼处看房不知不觉中被人脸识别，接着被划成某一类型的客户得到“定制化”的待遇;在电商网站上买了会员，看到的价格就比非会员贵了不少，甚至它还会预测你下一次购买同类商品的时间，到了时间就涨价……

近几年来，类似上面的报道屡见不鲜。这种商家通过大数据建立用户画像，为同样的产品制定差异化的价格从而使商家利益最大化的行为，被人们称为“大数据杀熟”。然而，由于消费者和企业之间的信息不对称，加上法律并没有要求企业公开相关算法，因此这样的指控往往很容易被搪塞。大部分时候，我们只能基于合理的怀疑对它们作一些道义上的批评。

其实，人们对“大数据杀熟”的担忧，并不只是多花了一点钱那么简单。而是面对可能的“数据霸权”和“算法统治”的来临，人们深怀恐惧感和无力感。《个人信息保护法》(以下简称“该法”)的出台，让我们看到了把技术的“利维坦”(一种传说中的怪兽)关进笼子里的曙光。

“自动化决策”

首先，该法对这类行为下了一个定义，即，“是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动”。

第二，该法赋予了个人以知情权，“个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇”。

第三，该法赋予了个人以选择权，“通过自动化决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供便捷的拒绝方式”，“通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定”。

《自动不平等：高科技如何锁定、管制和惩罚穷人》，弗吉尼亚·尤班克斯 著，李明倩 译，商务印书馆2021版

该法的出台，在对“自动化决策”的规范上迈出了重要一步，也还有不少细节可以进一步讨论。在这里，我想援引美国学者弗吉尼亚·尤班克斯的著作《自动不平等：高科技如何锁定、管制和惩罚穷人》中的例子来加以说明。

《自动不平等：高科技如何锁定、管制和惩罚穷人》，弗吉尼亚·尤班克斯 著，李明倩 译，商务印书馆2021版

首先，该法把规范的对象局限于完全的自动化决策，而很多决策行为表面上是技术辅助下的人工决策，但由于决策者对机器的信任以及缺乏时间、精力或意愿，名义上的辅助决策可能实际上仍是自动化决策，个人的选择权可能成为空谈。

尤班克斯举例说，一个地方政府引进了根据家长行为数据来预测儿童受虐风险的系统。尽管该系统声明“无意作出决定”，但它的打分还是会对调查员的决策产生重大影响。“我们都倾向于服从机器，因为机器看起来更中立、更客观”，于是调查员会认为自己遗漏了某些信息，进而去寻找相关的证据以使自己的调查结论与机器的打分相匹配。

其次，该法规定了自动化决策活动应当具有透明度，但并未明确透明度应当达到的具体程度。

可以理解，出于知识产权和商业秘密的考量，我们很难要求决策者公开全部算法，但是该法对“个人信息处理者予以说明”的要求有点简单，可能让“说明”变成“托词”，就像一家外卖平台所解释的，配送费涨价只是因为定位误差。

尤班克斯分析了一个州政府引入福利资格自动化处理系统的案例，该系统会对未能通过审批的申请者给一个极其简短和官僚化的说明，例如“未能配合福利资格确认程序”“未能配合核实收入”，而申请者要在很短的申诉期限内找到问题并且修正它极为困难，“很多申请者化身为坚持不懈的侦探，在数十页的复杂申请流程之中寻找是否有任何错误之处”。

第三，该法将个人知情权和选择权的行使条件，局限于“对个人权益有重大影响的决定”。

然而，自动化不平等并非在一夜之间突然发生的，它是一个量变引起质变的过程并且具有隐蔽性，当人们发现“重大影响”发生之时往往为时已晚。

还是以那个预测儿童受虐风险的系统为例，该系统声称在孩子出生之时甚至出生之前，就能预测到他们是否会受到虐待。对家长行为的132个变量的记录和分析，早在孩子出生之前就开始了。而直到警察突然出现在自家门口的那一天，家长才知道自己早已被锁定。而当家长被带走、孩子被送到福利院之后，系统又认为自己作出了一个成功的预测，从而进一步加强带有歧视性的算法。

最后，该法对信息推送和商业营销领域的自动化决策作了专门规范，我们对“大数据杀熟”和“自动化决策”的讨论也大多局限在商业领域。

而尤班克斯书中所举的自动化不平等案例都来自公共服务领域，但被“杀熟”带来的金钱上的损失跟一个人在政治和社会上遭受的不平等相比可以说是微不足道的。本质上而言，自动化不平等损害了社会的包容性，扭曲了公平正义的价值观，最终伤害的是我们所有人。

自动化不平等的风险，已经离我们越来越近。面对海量的求职者，亚马逊曾经用AI来筛选简历并自动打分，这一系统对所有包含“女性”一词的简历打了低分，例如“女性国际象棋俱乐部”以及“女子学院”，所幸这一系统已经被停用。学者还发现，AI更倾向于给与厨房有关的照片贴上“女人”的标签，例如一张男人在炉子旁的照片就被标记为了“女人”。如果这样的不平等得不到纠正，将来也许一个家务机器人看到男人在厨房时会送上啤酒，而看到女人在厨房时会送上洗涤剂。

对抗自动化不平等的风险，不仅需要技术层面的实践，更需要制度层面的约束。在这方面，全球已有不少政府、企业和社会组织开始行动。截至2019年，全球已有八十多份人工智能伦理准则发布，透明、公正和公平、非恶意、责任和隐私是提到最多的关键词。在上述原则的指引下，实践界和学术界还需要进一步深入探索。

“我看过沙漠下暴雨，看过大海亲吻鲨鱼，看过黄昏追逐黎明，没看过你”(陈粒)。如果有一天，当算法统治了沙漠、大海和黄昏，希望我们至少能把“看过你”这件事留给自己。

(作者王翔为复旦大学数字与移动治理实验室研究员、主任助理，主要研究方向为数字时代的公共治理、公共部门人力资源管理。)