【ZiDongHua 之人文化天下收录关键词：王亚慧 法与自动化 性别平等 以人为本   人工智能  算法自动化决策  算法   智能决策  决策自动化  智能自动化  】

王亚慧丨算法自动化决策背景下的女性就业歧视与规制

王亚慧

中国社会科学院大学硕士研究生

要目

一、弱人工智能时代背景下算法歧视的消解

二、我国现行法律体系规制的不足及比较法参照

三、女性就业中算法歧视规制的重点面向

四、反女性就业歧视良性算法重构

算法自动化决策在就业领域有着广阔的应用前景，但算法技术并非中立无偏，而是将偏见和歧视内嵌到决策系统当中。以弱人工智能时代存在的算法歧视为背景，通过对我国就业和算法领域的现行法律体系进行比较法分析后，明确女性就业中算法歧视规制应重点关注的社会底层歧视逻辑、大数据谎言和算法技术批判。以此为基础，提出修正社会底层逻辑，释放女性人口红利;跨越性别数据鸿沟，由大数据向高质量数据转型;以技术批判理论为指导，全流程深度规制就业领域算法性别歧视的建议。

人工智能时代背景下，算法的应用场景日益增多。算法通过对海量的数据进行信息挖掘，使用自动化的数据驱动方式作出决策，如开展自动推荐、评价和判断等。算法和代码，而非规则，日益决定各种决策工作的结果。但算法并非中立无偏，而是将偏见和歧视内嵌到决策系统当中，以悄无声息的方式侵蚀着社会公平正义。女性在就业市场中受到歧视是亘古存在的，但在算法自动化决策背景下，有着歧视难以察觉、难以证明、难以归责的困境，因此更有规制的必要。

一、弱人工智能时代背景下算法歧视的消解

规制人工智能时代的算法歧视，首先需要明确规制对象及其发展阶段。关于人工智能的兴起，应追溯到1950年，艾伦·图灵在《计算机器与智能》的论文中提出“机器能否思考”的问题，通过用“图灵测试”回答这一问题来判断计算机是否具有人类智能。而后在1956年的达特茅斯会议上，麦肯锡等科学家首次提出“人工智能”这一概念，标志着人工智能学科的诞生。人工智能的发展道路充满曲折，但随着大数据、云计算、互联网、物联网等信息技术的蓬勃发展，人工智能技术也迎来飞速发展时期，实现了信息感知、机器学习等专用人工智能的单点突破，在某些方面甚至可以超越人类智能，但在概念抽象和推理决策等通用人工智能必需的能力方面还很薄弱。因此，可以说，人工智能总体发展水平尚处于起步阶段。按照“三层级”说，我们还处于从弱人工智能向强人工智能发展的初级阶段，我们对现阶段的算法歧视尚可有所作为。有些学者以强人工智能时代的智能意识、难以规制为由逃避对弱人工智能的治理，将在法律和技术上完善现有规则仅作为治标之策是不可取的。相反，研究应以当前及在相当时间段内世界将处于弱人工智能时代为研究背景，着眼于对人工智能的核心要素之一即算法的认识和规范，以人工智能的特殊性及其对现有法律理论造成的冲击作为研究重点。

人工智能算法的运行逻辑对人的行为形成支配关系，对以强调个人幸福和权力优先性为特点的现代伦理带来巨大挑战。算法自动化决策看似处于性别中立的地位，但可能嵌入既有的性别偏见，成为隐藏性别歧视的分配手段，并且造成难以察觉的性别歧视后果。一系列被指出存在性别歧视的算法，便给招聘和筛选算法的应用敲响了警钟：20世纪80年代，伦敦圣乔治医学院通过算法筛选学生的入学申请，但以之前的招生数据为依据创建的算法规则被证明用于对女性和有色人种进行歧视。2018年，亚马逊的AI招聘工具通过学习近10年来公司的简历数据来审查应聘者并给求职者打分，在实际应用中被曝存在性别歧视行为，尤其是歧视女性，会对具有“女性”标识的应聘者自动降级打分。2019年8月，苹果公司推出的信用卡背后的算法也被指存在性别歧视，一对夫妻共同提交纳税申报单，但丈夫的额度却是妻子的20倍。人工智能凭借其科学、客观的形象得以在各个领域进行广泛部署与应用，但其发展的不确定性却为歧视数字化的法律规制带来新挑战，歧视的表达形态、传播效率和影响规模都被深刻改变。因此人工智能的歧视效应是未来监管者在各领域不得不面对的重要问题，以确保人工智能安全、可靠、可控发展。

二、我国现行法律体系规制的不足及比较法参照

弱人工智能时代背景下，女性就业领域中存在的算法歧视亟待法律规制且法律也应当有所作为。算法自动化决策背景下的女性就业歧视关涉到传统领域的就业歧视及数字时代的算法歧视，因此本文将分别阐述法律体系规制之不足，但将重点关注算法领域的法律规制。

就业领域女性歧视规制

我国关于反性别歧视的立法主要包括宪法、妇女权益保障法、劳动法和工会法。反性别歧视以宪法第33条、第42条、第48条的规定为统领，实行男女平等、同工同酬。妇女权益保障法第2条重申妇女享有与男子平等的权利，强调禁止歧视妇女，在第四章专章规定妇女的劳动和社会权益保障。妇女权益保障法(修订草案)征求意见稿中强调保护妇女的就业平等权，明确列举了性别歧视的主要情形，增加了实施就业性别歧视的法律责任，并且建立健全职工的生育休假制度。劳动法第3条规定劳动者享有的各项劳动权利，如平等就业权和选择职业权等。第12条规定劳动者就业不因性别不同而受歧视。第13条规定妇女享有同男子平等的就业权利，录用职工时不得以性别为由拒绝录用妇女或者提高对妇女的录用标准。这些条文涉及女性就业平等保护和禁止基于性别的就业歧视的内容。

上述法律仍未明确“对妇女的歧视”的定义，未明晰直接歧视与间接歧视的区别规制。在算法自动化决策背景下，就业歧视更加难以察觉，传统的主要针对直接歧视的定义在治理人工智能时代的间接歧视时则显得捉襟见肘，不利于现实生活中的歧视现象规制。另外，规定过于原则化，不利于受害者获得救济以及实践中的操作和执行。

反之，平等原则和禁止歧视原则在联合国九个核心人权条约中均有规定，其中消除对妇女一切形式歧视公约重点关注歧视妇女的现象，在公约第1条即明确“对妇女的歧视”的定义，涵盖直接歧视和间接歧视，并敦促缔约国为加速实现男女事实上的平等采取暂行特别措施。第11条要求缔约国采取一切适当措施消除在就业方面对妇女的歧视。国际劳工组织的就业和职业歧视公约(第111号公约)，第1条也明确规定了歧视的定义，即具有取消或损害就业或职业机会均等或待遇平等作用的任何区别、排斥或优惠，第2条要求会员国承诺宣布并奉行一项国家政策，旨在以适合本国条件和惯例的方法，促进就业和职业方面的机会和待遇平等。中国分别于1980年11月和2005年8月批准加入上述两公约。

从其他国家或区域立法来看，我们可以知悉国外在反性别歧视的问题上，均将直接歧视和间接歧视明确加以规定，不仅在“形式”上予以规范，更注重“结果”意义上的平等。美国有关禁止就业中的性别歧视最重要的法律属1964年民权法案，这部法案奠定了女性就业权平等保护的国家政策，第七章明确规定了包括性别歧视在内的就业歧视的相关问题，设定了就业歧视的基本标准。法案要求“采取积极行动保障不同性别的申请者都能够得到平等对待”，废止专门针对女性的所谓“保护性”立法，该法案的实施对女性就业权的实现产生重要影响。英国最重要的反性别歧视法律为1975年通过的性别歧视法，该法案的出台标志着就业领域的反性别歧视原则正式得到国家法律确认。法律明确规定就业领域的性别歧视行为，禁止基于性别和婚姻状况的理由实施歧视。对性别工资待遇歧视、性别就业待遇歧视以及举证责任、救济方式都有相应规定。欧盟涉及反就业歧视的指令包括《75/ 117》《76/207》《2000/43》《2000/78》《2002/73》,其中最重要的是1976年男女平等待遇指令，但其仅作了原则性的规定。因此在2002年对该指令进行细化修改，对性别歧视中的直接歧视与间接歧视明确界定，并且规定了相应的司法救济程序，有力地保障了平等就业权在欧盟的实现。

算法领域女性歧视规制

关于算法领域的性别歧视规制，我国于2021年通过实施的数据安全法、个人信息保护法形成了算法自动化决策规制的基本框架，如根据个人信息保护法的相关规定，处理个人信息应具有明确、合理的目的，遵循最小必要原则，且须征得个人同意。利用个人信息进行自动化决策的，应当保证决策透明和结果公平公正。个人有拒绝自动化决策作出决定的权利。但其规定较为原则笼统，且人力资源管理所必需的个人信息无须经过个人同意即可进行处理，因此对算法自动化决策中存在的性别歧视有诸多难以规制之处。我国于2022年3月施行的《互联网信息服务算法推荐管理规定》主要规制利用算法推荐技术提供互联网信息服务的行为，第三章用户权益保护规定算法推荐服务提供者应当告知用户算法推荐服务情况，公示其基本原理、目的意图和主要运行机制等，并且要求算法提供不针对个人特征的选项或者允许用户关闭算法推荐服务。但该规定的适用领域和规制的算法类型较为局限，且没有体现对女性的倾斜保护。

从国外的立法情况来看，美国一向重视隐私权的保护，强调以伦理教育和隐私法规防范人工智能风险。2017年12月美国纽约州通过算法问责法案，旨在通过透明度和问责解决算法歧视问题。2022年，联邦层面提出2022算法问责法案，要求应用自动化决策的公司测试算法是否存在错误数据、偏见、安全风险、性能差距和其他问题，每年提交影响评估报告并留档，以此来促进算法的公平性、问责性和透明度。欧盟则积极推进以人为本的人工智能伦理与治理。一方面，依据通用数据保护条例充分保障个人的信息安全，要求自动化决策提供关于逻辑运行的有意义的信息，解释自动化决策的重要性和预想的后果;另一方面，依托算法责任与透明治理框架提出将算法透明和责任治理作为解决算法公平问题的工具，分层次建立监管机制。欧盟委员会还公布了关于制定人工智能统一规则的提案，旨在通过治理与监管实现可信赖的人工智能。该法案对人工智能实行分类分义务管理，明确企业在人工智能开发、运营过程中的强制性义务，制定了包容审慎的技术监管措施，对规制人工智能的潜在风险和不良影响具有深远意义。此外，电气和电子工程师协会(IEEE)发布旨在推进人工智能和自治系统伦理设计的IEEE全球倡议书，提出通过教育、培训和授权，确保人工智能系统设计开发的利益相关方优先考虑伦理问题。人工智能的全球治理趋势已十分显著，“算法霸权”是各国监管者亟须面对的问题，但算法自动化决策中存在的女性歧视问题并未得到重视，尚需各国法律调整完善，以适应人工智能时代算法歧视规制的需要。

三、女性就业中算法歧视规制的重点面向

规制算法歧视，尤其是尚未被关注或者说关注度不足的女性就业中的算法歧视，需要对嵌入算法的女性歧视寻本溯源。人工智能的三大核心要素是数据、算法、算力。算法是数据驱动型算法，数据是算法的“饲料”，只有经过对标注好的数据进行大量训练，覆盖尽可能多的场景才能得到一个良好的算法模型。大数据是社会的一种镜像，当前社会的既有格局与特征、偏见与结构性不平等会映射到数据当中。根据上述路径，社会中的性别歧视与偏见会借由数据和代码嵌入算法当中，因此本文将以社会、数据、技术的三维视角剖析女性就业中的算法歧视，换言之，即规制算法自动化决策中存在的女性就业歧视时应重点关注的领域。

从社会底层逻辑出发，算法歧视并非源自技术本身或技术创新，而是前沿科学技术赋能传统社会矛盾的结果。第一，社会性别歧视和偏见的广泛存在。第二，用人单位的男性化的理想工人规范。从用人单位的角度来说，理想工作者是从成年早期开始工作没有任何中断并获得完整职业生涯的员工，这样才能满足其追求利润最大化的目标。第三，职业性别隔离现象。职业的性别隔离一词最早由格罗斯提出，即由于社会系统性因素，不同的性别集中在不同的行业和职位上，主要表现为大部分女性劳动力集中于一些“女性化”职业，传统上由男性占主导地位的职业保持为“男性化”职业，这类职业具有高技能、高收入、高地位的特征，“女性化”职业则技术含量低、工资待遇低、社会地位低。从谷歌算法为女性提供相对男性更少的与高薪工作相关的广告即可见一斑。

从数据谎言剖析出发，大数据反映着主体的多元行为和人类现实社会，却也存在着歪曲和异化的风险。一方面，“大数据”的数据相对于万物在同一时刻所释放的所有数据来说，其能够捕捉到的只是微不足道的“微数据”和浅层次的“表数据”，大多数大数据资源是不完整的。目前应用于算法的神经网络只具备相关性学习能力，没有因果逻辑推理能力，就导致算法极易受到复杂大数据中异质性、虚假相关性、偶然内生性的影响。因此，由传统社会结构矛盾导致的“数字性别鸿沟”，在人工智能时代便会加重女性歧视和数据偏见，科技进程排挤女性发展的现象更为严重。另一方面，数据是客观的，但应用数据的人却有主观意图。现阶段人工智能算法应用的数据须通过数据清洗、数据标注方能使用，而数据清洗、标注工作主要由人工完成。人工对文本、图像、语音、视频等原数据进行归类、整理、编辑、纠错、标注和批注等操作，为机器学习训练提供可读数据。若标注人员存在单边的技术性思维，受到忽视价值观预设、样本选择性偏差和认知局限等主观因素的影响，则会加剧数据瓶颈和陷阱的障碍作用，算法及人工智能的发展也会偏离初衷和正常轨道。

从技术范式纠偏出发，算法技术已成为数字时代不可忽视的力量，算法的歧视化风险也引致社会忧虑。从上层技术理论来说，技术中立论对科学技术的现状和发展前途充满乐观主义和自信，崇尚技术统治;技术实体论对技术的发展则持悲观态度，认为技术排斥民主与自由，是一种极权性的社会力量，会赢下昂人的存在与人类文化;技术批判理论对科学技术进行目的批判、过程批判和设计批判，认为技术的发展能够走向一条技术民主化的道路。我们应当摒弃技术崇拜和技术恐慌，理性客观看待技术发展与进步，以技术批判理论作为人工智能时代的技术哲学指导。从算法开发来说，算法要经过提出问题、数据处理、数据集建构、模型设计、模型训练、模型测试等流程才算开发完成，而这一过程的局限是需要大量人工干预，如人工设定神经网络模型、人工设定应用场景、人工采集和标注大量训练数据。因此，算法开发过程是算法歧视入侵的主要阵地。从算法应用来说，算法披着“技术性”和“客观性”的外衣，却因其高度专业性、不可解释性和不透明性导致“算法黑箱”的存在。人工智能的深度学习更加凸显了“算法黑箱”带来的技术屏障，程序错误和算法歧视在人工智能的深度学习中变得难以识别，法律主体制度、透明度原则和问责机制难以运用。

四、反女性就业歧视良性算法重构

通过分析女性就业算法歧视规制的重点面向，可以知悉算法歧视的治理若只关注算法内部结构则收效甚微，根植在其内部的社会底层逻辑和数据谎言也是应予规制的重点。比较参考国外相关立法，对我国法律制定和修改具有借鉴意义，本文关注到就业中存在的算法性别歧视问题，也希望对此提出有效的政策建议。

修正社会底层逻辑，释放女性人口红利

首先，借修订妇女权益保障法之契机，明确“对妇女的歧视”的定义，深化人们对性别歧视的认识，为精准识别某项措施或某个行为是否具有歧视性提供准绳和规范依据，以期纠正社会性别偏见和性别刻板印象。只有明确将“对妇女的歧视”的定义涵盖直接歧视和间接歧视，不仅关注“性别”，还要关注其造成的“结果”或负面影响，以此才能在治理人工智能时代的隐性歧视时发挥应有作用。否则，仅靠现有法律规定，恐难以规制人工智能带来的波及面广、隐蔽性强的歧视问题。如何理解与界定对妇女的歧视是反性别歧视的核心问题，歧视定义的明确界定可以统领就业领域的性别歧视治理，有助于法律层面的可操作性和可执行性的提升。

其次，纠偏男性化理想工人规范，肯定和分担女性承担的生产责任。马克思在《德意志意识形态》中提出了两种“生活的生产”的概念，包括通过劳动进行的自己生活的生产和通过生育进行的他人生活的生产。恩格斯则进一步将两种生产解释为“物质资料的生产”和“人自身的生产”，充分肯定了妇女的作用和贡献。在社会性别和发展的视角下，缓解女性的工作—家庭冲突不仅是女性的责任，更需要包括政府、社会、企业界和男女两性在内的多元主体参与和分担。政府机关应通过立法和政策指引推动构建良性的工人规范，不以无间断的职业生涯为标准;用人单位不能仅将利润奉为“真理”，也须承担相应的社会责任。

跨越性别数据鸿沟，向高质量数据转型

一方面，为避免大数据时代女性就业数据的缺失，既要从根源上提升女性地位以增加女性就业数据，消除“性别数据鸿沟”;也要认识到大数据固有的异质性、噪声累积性、虚假相关性和偶然的内生性。因此，要将重点从大数据转移到高质量数据，更新数据观念和处理方法，从根本上改变单向单边思维，强化对数据的性别平等性检验和定位范围的缩小，才能确保“性别平等观”在数据中得以体现，由此数据训练的算法才能保证其具有平等完善的性别伦理观。具体来说，在进行数据分组时，不简单的以男性和女性为分类标准，以排除数据异质性对分析结果的影响，而是尽可能多的分组，在数据层面挖掘女性个体职业特征和需求;在选择变量时，应注重独立性筛选，以防过去职业数据中的虚假相关性和偶然同质性影响人工智能深度学习，避免其做出职业与性别间错误相关性的判断分析。

另一方面，加强数据质检，规避人工清洗和数据标识过程中可能嵌入的性别歧视。由于现阶段人工智能算法应用的数据更多由人工进行清洗和标注，人类内隐偏见驱动的无意识歧视可能嵌入其中。因此，在数据清洗和标注工作完成时，数据的质检流程就更显重要。现在的数据质量检测主要注重在数据完整性、一致性和准确性三方面评估是否达到预期的质量要求。从注重性别平等观念的视角来说，企业在进行就业数据检测时还应当注重性别平等性检测，通过女性就业数据分析判断女性是否受到不应有的区别、排斥或限制，或者产生妨碍、否认女性依法享有和行使权利的后果。

以技术批判为指导，深度规制算法歧视

通过上述分析，我们确立以技术批判理论作为对弱人工智能时代算法歧视规制的技术哲学指导，理性看待算法并通过制定修改法律全面规制算法歧视。从比较视野来看，国外规制算法歧视均从算法伦理教育、透明度和解释权、算法问责等方面展开。本文也将基于上述方面，并以算法设计、应用、监管、责任承担全流程为规制对象，探讨如何有效有针对性地规制就业领域中的算法性别歧视。

伦理规范是人工智能发展的纠偏机制，现阶段预防人工智能的伦理风险应从对研发者的拘束出发，必要时可以采取教育培训等手段向研发者强调性别平等、尊重隐私等伦理观念，使研发者意识到他们的工作存在用于恶意目的和性别歧视的风险，作为人类未来世界设计工程师的一份子，应当承担设计性别无偏、人类普遍受益的算法的责任。性别平等的算法伦理规范的养成对强人工智能时代甚至超人工智能时代的算法都是十分有益的，只有这样才能确保人工智能健康可持续发展。

为避免“算法黑箱”中滋生的算法歧视，增加算法透明度和赋予个人“解释权”成为一种可信且具有吸引力的规范措施。因此，在通过算法自动化决策作出劳动人事决策时，算法设计目的、应用过程是否考虑到性别因素以及可能暗含性别的因素及其所占的比重应予公示，以确保此时性别信息的使用和处理符合合法、合理、最小必要原则的要求。另外，当个人认为在决策过程中受到算法性别歧视时，应确保其拥有要求决策者对其进行个案解释说明的权利。通过上述事前和事后规制，避免女性在劳动人事决策过程中受到歧视。

即便为算法设定性别平等的伦理规范，谨慎运行性别平等的算法逻辑，有时也未能有效阻止性别歧视的结果发生。此时，应注重算法运行的审计，对人工智能进行性别歧视的运行测试，对用人单位提出谨慎性义务。此外，还可以大力提倡算法性别平等的外部审计，通过审计的用人单位可以获得认证标志，为其吸引人才提供竞争优势。

最后，关于算法性别歧视的归责问题。算法侵害具有主体多元、因果追溯困难、主观过错认定困难、自主性引致决策失控的规则难题。本文认为，无论如何，现有法律主体如人工智能的设计者、销售者和使用者都应该承担相应的歧视责任。由于算法的专业性和不透明性，受害者举证困难，因此应参照过错推定责任原则，由算法设计方或应用方证明其没有进行性别歧视或尽力规避算法性别歧视但仍未能达到预想效果才能免责。

关于女性的性别歧视问题，本文所谈及之处还远远不够，在更深层次的社会结构中有着难以根除的女性歧视问题。随着大数据算法对我们的生活产生愈加深刻的影响，借由数字经济和智能社会的深入发展，人权发展格局迈向数字人权时代。但人工智能发展的不确定性也带来了歧视数字化的法律风险，不断呈现出算法权力对人的规训，算法“治理赤字”也愈加严重。消除对妇女一切形式歧视公约第11条第一款规定：“缔约各国应采取一切适当措施，消除在就业方面对妇女的歧视，以保证她们在男女平等的基础上享有相同的权利”。因此，我国作为公约缔约国应当注重人工智能歧视治理，加快反歧视法律数字化转型，构建以人为本、公正包容的反歧视法律制度。本文希冀借助人工智能时代的到来，引导算法向善发展，促进性别平等而不是加剧性别歧视，释放女性人口红利而不是限制女性进步发展，尊重保障女性人权而不是加剧数字性别暴力。