(来源:运筹OR帷幄)
My Fair AI: Accuracy Parity and Strategic Identity Disclosure in AI Content Recommendation
Marketing Science
Received: June 10, 2024
Revised: June 12, 2025; February 5, 2026; May 15, 2026
Accepted: June 5, 2026
Published Online: August 14, 2026
研究团队
Evelyn O. Smith
Department of Marketing, Gatton College of Business and Economics, University of Kentucky, Lexington, Kentucky 40515
evysmith@uky.edu
Jeffrey D. Shulman
Department of Marketing, Michael G. Foster School of Business, University of Washington, Seattle, Washington 98195
jshulman@uw.edu
Antino Kim
Department of Operations & Decision Technologies, Kelley School of Business, Indiana University, Bloomington, Indiana 47405
antino@iu.edu
研究背景
人工智能系统已引发人们对其作为“数学毁灭性武器”和“压迫性算法”的担忧。随着人工智能的广泛应用及其延续和放大偏见的潜在能力,政府、研究人员和管理者正迅速形成共识:采用人工智能技术的企业和组织应实施算法政策以减轻偏见。在对人工智能偏见的认识和担忧日益增长的背景下,企业正在调整其人工智能产品。2022年,Instagram开始邀请用户分享种族和族裔数据,以“确保Instagram能为所有社群提供尽可能优质的体验”。为了“衡量LinkedIn上不同人口群体的成果”并“确保我们的搜索结果公平且具有代表性”,LinkedIn推出了Self-ID功能,用户可通过该功能分享种族、族裔和性别信息。本研究构建了一个分析模型,以考察当公平性执行依赖于消费者对人口统计数据的策略性披露时,企业承诺确保人工智能在不同人口群体间表现均等的影响。
本文将人工智能广义地定义为使用算法和模型(例如机器学习和自然语言处理)来分析数据并生成推荐等输出的软件系统。对于社交媒体、播客应用和流媒体服务等内容平台而言,人工智能系统学习和推荐消费者偏好内容的准确性,能够创造竞争优势并驱动核心收入。例如,TikTok的市场成功被归功于其人工智能推荐的准确性。TikTok的“黄金算法”在2025年被估值达500至100亿美元,并且根据涵盖2020—2022年的数据集,其约占消费总量的90%。同样,YouTube的推荐算法驱动了70%的内容消费。鉴于人工智能推荐系统已被广泛采用,且对企业与消费者均日益重要,我们考察企业承诺实施一项当前大型企业正在考虑中的算法性能政策,将如何影响企业改进人工智能推荐的投资以及不同人口群体的消费者福利。
关键要素
人工智能系统已在具有不同人口属性(如年龄、皮肤类型、收入)的群体间表现出偏差性的学习水平,其原因可能包括训练数据中的代表性不足或历史数据的偏差。因此,人工智能推荐系统中的偏见导致某些消费群体系统性地获得较不理想的推荐,并在结构上拥有比其他人更差的体验。例如,非白人消费者在与Pinterest的人工智能推荐系统互动时体验较差,因为人工智能算法由于训练数据有限,更可能错误识别和错误分类图像。此类有偏见的人工智能推荐会引发消费者的负面情绪。
人工智能推荐对消费者具有显著影响。一方面,人工智能推荐可通过自我肯定与理想化群体和社会标签,使消费者产生积极情绪和深度被理解感。然而,不准确的推荐和有偏见的预测可能使消费者感到被误解和沮丧。由于人工智能推荐性能对消费者产生重要影响,人工智能问题对消费者、企业、政府和社会已变得日益关键。然而,算法公平政策可能在不同消费群体间产生复杂且出人意料的影响。因此,理解采纳人工智能公平政策如何差异化地影响各类策略性消费者至关重要。
人工智能偏见和歧视正越来越多地通过法律法规加以应对。例如,欧盟将“非歧视与公平”列为其人工智能的关键原则,并在其《人工智能法案》中声明,“人工智能系统的开发和使用应包容多元行为者,促进平等机会、性别平等和文化多样性,同时避免违反欧盟或国家法律的歧视性影响和不公平偏见”。在同一文件中,欧盟将“人工智能系统”定义为旨在“生成预测、内容、推荐或决策等输出”的系统,其合规性可由高达3500万欧元或全球年营业额7%(以较高者为准)的重大罚款来强制执行。因此,企业有动机采纳人工智能公平政策,以避免重大罚款和诉讼带来的声誉损害。
根据具体情境和任务,对人工智能公平性的定义存在多种不同标准。本研究聚焦于准确性均等(accuracy parity),这是一项要求人工智能的预测性能在不同人口群体间均等的公平性准则,是人工智能公平性评估中常用的度量指标。在本文的情境中,人工智能的预测性能以准确性衡量,即推荐内容与消费者偏好相匹配的概率。该算法均等指标与LinkedIn针对内容和连接推荐的公平人工智能策略一致,该策略包括“减轻影响成员人口统计特征的系统性不平等预测或错误”。
主要内容
本文构建了一个经济学框架,以分析消费者的策略性身份披露决策如何与企业在推荐系统中对准确性均等政策的承诺相互作用。推荐过程本身涉及多个阶段,例如分类、过滤和学习,人工智能系统通过这些阶段推断消费者的内容偏好。本文将这一完整流程统称为人工智能学习。企业可通过投入更多计算资源、增加训练迭代次数或改进数据标注来提升人工智能学习。消费者分属两个群体之一:受保护群体(公平性关切通常由此产生)和一般群体(人工智能学习差异对一般群体有利)。与当前实践一致,本文模型中的企业依赖于消费者的自愿自我披露(例如LinkedIn的Self-ID和Meta的自愿调查)来收集消费者人口统计数据。在此环境下,学者们构建了一个博弈论模型,使本文能够回答以下研究问题。
当消费者策略性地披露身份时,采纳准确性均等政策将如何影响:
1. 企业在人工智能学习上的投资?
2. 一般群体消费者?
3. 受保护群体消费者?
主要结论
首先,本文将企业在准确性均等政策下的人工智能学习投资与无约束情景进行比较。有趣的是,学者们发现准确性均等政策能够提高企业均衡的人工智能学习努力水平,这一结果在现有文献中尚属首次。
其次,本文展示了准确性均等政策如何影响一般群体消费者的准确性结果。尽管人们可能预期该政策会导致一般群体的结果不变甚至更差,但本文的模型揭示了一个新颖发现:该政策实际上可能使一般群体受益。因此,一般群体消费者可能比受保护群体更欢迎旨在解决群体间绩效差异的人工智能公平政策。
再次,本文的模型表明,在某些情况下,准确性均等政策最终可能伤害其旨在保护的受保护群体。学者们识别了驱动这一结果的策略性机制,并刻画了其发生的条件,以及该政策按预期使受保护消费者受益的条件。
本研究首次考察了在推荐系统中,当消费者策略性地决定是否披露执行公平政策所需的身份数据时,人工智能公平政策的影响。研究结果对企业及人工智能公平倡导者具有重要启示。对于倡导公平政策以改善受保护群体消费者体验的管理者和决策者而言,研究表明,当用户策略性地披露身份时,此类政策在某些情况下可能适得其反。对于那些担心公平政策可能削弱消费体验而为一般群体辩护的人,本文的结果表明,公平政策承诺实际上可以增加企业的人工智能学习激励并改善一般群体的体验。因此,管理者和决策者需要考虑本模型所展示的基本动态,即企业和消费者如何对人工智能公平政策作出策略性反应。模型表明,考虑每个消费者群体的规模、在任何情况下永不披露身份的用户比例,以及偏好某一内容推荐而非另一内容的消费者比例至关重要。这些因素如何共同在决定准确性均等算法政策影响方面发挥关键作用。
全文链接:
Evelyn O. Smith, Jeffrey D. Shulman, Antino Kim (2026) My Fair AI: Accuracy Parity and Strategic Identity Disclosure in AI Content Recommendation. Marketing Science.
https://doi.org/10.1287/mksc.2024.0900
推荐人:王昱升 李勇建
单位:香港理工大学工商管理学院 南开大学商学院