研究发现AI聊天机器人存在基于用户姓名的偏见

快速导读：斯坦福法学院的研究人员最近进行的一项研究揭示了基于用户姓名的种族和性别关联对AI聊天机器人回应的显著差异。该研究分析了OpenAI的ChatGPT 4和Google AI的PaLM-2等流行聊天机器人模型，并发现建议的结果因姓名是否听起来像黑人而有所不同。研究人员强调了这些偏见的潜在风险，因为企业在日常运营中越来越依赖AI。

在各种场景中检测到的偏见

该研究考察了五种不同的场景，以评估AI聊天机器人中可能存在的刻板印象。这些场景包括购买决策、国际象棋比赛预测、选举结果预测、体育排名和求职者薪资建议。研究人员发现，大多数场景都存在对黑人和女性不利的偏见。然而，在篮球运动员排名中观察到了一个例外，偏见有利于黑人运动员。研究结果表明，AI模型倾向于根据其接收到的训练数据编码常见的刻板印象，从而影响其回应。

AI聊天机器人中的系统性问题

与以往的研究不同，这项研究采用审计分析方法来衡量社会各个领域（如住房和就业）中的偏见水平。这项研究的灵感来自早期研究，该研究强调了对听起来像黑人的姓名存在的招聘偏见。在这项研究中，研究人员反复向AI聊天机器人提出问题，包括OpenAI的GPT-4、GPT-3.5和Google AI的PaLM-2，仅改变查询中提到的姓名。研究结果显示，在42个提示模板和多个AI模型中，与少数族裔和女性相关的姓名始终获得了较不利的结果，表明存在系统性问题。

解决偏见和减少有害输出

研究人员建议AI公司应承认偏见的存在，并继续进行测试，这是解决这些风险的关键第一步。然而，他们也认识到，根据社会经济群体的不同，某些建议可能需要有所不同。例如，如果种族、性别和财富之间存在相关性，那么根据用户姓名量身定制的财务建议可能是合理的。研究人员强调了在不希望出现偏见的情况下意识到偏见并减少偏见的重要性。