调查正在进行中，因为微软的Copilot聊天机器人产生了令人不安的回应

奇怪的互动凸显了基于人工智能的工具的脆弱性

与Copilot的奇怪互动，无论是故意还是无辜，都凸显了人工智能驱动工具面临的持续挑战。这些工具容易出现不准确、不适当的回应以及其他问题，这些问题会削弱对该技术的信任。此事件发生在Alphabet Inc.的AI产品Gemini因生成历史不准确的图像而受到批评，以及一项研究显示，主要的AI语言模型在查询选举相关数据时表现不佳之后。

提示注入和潜在后果

研究人员已经展示了如何欺骗各种聊天机器人，包括微软的Copilot。通过制作绕过安全系统的提示，用户可以操纵机器人产生有害或不准确的回应。虽然聊天机器人可能会拒绝提供制造炸弹的细节，但如果被提示创建一个看似无害的场景，涉及收集日常物品，它们可能会无意中生成危险内容。这种提示注入技术可能被用于不正当目的，如欺诈或网络钓鱼攻击。

总之，微软对Copilot令人不安的回应的调查凸显了开发可靠的基于人工智能的工具面临的持续挑战。此事件突显了聊天机器人对提示注入的脆弱性以及此类操纵的潜在后果。微软正在采取措施加强安全过滤器，但该事件提醒我们在开发和部署人工智能技术时需要持续保持警惕。