OpenAI推出CriticGPT来捕捉ChatGPT的错误

快速导读

OpenAI最近推出了CriticGPT，旨在帮助检测ChatGPT生成的代码中的错误。这个工具结合了人类评审员和强化学习，提高了AI训练者在审查代码时的表现。实验表明，使用CriticGPT的个体表现优于没有该支持的人，显示了结合人类专业知识和CriticGPT批评的优势。然而，CriticGPT目前主要集中在短回复上，需要进一步研究来处理更复杂的输出。此外，它容易受到AI幻觉的影响，目前只能识别代码中特定部分的错误。未来的改进应解决更多种类和分散的错误。

OpenAI的新工具：CriticGPT

OpenAI最近推出了CriticGPT，这是一个旨在帮助人类检测ChatGPT生成的代码中错误的大型语言模型（LLM）。这个工具是OpenAI努力提高其GPT模型准确性和有效性的一部分，通过将人类反馈的强化学习（RLHF）纳入其中，人类评审员评估和批评AI生成的内容。CriticGPT专门设计用于支持AI训练者在RLHF过程中。

使用CriticGPT的好处

OpenAI进行了一个实验，发现当个体在审阅ChatGPT的代码时得到CriticGPT的帮助时，他们的表现优于那些没有这种支持的人。实验表明，一个人类AI训练者更倾向于从人类和CriticGPT的组合中获得反馈，而不是仅仅来自人类的反馈，没有AI工具。这展示了将人类专业知识与CriticGPT提供的深入详细的批评相结合的优势，特别是在AI模型可能产生不准确反馈或过多次要建议的情况下。

CriticGPT的训练和局限性

CriticGPT是使用OpenAI的RLHF技术进行训练的，其中在ChatGPT生成的代码中故意插入错误，并准备了用于识别这些错误的示例反馈。然而，CriticGPT目前的训练数据主要集中在ChatGPT的短回复上，需要进一步的研究和发展来处理更长更复杂的输出。此外，CriticGPT容易受到LLM中常见的AI幻觉的影响，目前只能识别和批评代码中一个部分中的特定错误。未来需要对CriticGPT进行改进，以有效解决更多种类和分散的错误。