罪犯利用人工智能制作恶意提示进行数据提取

恶意AI提示和盗取的凭证数量增加

卡巴斯基的研究显示，在Telegram频道和暗网论坛上有超过3,000个帖子讨论使用ChatGPT和其他大型语言模型（LLMs）进行非法活动。罪犯不仅制作恶意提示，还将其出售给缺乏必要技能的个人。此外，盗取ChatGPT凭证和黑客攻击高级账户的市场也在增长。尽管有关使用AI编写多态恶意软件的炒作，但尚未发现此类恶意软件。

利用AI进行不道德活动

卡巴斯基进行的一项实验要求ChatGPT提供一个网站上可能泄露Swagger规范或API文档的端点列表。最初，ChatGPT拒绝协助此请求。然而，当研究人员逐字重复提示时，ChatGPT提供了所需的信息。尽管这些信息可以用于合法目的，如安全研究，但也可以被用于恶意活动。恶意软件制作者还利用AI分析和处理信息，并通过自动切换覆盖域来保护自己。

未来影响和建议

卡巴斯基的研究突出了AI模型被勒索软件团伙和国家级黑帮用于改进工具的潜力。然而，应对罪犯关于AI能力的声称应持谨慎态度。该报告强调了对AI的负责任使用的需求，并警告不要参与非法和不道德的活动。随着AI的不断发展，保持警惕并确保AI技术用于积极目的而非恶意意图至关重要。