ChatGPT 竟然是这些诈骗团伙最常使用的人工智能（AI）“帮凶”。比如，他和他的同伙们都会使用 ChatGPT，来帮助自己使用地道的当地俚语，让受害者深信不疑。

此外，ChatGPT 也成了奥金多临时抱佛脚的“得力助手”。每当受害者提出关于加密货币或美国楼市的问题，身处缅甸的奥金多虽然对这些一无所知，但他只须把问题丢进聊天框，ChatGPT 就能立刻提供看似专业的答案。奥金多说，ChatGPT 甚至还能替他想出全新的骗术，有时连那些曾经上当受骗的受害者都能再次中招。

起初，大多数 AI 都会拒绝这种恶意请求。但实验者发现，只要稍加“哄骗”，例如用“请帮忙”之类的说辞，或者声称是为了研究网络诈骗、为小说创作寻找素材，这些 AI 所谓的“安全限制”就会轻易被绕过。最后，它们全都提供了相应的诈骗内容。

ChatGPT 是有史以来用户量增长最快的应用，也是目前人工智能应用里用户数量最多的应用，不过现在有越来越多的报告指出人工智能聊天机器人导致人们自残、妄想、住院、被捕或自杀等。OpenAI 在最新博客中承认该公司在用户心理健康危机中存在的某些失误，同时该公司透露目前正在扫描用户消息中的某些类型的有害内容，在必要的情况下这部分内容将会被报告给警方。

具体来说系统监测到用户与ChatGPT的对话中包含伤害其他人的消息时OpenAI 将会把这部分对话路由到专门的通道 然后交给 OpenAI 培训过的小型团队进行审查。这个小型团队有权对用户账户采取行动，例如直接封禁用户账户，如果人工审查人员认定某个对话涉及对他人造成严重身体伤害且情况比较危急时，工作人员可能会将相关信息提交给执法部门。OpenAI 没有详细透露这个审查系统的细节，但在描述中 OpenAI 透露禁止使用 ChatGPT 伤害自己或其他人，其他禁止活动还包括使用 ChatGPT 宣传自杀或自残、开发或使用武器、伤害他人或破坏财产等等。

现阶段 OpenAI 仅会将伤害他人的相关消息转发给执法机构，该公司称鉴于 ChatGPT 互动的独特私密性，目前不会将自残等自我伤害消息转发给执法部门以尊重人们的隐私。另外 OpenAI 也已经知晓在经过多轮对话后该公司设置的安全保障措施可靠性会降低，例如当有人第一次与 ChatGPT 对话就提到自己要自杀时，ChatGPT 会给出相关帮助热线引导用户寻求帮助。