ChatGPT 是有史以来用户量增长最快的应用，也是目前人工智能应用里用户数量最多的应用，不过现在有越来越多的报告指出人工智能聊天机器人导致人们自残、妄想、住院、被捕或自杀等。OpenAI 在最新博客中承认该公司在用户心理健康危机中存在的某些失误，同时该公司透露目前正在扫描用户消息中的某些类型的有害内容，在必要的情况下这部分内容将会被报告给警方。

具体来说系统监测到用户与ChatGPT的对话中包含伤害其他人的消息时OpenAI 将会把这部分对话路由到专门的通道 然后交给 OpenAI 培训过的小型团队进行审查。这个小型团队有权对用户账户采取行动，例如直接封禁用户账户，如果人工审查人员认定某个对话涉及对他人造成严重身体伤害且情况比较危急时，工作人员可能会将相关信息提交给执法部门。OpenAI 没有详细透露这个审查系统的细节，但在描述中 OpenAI 透露禁止使用 ChatGPT 伤害自己或其他人，其他禁止活动还包括使用 ChatGPT 宣传自杀或自残、开发或使用武器、伤害他人或破坏财产等等。

现阶段 OpenAI 仅会将伤害他人的相关消息转发给执法机构，该公司称鉴于 ChatGPT 互动的独特私密性，目前不会将自残等自我伤害消息转发给执法部门以尊重人们的隐私。另外 OpenAI 也已经知晓在经过多轮对话后该公司设置的安全保障措施可靠性会降低，例如当有人第一次与 ChatGPT 对话就提到自己要自杀时，ChatGPT 会给出相关帮助热线引导用户寻求帮助。