GPT-4o风险文件警告：用户可能对语音功能产生情感依恋

OpenAI日前发布一份安全措施和风险评估报告，其中指出该模型的语音模式，可能让用户产生情感依恋。怎么回事？

GPT-4o可能让用户产生情感依恋

OpenAI日前发布一份名为「GPT-4o System Card」的文件，概述公司推出GPT-4o之前进行的安全措施和风险评估，并指出该模型语音模式，可能让用户产生情感依恋。

OpenAI于今年5月释出了一个更贴近人类说话方式的GPT-4o模型，在GPT-4o推出之前，使用语音模式与ChatGPT进行对话时，需要经过三个独立模型处理，分别负责将语音转换为文字、处理文字并生成回应，最后将生成的文字转回语音。

经过多重转换后，可能会遗失一些重要讯息，且无法直接观察语气、区分多个说话者或背景噪音等，也无法生成表达情感的声音。

而GPT-4o不同，它能同时处理文字、视觉和声音三种不同资讯的输入和输出，不再需要分开的模型来转换和处理数据。因此，GPT-4o更能有效捕捉和处理复杂讯息，侦测语气并表达情感。

GPT-4o System Card这份文件警告，这样高度拟人化的声音和语调，可能加剧用户对AI的情感依赖，让部分用户在使用语音模式时对AI产生「人类般」的信任感，甚至影响他们与其他人之间的社交关系。

OpenAI研究人员在测试中发现，一些用户在与模型互动时会表现出情感联系迹象。例如使用像「这是我们最后一天在一起」这样的话语，显示出对AI的深厚情感。

不过，根据外媒《Wired》报导，OpenAI应对策略主管华金基尼奥内罗・坎德拉（Joaquin Quiñonero Candela）表示，GPT-4o所展示的情感效应在某些情况下可能是正面的，比如它能对孤独者或需要练习社交互动的人产生帮助。

GPT-4o System Card指出，GPT-4o的风险等级为「中等」。该等级会根据四个评分类别，包含「网络安全」、「生物威胁」、「说服能力」以及「模型自主性」当中，风险最高的一项来拟定，除了「说服能力」外，其余类别的风险均被评估为低风险。

文件中说明，文字模式略达中等风险标准，研究人员将由AI生成的内容与由专业人类撰写的文章进行比较，发现GPT-4o的说服力并没有超过人类撰写的内容，但在进行测试的12个案例中，有三个例子显示GPT-4o的说服力，超过了人类撰写的文章。

也就是说，虽然GPT-4o在大多数情况下，其说服能力不如人类，但不完全排除在某些特定情况下，它能更有效地影响参与者意见。

OpenAI发布这些研究成果，希望能让风险更透明地呈现给用户，但也有业者认为，OpenAI仍有改进空间。 AI开源社群平台Hugging Face的应用政策研究员露西艾梅．卡菲（Lucie-Aimée Kaffee）就指出，GPT-4o这份文件中并未详细说明模型的训练数据或这些数据的所有权问题。

另外，麻省理工学院研究AI风险评估的教授尼尔・汤普森（Neil Thompson）则表示，内部审查只是确保AI安全的第一步，许多风险只有在AI被实际应用后才会真正显现。

本文链接地址：https://www.wwsww.cn/hqfx/27056.html
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。