研究称GPT-4通过图灵测试 54%参与者将其误认为真人
每经记者 蔡鼎 每经编辑 兰素英
自英国计算机科学家阿兰・图灵(Alan Turing)于1950年提出关于判断机器是否能够思考的著名试验“图灵测试”以来，该测试就被视为判断计算机是否具有模拟人类思维能力的关键。近期，OpenAI开发的GPT-4模型完成了这项闻名全球的测试，再度引发广泛关注。
加州大学圣地亚哥分校认知科学系博士生 Cameron R. Jones和教授Benjamin K. Bergen在预印本arXiv上发表的最新论文表明，越来越多的人难以在图灵测试中区分GPT-4和人类。
两位研究人员以真人、初代聊天机器人ELIZA、GPT- 3.5和GPT-4为研究对象。其中，ELIZA是由麻省理工团队在1964年至1966年期间开发的史上第一个聊天机器人，上世纪60年代曾参与图灵测试，但宣告失败。该机器人没有大语言模型或神经网络支持。
结果显示，多达54%的参与者将GPT-4误认为真人，是迄今为止首次有AI模型以如此高的结果通过图灵测试。还需要指出的是，上述研究开展之时，OpenAI尚未宣布新一代的旗舰模型GPT-4o，如果参与测试的是GPT-4o，这一比例可能还会更高。
500名参与者进行测试
研究人员招募了500名参与者，让他们与四位“对话者”进行五分钟的交流，这四位“对话者”分别是真人、初代聊天机器人ELIZA、GPT-3.5和GPT-4。参与者在对话结束后需判断对方是人还是机器。
双方将通过一个类似即时通讯应用的界面进行交流。界面底部有一个聊天输入框，屏幕中央为对话记录，顶部有一个计时器和触发帮助和报告的按钮。招募到的参与者首先发送消息，双方交替发送，每条消息限制在一定的字符数内。
针对AI语言模型，研究人员基于表现最好的GPT-4命令集(提示词)进行了修改，指示其表现得像一个年轻人，不要太认真对待游戏，使用口语化表述，且不要出现拼写和语法错误。此外，AI模型也不能提供太多的知识，尤其是语文和数学方面的知识。每轮测试开始时，还会添加一些额外的信息，如姓名、地点和时间戳。
而且，为了模拟真实的交流延迟，AI的回复会根据消息的长度人为地延迟发送。这种设置旨在模拟正常的人际交流节奏，增加实验的现实感。研究小组解释称，人类之所以不能百分之百地识别同类，是因为提问者认为AI的效率越来越高。这增加了他们将人类错误地识别为机器的可能性。
为了深入了解影响参与者最后作出决定的定性因素，研究小组对其使用的策略和判断的理由进行了分类。36%的参与者与“对话者”进行闲聊，询问个人细节或他们的日常活动；第二类策略是社交和情感(25%)，例如询问“对话者”的意见、经历并分析判断它们的幽默感；第三类是知识和推理(13%)，包括数学、逻辑和常识问题。
结果显示，有54%的参与者将GPT-4误认为是真人。相比之下，预先设定好回复的ELIZA只有22%的人将其认作真人，GPT-3.5则为50%，而“真人对话者”被正确辨认的比例则为67%。
社交情感能力是关键
《每日经济新闻》记者注意到，研究人员在论文中对“真人对话者”被正确辨认的比例只有67%感到震惊。
他们指出，这可能反映出参与者认为AI系统质量在不断进化，这一结果也与近年来其他类似的图灵测试呈现的情况类似。当AI系统能力很差时，真人是很容易被辨别出来的，而随着参与者对AI系统能力的信心增强，他们便更有可能将真人误认为AI。
作者在论文中指出，他们的结果为图灵测试提供了一些经验性证据。就他们使用的策略和给出的决策理由而言，被招募的参与者在测试中更关注的是研究对象在对话中的风格和社交情感因素，而不是更传统的智力类回答，例如知识和推理能力。他们认为，这可能是因为参与者认为，社交能力是机器最无法模仿的人类特征。
GPT-4和GPT-3.5在测试中的表现虽然未达到“真人对话者”的水平，但目前AI研究者普遍认为，只要有30%的回答被误认为是人类，那就算通过测试。不过也有观点认为，50%的基线更加合理，因为它更能证明人类在识别AI方面并不具有偶然性。
在上述研究中，参与者的置信度得分和决策依据都表明他们并非随意猜测：GPT-4是人类的平均置信度为73%。
还需要指出的是，由于研究人员在进行上述实验时，OpenAI尚未宣布新一代的旗舰模型GPT-4o。这一全新模型可以利用语音、视频和文本信息进行实时推理，如果参与测试，被参与者误认为人类的概率可能就会更高。
图灵测试是由英国计算机科学家阿兰・图灵(Alan Turing)于1950年在其论文《计算机器与智能》中提出的一个关于判断机器是否能够思考的著名试验，测试某机器是否能表现出与人等同或无法区分的智能水平。1966年，美国计算机协会(ACM)还以图灵的名字设立了图灵奖，被誉为“计算机界的诺贝尔奖”，旨在奖励对计算机事业作出重要贡献的个人，每年颁发一次。
3月18日，荣耀在国内市场发布全新AI使能的全场景战略，推出平台级AI赋能、以人为中心的跨操作系统体验，以及与全球产业链共振创新的一系列智能设备。荣耀CEO赵明表示，人工智能大模型时代，他们的AI战 3月18日，中国经济信息社（以下简称中经社）垂直领域数字化应用系统发布仪式在北京举行。在发布仪式上，锚定建设“国家级经济信息旗舰”的目标，中经社推出了八大数字化应用系统。中经社此次发布的行 记者19日从兰州大学获悉，天华肉羊通过国家畜禽遗传资源委员会审定鉴定，成为我国首个适应高寒气候的肉羊品种。该品种由兰州大学草地农业科技学院李发弟教授和乐祥鹏教授团队，联合甘肃省武威市天 记者3月20日从中国科学技术大学获悉，该校郭光灿院士团队在量子态分辨研究中取得重要进展。研究组在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略，并发展了自适应集体测量实验 3月19日，记者从香港科技大学获悉，该校以人工智能生成式工具设计出10位“AI讲师”， 这些“AI讲师”来自世界各地，属不同民族及文化背景。该校希望通过创新教学模式，激发学生学习热情，提升课堂参与度 作为功能机时代的霸主，诺基亚手机曾经创造了巨大的辉煌，但也因错失智能手机发展机遇而“掉队”。近期，外媒Visual Capitalist统计了有史以来最畅销的15款手机型号，其中诺基亚和苹果包揽前十。今 。本文链接：研究称GPT-4通过图灵测试 54%参与者将其误认为真人http://www.sushuapos.com/show-2-7212-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。