草庐IT

GPT-4V连小学生都不如?最新基准测试错误率竟高达90%:红绿灯认错、勾股定理也不会

GPT-4被吹的神乎其神,作为具备视觉能力的GPT-4版本——GPT-4V,也被大众寄于了厚望。但如果告诉你,初中生都知道的勾股定理,只适用于直角三角形。然而GPT-4V却自信将其用于钝角三角形中计算斜边长度。还有更离谱的,GPT-4V直接犯了致命的安全错误,竟然认为红灯可以行驶。这到底是怎么回事呢?马里兰大学的研究团队在探索过程中发现了这些问题,并在此基础上提出了两种主要的错误类型:语言幻觉和视觉错觉,以此来阐释这些错误的原因。图片论文链接:https://arxiv.org/abs/2310.14566项目主页:https://github.com/tianyi-lab/Hallusion

还能承认错误,这个AI要杀疯了...

距离我上一篇文章提到ChatGPT,到现在,它又火了好几度,最新的口号是:关于AI的问题,可以直接问AI,ChatGPT号称可以回答后续问题,承认错误,挑战不正确的前提,还能帮你修改代码中的bug……然后我试了下「我刚刚与ChatGPT就现代物理学的历史进行了大约20分钟的对话。如果我在高中和大学期间有这样一位老师……OMG。我认为我们基本上可以重新审视大规模教育的概念。我们所知道的大学将不复存在。」一位网友表示。马斯克都忍不住说了一句:「ChatGPT非常好。我们离强大到危险的AI不远了。」编程问答机器作为一种对话式大型语言模型,ChatGPT最擅长的就是回答用户提出的问题,最关键的是Cha