草庐IT

爆火论文“14行代码打败BERT”出现反转!改掉bug性能秒变最差

50年前的kNN算法,只用14行代码在文本分类上超越风头正盛的Transformer,包括BERT——这个来自ACLFinding的成果,一发布就火爆学术圈,让人重新思考还有多少旧方法可以用于今天的机器学习任务。图片有人盛赞它的创意性超过95%的同会论文,但是却没有获奖实在令人想不通。图片短短14行代码,完全打开了大家的思路。然而,才不到几天的时间,就有人发现:这一切好像都是个误会。BERT没有被打败,代码有bug,结果有问题!图片这是,反转了??重测后性能从SOTA变最差先再来简单回顾一下这篇论文的主要背景和思想:图片它讲的是如今由于精度高被经常用于文本分类的深度神经网络模型(DNN),因为