微信
手机版
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(资料图片)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf为您推荐
- (2023-06-09)非银金融行业：“中特估”风口下的非银金融
- (2023-06-09)鲁泰A(000726)：23Q1接单承压 新面料有序投产期待23H2业绩改善
- (2023-06-09)山鹰国际(600567)：主营业务稳定增长 23年有望迎来盈利拐点 环球热讯
- (2023-06-09)全球快看点丨恒生电子(600570)：淡季收入稳健增长 利润开始逐季兑现
- (2023-06-09)环球热议:星帅尔(002860)：光伏组件业务快速放量 Q1收入端接近翻倍增长
- (2023-06-09)新能源、环保领域碳中和动态追踪(七十五)：江苏海风项目招标迎来加速 关注海风量增逻辑下的投资机会
- (2023-06-09)海亮股份(002203)：海外布局加速提升竞争力 铜箔打造新的业绩增长点 最资讯
最近更新
- (2023-06-11)大语言模型中的涌现现象是不是伪科学？
- (2023-06-11)事关猴痘！广东疾控最新提醒
- (2023-06-11)全球短讯！苍穹巨灵·内蒙古篇
- (2023-06-11)全城寻找“广州十大科学传播达人”，是你吗？ 每日热讯
- (2023-06-11)专业摄像机排行_最好专业摄像机
- (2023-06-11)马斯克：推特将向认证创作者支付在评论中投放广告的收益
- (2023-06-11)喷淋泵型号及参数 喷淋泵-环球热门
- (2023-06-11)原创组图 | “共建自贸港——遇见·相约夏日”钢琴音乐会亮相三亚_世界要闻
- (2023-06-11)天天热讯:教育部：加强中小学地方课程和校本课程建设与管理
- (2023-06-11)三星即将发布全新折叠手机和Galaxy Tab S9系列平板电脑，Galaxy Tab S9 Ultra通过FCC认证
- (2023-06-11)0xc150002错误代码 0xc150002
- (2023-06-11)excel套用表格格式 excel表格复制到另一个表格格式不变 全球焦点
- (2023-06-11)2023世界动力电池大会储能发展高峰论坛举行 宜宾被授予“中国储能产业新高地”
- (2023-06-11)t23547-2009_t235-热门
- (2023-06-11)windows11隐藏快捷键有哪些 windows11快捷键大全功能键-环球快看点
- (2023-06-11)衣阿华级预热 衣阿华级
- (2023-06-11)什么是方波、矩形波、修正正弦波、纯正弦波？ 热头条
- (2023-06-11)华强北的手表，汤主的测评来了！ 当前速看
- (2023-06-11)5月国内挖掘机销量降46％，出口增速重回两位数｜基建晴雨表_全球播资讯
- (2023-06-11)全球热点评！在监管审查日益严格之际 Robinhood(HOOD.US)终止了对Cardano、Polygon 和 Solana的支持
- (2023-06-11)明明很漂亮，却让人不想追剧，从李沁到鞠婧祎，问题出在哪？
- (2023-06-11)在监管审查日益严格之际 Robinhood(HOOD.US)终止了对Cardano、Polygon 和 Solana的支持|天天微速讯
- (2023-06-11)2023年全国射击锦标赛（步手枪项目）落幕 天天时快讯
- (2023-06-11)世界热讯:洛丹伦皇家徽记之盾搭配（洛丹伦皇家徽记之盾）
- (2023-06-11)博纳董事长于冬：剧集的崛起是对电影真正的冲击，不是拼特效的时代了
- (2023-06-11)巴萨戏耍梅西遭曝光！加泰媒体倒戈，谈2大操作，耽误球王去国米
- (2023-06-11)当前观察：压力给到X86处理器！苹果M2 Ultra芯片跑分曝光，多核成绩比M1 Ultra高18%
- (2023-06-11)铀238裂变方程式（铀238） 全球报道
- (2023-06-11)环球微资讯！发繁体 满江红（发繁体）
- (2023-06-11)环球快资讯：相术小说神作（相术小说）
返回首页
辛有志严选的模式会缔造一个新的传奇？
阿富汗“塑料衣”男孩美梦成真：获梅西签名球衣(图)
特朗普选情高歌猛进 引发美国共和党人日渐不安