算力瓶颈的问题并非是真实的天花板，更多是面对AI的突然爆发，整体硬件产业的一种措手不及 。随着产能的迅速调整，老黄豪言2024H100供货200万块 。更别提在更多新玩家入局（比如最近憋着要在GPU市场上与英伟达争雄的AMD，自己打着自研小算盘的亚马逊和谷歌，以及数十家GPU初创公司）和更大的算力基建铺设之后，这个瓶颈就会逐步自然得到解除 。
文章插图
老黄：AI的命脉（H100）就抓在我手里
数据方面的瓶颈主要来源于人类生产高质量的内容数据目前已经大部分被AI训练所消耗，在没有新的数据补充的情况下，缩放效应带来的语言模型能力的线性成长就无法达成 。但这个问题其实已经被一定程度的解决了 。早在7月，微软、OpenAI和Cohere等公司就已经开始测试使用合成数据（计算机生成的信息）训练大语言模型 。虽然剑桥牛津的学者发表论文警告说随着时间的推移，这些合成数据或许会破坏模型，导致「不可逆转的缺陷」 。但至少在一些实验条件下，比如港大利用合成图像训练模型的实验中，这一通路还是获得了很好的效果的 。
在RAILF出现之前，训练AI的最大瓶颈坑就是人工调整对齐的效率难以提升 。比如在GPT4的开发过程中，完成预训练的时间可能仅有3个月左右，但使用RLHF进行对抗和强化的过程就持续了6个月 。超过训练模型时间的两倍，而且训练模型的时间可以通过算力加强和算法改进缩短，但人工的有效速度很难提升 。现在论文中的RAILF一但被有效应用，这一瓶颈自然也就解决了 。
AI进化上的路障，已经一个接一个的被扫清 。我们控制它的方法改进却似乎远没有这么快 。
推荐阅读
- 高级分析可以帮助快速检测内部威胁
- 菠萝不削皮可以放几天
- 沐浴露可以洗头发吗 儿童沐浴露可以洗头发吗
- 微信怎么才可以已开双封 微信如何开双封?
- 鸡腿煮10分钟可以熟吗视频 鸡腿煮10分钟可以熟吗
- 玉米粉可以做什么 玉米粉可以做什么美食
- 通用机场可以客运吗雨伞能上地铁么 通用机场可以客运吗
- 保鲜冰袋可以食用吗 保鲜冰袋可以保持冷冻多久
- usb充电打火机可以带上飞机吗 火柴能带上飞机吗
- 母亲节可以送玫瑰花吗 母亲节送花怎么送