InfoQGPT-3，价值460万美元的语言模型( 四 )
但如果你想探索这个方向 ， 算术是非常糟糕的选项！作者在此处使用了 K=50 ， 也就是说他们为模型提供了 50 个简单的数学问题的正确示例 ， 以使其“定位任务” 。 但如果需要 50 个示例这么多的话 ， 没人可以完成这项任务 。
第 50 个示例包含哪些第 49 个示例中所没有的信息？这里我们要排除什么内容？难道是要排除大部分时间都像加法的陷阱系统吗？" 加法 ， 只是 52 实际等于 37 ， 其他都一样？" 当模型必须学习真正的加法时 ， 我们真的应该排除它吗？
我不知道作者在这里想做什么 ， 我想他们自己也许也不知道 。
编者注：最后附上图灵奖得主 Geoffrey Hinton 对 GPT-3 的评价——鉴于 GPT-3 在未来的惊人前景 ， 可以得出结论：生命、宇宙和万物的答案 ， 就只是 4.398 万亿个参数而已 。
参考阅读：
https://www.lesswrong.com/posts/ZHrpjDc3CepSeeBuE/gpt-3-a-disappointing-paper
【InfoQGPT-3，价值460万美元的语言模型】点个在看少个 bug
推荐阅读
- 懂车之道 全球品牌价值排行榜出炉，每天车闻：特斯拉要求电池供应商增产能
- 驱动之家辽宁第一台国产 PC 下线：年产 10 万台、价值 35 亿元
- 微贷网被立案 汉鼎宇佑金融资产价值半年或缩水一个亿
- Limited|微贷网被立案 汉鼎宇佑金融资产价值半年或缩水一个亿
- 价值|[公司]汉鼎宇佑：全资子公司持有微贷网14.13%股权
- 客家小小彬|价值流图分析实战—难画的未来图
- 娱乐大起底|《乘风破浪的姐姐》公演舞台来袭：看珍爱网大数据解析女性如何实现自我价值
- 股权|微贷网被立案 汉鼎宇佑金融资产价值半年或缩水一个亿
- 辽宁|辽宁第一台国产PC下线：年产10万台、价值35亿元
- 老王开说|成本多少？厂家：说出来你可能不信，价值10万的劳斯莱斯雨伞