PyTorch,它的优势也是它的缺点,整个架构是为了解决易用性问题,技术较简单,整个工程复杂度比较低,切中了用户痛点,这是它的好处 。不足之处在于,为未来特别是大规模需求考虑的不多,训练出来模型之后进行部署时也比较困难 。
MXNet,早期的时候实际上有很多好的想法,但缺乏一个非常清晰的主路线,很长时间没有大的进步 。
PaddlePaddle,完整度是很好的,在百度内部强制使用,有实践检验,但在技术上像跟随者的角色,没有突破和引领潮流 。
MindSpore,团队很强,做全栈AI的战略上想得非常清楚,局部有技术创新,问题是对GPU的支持不足 。
MegEngine,亮点是把训练和推理一体化了,但这个团队的基因是视觉,对自然语言处理、广告推荐、强化学习等应用的支持可能不在他们的视野之内 。
CSDN:你说过,在资源有限的情况下,做框架必须找到最正确的路径才能做到又快又好,从百家争鸣向终局收敛,现在是百家争鸣还是说技术框架的技术已经在收敛了?
袁进辉:我觉得是现在处于争鸣和收敛的过程中,离终局可能还有两年时间 。
每一个框架上的生态就能像个黑洞一样,外界有什么新的想法也都为自己所吸纳 。如果一个技术创新不是足够大的话,这个想法就很容易被生态最强的框架吸过去 。所以新框架必须与众不同,这样别人吸收你会非常困难,你也就有一个时间窗口能站稳,拥有一波铁杆用户,才可能发展壮大 。
CSDN:收敛是不是意味着技术路线会走向同质化?
袁进辉:是的,各个框架现在来说长得越来越像了,因为我看你这个想法好,也按照你的套路去做,所以竞争非常白热化 。我相信未来这个市场实际上会变成一个赢者通吃的局面 。
CSDN:你说竞争到了白热化,但总体来看,框架的数量是比较少的 。
袁进辉:框架这个领域确实数量不多,因为复杂性和难度已经拦住了很多人,有很多人觉得做框架没有胜算,他就不会来做这个事,所以但凡进来的都是强者 。
CSDN:OneFlow会成为其中一个赢家吗?
袁进辉:原来是TensorFlow一家独大,PyTorch的出现造成各占百分之四五十的市场,我们相信OneFlow可以逐渐站住脚,先实现三分天下,甚至可以再进一步,我们有这个信心 。
CSDN:有人说,开发者对于训练和推理这两个维度的关注点不一样,在训练时更关注效率,推理时更关注低功耗,所以训练和推理可能会分化出两大框架市场,你同意吗?
袁进辉:肯定同意 。训练有两个维度很重要,一个是易用性,研究员要快速的把自己的idea变成product,PyTorch是这个特点,另一个是扩展性,可以不计成本训练比较大规模模型 。但是,在端上要考虑非常受限的场景,要考虑到端侧算力弱,功耗要求苛刻,这一定要是非常轻量的,甚至跑的模型都需要压缩,训练框架在端上都不work 。虽然我刚才说赢者通吃,但在训练和推理上可能还是会分化出两套框架 。

文章插图
“从各个维度,他们都说不可能做成”
CSDN:OneFlow框架的研发经历了几个阶段?
袁进辉:把我们的技术设想跑通就花了快两年时间,大约是2018年秋天;然后在这上面把经典的模型,调到满意的状态,又大概花了快一年的时间,主要是解决原来没预计到的问题;骨架打造好之后,最近半年都在做易用性、文档、模型库等能力 。
CSDN:之前你说今年第二季度会开源,但这个时间点明显延后了,发生了什么?
袁进辉:我们原来是计划一季度开源,那时旷视和华为也开源了,但我们发现他们模型丰富度有点单薄,会影响开源效果,为了做到一个比较令人满意的状态,就再推迟了三、四个月 。
CSDN:一个初创公司做框架,历经三年多才开源,最困难的阶段是什么时候?
袁进辉:2018年的秋冬,那时已经研发了一年半以上 。创业者有个18个月魔咒的说法,也就是一年半没看到希望,没有正反馈,心态就会发生变化,会失去耐心 。
我自己肯定非常坚定,但团队里不是每一个人都这么坚定,长时间没有正反馈,有一部分人信心和耐力到了极限,所以那个时间段,我又顶上去做了一段时间研发 。同时,之前的融资也快花完了,那既是事实上的冬天,也是资本寒冬,公司处于濒死边缘,人员规模还做了收缩 。
CSDN:哪个机构解了OneFlow的燃眉之急?
袁进辉:快手,还有老股东 。
推荐阅读
- 软件测试|3面支付宝!一个从业4年软件测试工程师面试结束后想说的
- 适用于软件工程师编码面试的十大算法
- 初级运维工程师必须掌握的哪些技能?
- 每个工程师都应该知道的关于Hashmap的知识
- 网络工程师快速入门---网络架构及传输介质详解
- 200 个工具分析机器学习十年:前途未卜、工程师是核心
- 机器学习工程师养成计划-开篇语
- 含解答 海康威视嵌入式软件工程师笔试题分享
- 初级入门IT网络工程师?收下这份关于NTP网络时间协议解读 纯干货
- 职称业绩怎么写?想评工程师中级职称的看过来
