智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】( 七 )
最后介绍下如何解决联邦学习跨区域场景的通信挑战 ， 我们的解决方案是设计一种机器学习专用网络传输协议 。
对于联邦学习跨区域通讯 ， 主要有三点观察 ， 第一个是这个随着物理距离增加 ， 跨区域通讯时间在联邦学习中时间占比越来越大；第二个是跨区域主干网具有高延迟、高丢包率等特征 ， 并且丢包侦测及丢包恢复的代价都是很大的；第三个通过观察发现机器学习模型训练 ， 是可以容纳一定的丢包 。 为了验证第三点 ， 我们也做了两个实验 ， 第一个实验发现当这个模型训练的丢包率小于15%时 ， 它的模型收敛需要的轮次是不变的 。 第二个实验发现 ， 当你丢包率低于15%时 ， 如果不做丢包重传 ， 能够有效减少模型训练所需要的时间 。
本文插图
那大家就会有个疑问 ， 为什么机器学习模型训练可以容忍部分丢包呢？其实是因为目前的模型训练 ， 大多数是采用随机梯度下降的方式通过多轮迭代进行 ， 丢失一部分数据并不会影响训练算法来找到模型收敛点 ， 通过上图能更直观的解释 。 中间五角星的是模型训练的收敛点 ， 最大的圆圈外面的点是模型训练的起始点 。 如果整个训练过程当中没有任何包丢失 ， 那它可能就会走这条蓝色的弧线 ， 一轮一轮走到收敛点 。 如果丢失一部分包 ， 但是丢包括多 ， 模型训练的这个路径如红色的弧线 ， 可以收敛 ， 训练轮次也差不多 ， 只是它的路径与原路径相比 ， 稍微有一点点偏离 ， 并不会影响模型训练收敛的性能以及最终的精确度 。
【智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】】基于前面的观察 ， 我们设计了一种机器学习专用的网络层数协议 ， 叫做MIT 。 它的核心想法是在不影响模型收敛的前提下 ， 我们允许一定的丢包 ， 不去做重传 ， 从而降低联邦学习跨区域通信所需要的时间 。
推荐阅读
- 健康plus|因一根鱼刺他差点错失高考！医生：这几种东西先别给考生吃了
- |姐姐说，你头上不能没有这东西
- 进阶▲S20中388点券你可以得到这么多东西~
- 趣味社会学|我也只能放行，忘带驾驶证就算“无证驾驶”？交警：能拿出这东西
- 远藤周作如何通过小说来反思东西方文化的碰撞？
- 低价|3块钱包邮买一个快递盲盒，卖家声称无人认领低价处理，杭州姑娘拆开后里面是这东西
- 美食杰官方|这东西是肉类之王，脂肪极少，夏天常吃不怕胖，比羊肉还养人
- 钱江晚报|4岁孩子耳朵里掉出一颗白色小珠子，惊魂竟来自孩子爱玩的这东西
- 蓝迪潮搭美妆达人|明星之所以穿的如此吸睛，是因为衣服上多了这些东西
- 中国新闻网|东西部协作电商产业节在津闭幕“直播带货”十天销售额超千万元