江苏龙网

  1. 首页 > 人文 > >

智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】( 六 )


高速网络助力提高密文传输效率
接下来讲下如何用高速网络来助力提高密文传输效率 。
我们主要考虑联邦学习通信的两种场景 ， 第一个场景是数据中心内部不同机构间的通信 ， 第二个场景是不同机构的数据中心跨区域通信 ， 这在联邦学习里都是很常见的通信场景 。
不同的场景 ， 它们的挑战不太一样 。 对于数据中心内的场景 ， 它的主要挑战是如何在高速网络时代去加速联邦学习通信 。 而对于这种跨区域的场景 ， 它的主要挑战是在高延迟、高丢包率网络环境下如何加速联邦学习通信 。
对于第一个场景的挑战 ， 我们主要解决方案是使用RDMA技术来优化两点间的通信 ， 然后使用动态参数聚合模型来优化多点间通信 。
我们来看下数据中心网络近年来的带宽增长 ， 很明显就能看出数据中心其实已经进入了百G网络 。 在现在的商业数据中心里 ， 100G、200G的交换机基本上已经成为标配了 。
这样的高速网络时代 ， 事实上对通信带来了非常大的挑战 。 因为带宽10到100倍的增长 ， 其实主要带来了三大问题 ， 第一是收发两端在相同时间里要处理10到100倍的网络数据包；第二是网络突发流量现象变得更加严重；第三是网络流完全所需要的RTT大大减少 ， 留给拥塞控制其响应的时间也变少了 ， 因此拥塞控制算法需要更快的去响应网络拥塞 。
智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】
本文插图
传统的TCP协议在数据中心网络用了很多年 ， 但由于在高速网络下的存在三大缺点 ， 包括这个CPU负载高带来的端处理延迟及吞吐量瓶颈等问题 。 现在使用RDMA网络代替TCP网络已经成为工业界的共识 ， 而RDMA网络主要有两大特点 ， 一个是内核旁路 ， 一个是它的传输层是卸载到网卡硬件上 。 因为两大特点 ， RDMA就能够在高速网络上实现高吞吐、低时延、低CPU负载的两点间通信 ， 因此我们认为RDMA网络非常适合用来加速联邦学习在数据中心内的通信 。
但将RDMA网络用来加速联邦学习 ， 还需要解决RDMA与GPU怎么样很好配合的问题 。 目前在GPU与RDMA网卡之间的数据拷贝 ， 存在这样一个拷贝路径 ， 就是它的数据会先从GPU拷贝到主机内存 ， 然后再从主机内存拷贝到RDMA网卡 ， 这种拷贝不仅会增大传输延迟 ， 降低吞吐量的同时也会浪费很多CPU资源 。 那我们利用NVIDIA的GPU-Direct-RDMA技术实现GPU跟RDMA网卡的直接数据拷贝 ， 这样就能够让RDMA网卡跟GPU很高效的配合 。 通过这个技术 ， 我们就将通信吞吐量从20G提升到100G ， 并且将传输延迟最多降低了1000倍 。
那我们也做了一些测试 ， 主要针对AlexNet和VGG16两种模型 。 发现这两种模型性能提升分别是超过60%和50% ， 所以这个RDMA带来的性能加速呢还是挺可观的 。
智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】
本文插图
下面介绍下如何使用动态参数聚合模型来优化联邦学习多点间通信 。 上图展现了现在常用的两种模型训练框架 ， 左边是这个Parameter Server ， 右边是Ring Allreduce ， 它们都各自存在一些缺点 ， 那对于左边的Parameter Server ， 在通信上的缺点是它会存在多对一的通讯模式 ， 那在超售网络下 ， PS的性能会因为链路拥塞而大幅下降 。 对右边的Ring Allreduce来说 ， 它的主要问题就是当Worker数目多时 ， 会有一个非常长的传输依赖链 ， 一旦的链上的某一跳阻塞 ， 它会让整个聚合任务都停止下来 。
智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】
本文插图
在联邦学习的场景下 ， 多方之间的网络状况是非常复杂的 ， 所以前面两种静态模型都无法很好优化多方间通信 。 我们提到的动态参数聚合模型的一个核心想法是根据网络的实时状态 ， 包括物理拓扑、参与训练的节点数以及网络里实施的负载情况 ， 去动态生成一个最合适的参数聚合模型 。 模型的具体情况如上图右边所示 ， 我们的模型里面会将所有训练节点划分成多个组 ， 每个组就是构成一个小树 ， 然后不同树之间连成一个环 。 相比PS来说 ， 多对一通信的程度就小了很多 ， 那对比环结构Ring Allreduce来说 ， 它的环跳数又被大大减少了 。 因此 ， 它很好的解决了前面两种静态模型各自的缺点 ， 同时又把两种模型的优点很好的结合 。


推荐阅读


上一篇：音频怪物沉默中爆发！荣耀年度最佳旗舰，用性能和价格打破垄断

下一篇：镜头大不同 疑似荣耀Play 4“超大杯”曝光：激光雷达加持？