江苏龙网

  1. 首页 > 人文 > >

智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】( 二 )


我们看一个横向联邦学习的案例 ， 在一个视觉的机器学习系统里 ， 标注的数据是非常宝贵的 。 比如在目标检测上 ， 一般各个公司都会去标注一些数据 ， 由于这些数据成本比较高 ， 若能把它横向联合在一起 ， 价值就会更大 ， 并且可以做到本地数据不用上传 ， 就是标注完成的数据不用再发给别人 ， 而只是作为本地模型的一个训练数据 。 标注完成之后 ， 客户端会自动的加入联邦学习 ， 等待进行训练 。 当有多方设备进入训练模式时 ， 就开始整体进行联邦学习 。
智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】
本文插图
相比于单点模型 ， 联邦学习的效果提升是非常明显的 。 左侧有一个拍摄于6个摄像头 ， 近2000张照片的数据集 ， 相对于任何一个单独的摄像头 ， 它的效果都要好很多 。 右图是Loss的一个分布 ， 可以看到使用联邦学习后 ， 波动会更小 ， 也就是训练的过程会更加稳定 ， 模型会更加健壮 。
再看一个纵向联邦学习的例子 ， 纵向联邦学习在信贷领域是非常有用的 。 国家支持小微企业的发展 ， 但是对于银行来说很为难 ， 因为小微企业一般它的数据很少 ， 甚至征信报告可能是空的 。 如果我们通过发票或者有开票公司的数据进行一个连接 ， 我们可就以使用纳税人识别号进行连接 ， 那我们可以把原来20多个维度的数据扩展到几百维 。 这样就可以给那些本没有贷款机会的小微企业也能进行贷款 ， 并且它的模型效果会好很多 。 AUC能够提升12% ， 贷款不良率能够降低40% 。
其它方面也有很多应用 ， 不再详细介绍 。 最重要的是介绍一种模式 ， 它可以形成一种混合的联邦学习 ， 比如说这里的在保险网络 ， 它可以通过多个保险公司 ， 与互联网数据进行纵向联邦 ， 同时保险公司之间会进行横向联邦来更大的发挥数据的价值 。 在反洗钱或者零售都可以有类似的应用 ， 并且很多例子都是实际的案例 ， 可以在FedAI的官网上看到 。
联邦学习在应用中的挑战
前面介绍了联邦学习的背景和应用 ， 下面主要会介绍它里面技术的挑战和原理 。
智东西54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】
本文插图
联邦学习用到的安全计算或者加密技术有很多种 ， 同态计算是开源联邦学习框架FATE中用得比较多的一种 。 所谓同态计算也可以说是同态加密 ， 但同态加密跟传统的加密有很大的区别 ， 传统方式只做加密和解密 ， 而同态除了加密解密外 ， 还有一个计算就是可以直接对密文进行计算处理 ， 并且得到结果仍然是密文 。 可以看上图的一个简单例子 ， 比如“1+2=3”的明文容易进行计算 ， 但如果把1和2进行加密 ， 还要能够进行计算 ， 计算结果可以得到一个密文 ， 并且解密之后的结果还是3 ， 这种就称它为同态加密或同态计算 。
同态计算里面有几个关键的分类 ， 一个是全同态 ， 它支持加法和乘法 ， 两个密文能够进行相加或相乘 。 但是有一种特殊的情况是可以直接乘一个明文 ， 称为标量的同态 ， 也就是用一个明文乘一个密文 ， 仍然得到一个密文 ， 当然它最终的结果与两个明文相乘解密后的效果是一样的 。 同态计算证明的篇幅会比较长 ， 我们重点介绍加密的过程 ， 这里有一个关键的因子叫r ， r是一个随机数 ， 就是同一个明文加密之后 ， 它的密文是不一样的 。 若同一个明文加密后 ， 密文是一样的 ， 那通过多次重复的数据 ， 可以推断出里面的一些分布的规律 。 再一个可以看它的公钥 ， 它的公钥是n的平方 。 还有一个m ， m是明文 ， 相当于一个模幂的运算 ， 这个比较关键 ， 后面我们会详细介绍 。 对于浮点数 ， 我们可以把它编码成整数 ， 然后进行计算 ， 因为同态计算的原始公式里面 ， 一般都指的是整数 。 这里面有一种特殊的加密系统 ， 就是Paillier加密系统 ， 它支持加法和标量乘法的同态计算 。 相比全同态 ， 它的性能会要高很多 。 所以基于工程实际的应用考虑 ， 我们主要还是应用部分同态的一个计算 。


推荐阅读


上一篇：音频怪物沉默中爆发！荣耀年度最佳旗舰，用性能和价格打破垄断

下一篇：镜头大不同 疑似荣耀Play 4“超大杯”曝光：激光雷达加持？