PANewsNDN的互联网信息高速最后一公里( 二 )



PANewsNDN的互联网信息高速最后一公里
本文插图

分布式存储网络:一面成熟 , 一面“天真”
随着愈发火热的5G、人工智能、大数据、区块链等新兴技术 , 纷纷开始追求各个数字化的应用场景 , 这意味着未来的数字世界将有越来越大规模的数据需要存储、传输和维护 。 那么如何在高效传输和维护数据的同时 , 又能保障数据安全呢?IPFS带来了答案 , 它被外界认为是对互联网协议的一次重塑 , 也是是互联网改革史上的一次壮举 。
2014年 , 胡安·贝内特(Juan Benet)设计了一种新的互联网协议——IPFS(星际文件系统) 。 众所周知 , 当前的互联网主要基于HTTP协议 , 而HTTP存在着极易受到攻击、数据存储成本高、数据的中心化带来泄漏风险和大规模数据存储 , 传输和维护难这四大问题 。 而相比传统的HTTP协议 , IPFS这种开源的分布式超媒体协议有着低成本高效率、数据存储更安全及可持续保存等优点 。
在IPFS这个分布式存储网络中 , 任何存储在系统里的资源 , 包括文字、图片、声音、视频 , 以及网站代码 , 通过IPFS进行哈希运算后 , 都会生成唯一的地址 。 同时 , 由于加密算法的保护 , 该地址具备了不可篡改和删除的特性 。
而Filecoin作为运行在IPFS上的一个激励层 , 是一个基于区块链的分布式存储网络 , 它将云存储变为一个算法市场 。 Filecoin协议拥有两个交易市场 , 数据检索和数据存储 。 IPFS/Filecoin 可解决互联网的数据存储和数据分发 , 并承诺提供了更加低成本、安全稳定的存储解决方案 。 例如基于HTTP协议 , 当很多人都下载某部电影时 , 会造成内存资源极大浪费 。 而IPFS会把存储文件进行哈希计算 , 相同的两个文件哈希值相同 。 所以 , 用户只需使用相同的哈希值 , 就可以访问该文件 , 这个哈希值就是文件的地址 。
然而 , 在IPFS呈星火燎原之势的同时 , 其数据检索速度一直是去中心化存储及检索领域的一大痛点 。 IPFS提供的是一个具有内容寻址超链接的高吞吐量的内容寻址块存储模型 , 但由于Web没有完全去中心化 , 仍然存在着搜索效率低下的问题 。

PANewsNDN的互联网信息高速最后一公里
本文插图

分布式网络的提速升级“新基建”
而近期在国际通信网络领域顶会SIGCOMM上发表的一篇论文 , 有望打破了这个困扰区块链存储领域多年的技术瓶颈 。 在该论文中 , 8位作者从互联网的视频内容分发需求入手 , 引入了对P2P存储和检索领域的思考 。 他们一致认为 , 以IPFS为代表的以去中心化存储及检索将是未来行业和科技的发展方向 。 值得一提的是 , 这8位作者还通过实验来验证单纯的IPFS系统和启用了NDN网络的IPFS系统在视频数据传输方面的性能差别 。

PANewsNDN的互联网信息高速最后一公里
本文插图

如上图所示 , 该模拟实验采用的是一份有10分钟长度、清晰度为480P的视频文件 。 论文采用NS-3来运行IPFS的产品模式 , NDN采用NDN SIM的客户端 , 其中路由缓存功能暂时未开启 , NDN的三种转发策略分别是:ASF、NCC和Best route strategy 。
由此得出结论 , 由于IPFS采用的的DHT技术存在寻址慢的问题 , 并且BitSwap协议的传输效率太低 , 在传输大型的文件时还会通过不同的节点同时传输重复的文件碎片 , 真正有效的数据占比只有10% , 其余全部是重复的数据包 。 因此 , 单纯的IPFS系统检索性能比较低 。
而实验的数据也显示 , 基于NDN的IPFS比普通IPFS , 在寻址性能方面有着20倍的提升 , 吞吐量也有着20倍左右的提升 。
与此同时 , 该论文还指出 , 构建在现有P2P分发网络的ICN/NDN通信协议是非常有价值的 , 它们通过采用自适应状态转发 , 利用SNAMP保证名字空间的安全 , 利用SIT路由去寻找网络同一区的内容的方式 , 确保NDN网络比IP网络的效率更高 。 另外 , IPFS/FileCoin的激励机制和自认证命名在基于ICN/NDN的网络也是可用的 。 IPFS网络中内容Hash可以是NDN层级结构命名的一部分 。


推荐阅读