江苏龙网

  1. 首页 > 人文 > >

技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台( 四 )


H2O提供了一个使用POJO或MOJO进行数据操作、多种算法、交叉验证、超参数调优网格搜索、特性排序和模型序列化的平台 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
valohai——芬兰语：轻鲨 ， 是一个管理机器学习平台 ， 其可在私有、公共、混合或多云设置上运行 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
每个操作（或执行）都对Docker Image运行一个命令 ， 类似于Kubeflow 。 二者主要区别在于 ， Valohai直接管理Kubernetes部署集群 ， 而Kubeflow要求开发人员执行这一任务 。
然而 ， Kubeflow和TFX认为他们提供了一些与TensorFlow相关的工具 。 使用Valohai ， 需要重用现有的Docker Image ， 或者滚动自己的Docker Image ， 这意味着可使用任何机器学习框架 ， 但是自由度必须与可维护性考虑相权衡 。
因此 ， 可以通过Spark、Horovod、TensorFlow或任何适配个人需求和基础设施的工具来分配训练 ， 但这些都由个人决定 。 这还意味着要负责确保数据转换的兼容性 ， 以避免训练/服务倾斜 。 注意 ， 它目前只支持对象存储 。
Iguazio提到了从笔记本或IDE在几秒钟内部署的能力 ， 尽管这似乎错过了最常见的场景：CI/CD管道 ， 甚至是包含TFX的Pusher组件的平台本身 。 它使用Kubeflow进行工作流编制 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
Iguazio确实具备功能商店 ， 可为键值对和时间序列提供统一的API 。 尽管大多数大型科技公司都有特色商店 ， 但许多可用的产品却并不具备 。
功能商店处于核心位置 ， 具有可在多个模型之间共享以加速模型开发的可随时重用的功能 。 它可以在企业规模上实现特性工程自动化 。 例如 ， 可以从时间戳中提取许多特性：年、季节、月、星期、时间、是否为本地假日、自最新相关事件以来所经过的时间、特定事件在固定窗口中发生的频率 ， 等等 。
SwiftStack AI通过RAPIDS套件面向NVIDIA gpu的高吞吐量深度学习 。 RAPIDS提供了库 ， 比如cuML ， 允许人们使用熟悉的scikit-learn API ， 但受益于GPU加速支持的算法 ， 以及用于GPU驱动的图形分析的cuGraph 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
AI层是D/MLOps的API ， 其内置了对多个数据源、编程语言和机器学习框架的支持 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
MLflow由Databricks支持 ， 这解释了与Spark的紧密集成 。 它提供了一组有限的部署选项 。 例如 ， 在PySpark中将模型导出为矢量化的UDF的能力对实时系统来说不是最合理的 ， 因为Python UDF带来了Python运行时环境和JVM之间的通信开销 。
尽管开销没有使用标准PySpark UDFs那么大 ， 因在Python和JVM之间的传输中使用了Apache Arrow（一种内存中的柱状格式） ， 也不是无关紧要的 。 如果使用Spark Sreaming作为默认的数据提取解决方案 ， 那么使用Spark的微批处理模型可能很难实现亚秒延迟 。
对日志记录的支持仍然处于实验阶段 ， 这对于D/MLOps来说是非常重要的 。 从文档可以看出 ， MLflow并不关注数据和模型验证 ， 至少不是平台的标准部分 。 有一个MLflow的托管版本(在AWS和Azure上)提供了更多的特性 。
D2iQ的KUDO for Kubeflow是一个基于Kubeflow的面向企业客户的平台 。 与开源的Kubeflow不同 ， 它自带Spark和Horovod ， 以及对TensorFlow、PyTorch和MXNet等主要框架进行预构建和完全测试的CPU/GPU图像 。 数据科学家可以在笔记本中部署表单 ， 而不需要切换情景 。


推荐阅读


上一篇：中期|A股8月收官微跌 再失3400点后9月怎么走？

下一篇：浙江经视新闻|浙江8岁男孩全身发黄，医生怀疑被投毒！外公懊悔：没想到差点要了孩子的命