江苏龙网

  1. 首页 > 人文 > >

技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台( 三 )


开源版本还没有内置的调度器 。 其鼓励用户“主要依赖于垂直可伸缩性” ， 尽管他们可以使用AWS SageMaker实现水平可伸缩性 ， 它与AWS紧密耦合 。
Lyft：Flyte
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
图源：unsplash
Lyft已开放了其云本地平台Flyte ， 在这个平台上数据和机器学习操作融合在一起 。 这与我的D/MLOps方法相一致——数据（Ops）之于MLOps就像燃料之于火箭：没有它将徒劳无功 。
Flyte是建立于Kubernetes之上 。 它是由Lyft内部使用的 ， 可以扩展到至少7000个独特的工作流 ， 每个月执行超过100,000次 ， 100万个任务和1000万个容器 。
Flyte中的所有实体都是不可变的 ， 因此可以跟踪数据沿袭、重现实验和削减部署 。 重复任务可以利用任务缓存来节省时间和金钱 。 目前支持的任务包括Python、Hive、Presto和Spark以及sidecars 。 从源代码来看 ， 似乎是EKS 。 他们的数据目录也是Amundsen ， 这与Spotify的Lexikon很像 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
AWS、Azure、GCP和Co
公共云领域的主要参与者都有自己的机器学习平台 ， 除了Oracle ， 他们只为特定的用例和行业提供封闭的基于机器学习的模型 。
AWS SageMaker是一个全堆栈的机器学习解决方案 ， 支持TensorFlow、Keras、PyTorch和MXNet 。 使用SageMaker Neo ， 可以将模型部署到云端和边缘 。 它有一个内置的功能 ， 可以通过Amazon MechanicalTurk对S3中存储的数据附上标签 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
谷歌没有托管平台 ， 但是通过TFX、Kubeflow和AI平台 ， 可以将在CPU、GPU和TPUs上运行的模型所需的组件组合在一起 ， 调优超参数 ， 并自动部署到生产环境中 。 Spotify甚至选择了TFX/Kubeflow-on-GCP选项 。
除了TensorFlow ， 还有对scikit-learn和XGBoost的支持 。 自定义容器允许使用任何框架 ， 如PyTorch 。 SageMaker Ground Truth的标签服务目前处于测试阶段 。
技术债务的高息信用卡：深入了解那些知名的端到端机器学习平台
本文插图
Azure机器学习支持多种框架 ， 如scikit-learn、Keras、PyTorch、XGBoost、TensorFlow和MXNet 。 其拥有自己的D/MLOps套件 ， 其中包含大量的图形 。 喜欢模型开发的人可以使用拖放界面 ， 不过也附带了各种警告 。 模型和实验管理 ， 如预期的那样由微软通过注册表完成 。 使用Azure Kubernetes服务进行生产部署 ， 控制转出也是可能的 。
IBM Watson ML提供了指向和点击机器学习选项（SPSS）和对常见框架组的支持 。 作为两大主要参与者之一 ， 模型是在CPU或GPU上训练的 ， 超参数调优也包含在框中 。 该平台没有很多关于数据和模型验证的细节 ， 因为这些在其他IBM产品中是可用的 。
尽管阿里巴巴的人工智能机器学习平台标榜着两个流行词 ， 但它并没有改进文档 ， 关于最佳实践的部分写的是用例而非建议 。
不管怎样 ， 它在拖放方面下了功夫 ， 特别是在数据管理和建模方面 ， 这可能对一个自动化的端到端ML平台帮助不大 。 该平台支持诸如TensorFlow、MXNet和Caffe等框架 ， 但它也支持大量的传统算法 。 正如所料 ， 它还包括一个超参数调谐器 。
模型序列化使用PMML、TensorFlow的SavedModel格式或Caffe格式完成 。 请注意 ， 采用PMML、ONNX或PFA文件的评分引擎可能会支持快速部署 ， 但它有引入培训/服务倾斜的风险 ， 因为服务的模型是从不同的格式加载的 。
其他平台


推荐阅读


上一篇：中期|A股8月收官微跌 再失3400点后9月怎么走？

下一篇：浙江经视新闻|浙江8岁男孩全身发黄，医生怀疑被投毒！外公懊悔：没想到差点要了孩子的命