谷歌云平台(GCP)最近宣布了云人工智能平台管道的测试版，这是一款用于自动化和管理机器学习(ML)工作流的新产品，它利用了开源技术TensorFlow Ext。

在最近的一篇博客文章中，产品经理Anusha Ramesh和开发者倡导者Amy Unruh概述了该产品及其功能。云平台管道解决了端到端ML工作流的管理问题，涵盖了从摄取原始数据到模型训练和评估到在生产中提供模型推理的整个生命周期。新产品包括用于构建工作流、跟踪工作流工件和沿袭的工具，以及与其他GCP服务(如BigQuery和数据流)集成的“企业就绪”工作流执行基础架构。据Ramesh和Unruh说：

云平台管道提供了一种部署健壮且可重复的机器学习管道、监控、审计、版本跟踪和再现性的方法，并为ML工作流提供了一个企业级、易于安装且安全的执行环境。

云平台管道是TensorFlow Extended(TFX)和Kubeflow Pipelines(KFP)的托管实现，它们运行在Google Kubernetes Engine(GKE)集群上。TFX是一个抽象层，核心概念是管道，一系列数据转换步骤(管道组件)必须协调。组件之间传输的数据称为工件。KFP是协调者，在GKE集群的Pod上执行管道中的每个组件。TFX还为ML元数据定义了一个数据存储(MLMD)，它允许跟踪管道的历史和版本以及管道产生的工件。云平台管道支持两个SDK，即级别较高的TFX SDK和级别较低的KFP SDK。然而，谷歌计划将两者合并成一个TFX软件开发工具包。

TFX最初是在谷歌2017年在KDD发表的一篇论文中描述的，该论文记录了谷歌努力构建端到端ML平台的成果，该平台包括ML过程的所有阶段，包括数据分析和转换、模型训练和评估以及推理产生。Apache Beam最初的执行基础架构是基于谷歌的Flume，现在为谷歌云数据流提供动力。TFX仍然使用Beam来定义数据并行操作，但现在它也支持Kubeflow和Apache Airflow作为编排引擎。气流是另一款GCP产品Cloud Composer背后的技术。

郑重声明：本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误，请第一时间联系我们修改或删除。谢谢你。

免责声明： 本文由用户上传，如有侵权请联系删除！

标签：