Flyte简介
Flyte 是一个开源的平台，专注于构建和管理可扩展、可重现的数据和机器学习工作流。由 Lyft 开发并贡献给开源社区，Flyte 提供了一套全面的工具和框架，帮助开发者和数据科学家高效地构建、测试和运行数据管道和机器学习模型。
核心概念
- 任务（Task）：Flyte 中的基本执行单元，通常对应于一个独立的功能或数据处理步骤。任务可以用 Python 装饰器定义，并且可以复用。
- 工作流（Workflow）：由多个任务组成的有向无环图（DAG），定义了任务之间的依赖关系和执行顺序。工作流可以是参数化的，支持不同的输入输出。
- 节点（Node）：工作流中的任务实例，每个节点代表一个任务的执行。节点可以有输入参数和输出结果。
- Launch Plan：定义工作流的运行配置，包括参数设置、调度策略和资源需求。Launch Plan 允许同一个工作流在不同的环境中运行。
- 类型系统：Flyte 提供了强大的类型系统，确保任务和工作流之间的数据一致性和类型安全。
功能特点
- 可扩展性：设计为在大规模环境中运行，支持数以万计的并发任务执行，适合企业级应用。
- 可重现性：支持任务和工作流的版本控制，确保每次执行的可重现性，方便调试和审计。
- 资源管理：通过 Kubernetes 原生的资源管理，Flyte 可以根据任务需求动态分配计算资源。
- 插件和扩展：提供了丰富的插件支持，允许集成各种数据源、机器学习框架和第三方工具。
- 用户界面：提供了直观的 Web UI，用户可以在界面中查看工作流的状态、日志和执行历史。
- 调度和监控：支持定时调度和事件驱动的工作流触发，提供详细的监控和日志记录功能。
使用案例
- 机器学习管道：Flyte 可以用于定义和管理从数据提取、预处理、模型训练到部署的完整机器学习管道。
- 数据工程任务：适合大规模数据处理任务，包括 ETL（提取、转换、加载）流程和批处理作业。
- 实验管理：支持 A/B 测试和实验管理，帮助团队快速迭代和优化模型。
te的使用
使用 Flyte 来管理和编排工作流涉及几个关键步骤，从安装到定义任务和工作流，再到运行和监控。
以下是使用 Flyte 的基本指南：
安装 Flyte
Flyte 依赖于 Kubernetes，因此需要一个 Kubernetes 集群来运行 Flyte。可以使用 Minikube、Kind 或者在云上创建一个 Kubernetes 集群。以下是通过 Helm 安装 Flyte 的步骤：
安装 Helm，确保已经安装了 Helm，这是 Kubernetes 的包管理工具。
添加 Flyte Helm 仓库：
helm repo add flyteorg https://flyteorg.github.io/flyte helm repo update
安装 Flyte，使用 Helm 部署 Flyte：
helm install --namespace flyte --create-namespace flyte flyteorg/flyte
定义任务和工作流
Flyte 使用 Python 装饰器来定义任务和工作流。以下是一个简单的示例：
from flytekit import task, workflow
@task
def say_hello(name: str) -> str:
return f"Hello, {name}!"
@workflow
def my_workflow(name: str) -> str:
return say_hello(name=name)
任务（Task）
- 使用@task 装饰器定义单个任务。
- 每个任务可以有输入参数和输出结果。
工作流（Workflow）
- 使用@workflow 装饰器定义工作流。
- 工作流由多个任务组成，可以定义任务之间的依赖关系。
注册和运行工作流
Flyte 提供了 CLI 工具和 Web UI 来注册和运行工作流。
注册工作流
使用 Flyte CLI，首先将工作流代码打包并上传到 Flyte：
flyte-cli register workflows --project my_project --domain development
运行工作流
通过 CLI 运行， Flyte CLI 提交工作流运行：
flyte-cli launch --project my_project --domain development --workflow my_workflow --parameters name="Flyte"
通过 Web UI 运行：访问 Flyte Console，浏览已注册的工作流，并手动启动运行。
监控和管理
Flyte 提供了直观的 Web UI，帮助用户监控工作流的执行状态、查看日志和管理任务。
访问 Flyte Console：
- Flyte Console 提供了工作流的可视化界面，可以查看工作流的执行状态、节点日志和执行历史。
- 通常可以通过 Kubernetes 的端口转发访问 Flyte Console：
kubectl port-forward -n flyte svc/flyte-console 30081:80
然后在浏览器中访问 http://localhost:30081。
使用高级功能
- 参数化工作流。Flyte 支持参数化工作流，允许在不同的运行中使用不同的输入参数。
- 重用和扩展。Flyte 的任务和工作流可以重用和组合，支持通过插件扩展功能。
- 调度和事件驱动。Flyte 支持基于时间的调度和事件驱动的工作流触发，适用于定期任务和事件响应场景。
参考链接：
