課程簡介
Apache Airflow简介
- 什么是工作流编排
- Apache Airflow的主要特性和优势
- Airflow 2.x的改进和生态系统概览
架构与核心概念
- 调度器、Web服务器和工作进程
- DAG、任务和运算符
- 执行器和后端（本地、Celery、Kubernetes）
安装与设置
- 在本地和云环境中安装Airflow
- 使用不同执行器配置Airflow
- 设置元数据库和连接
浏览Airflow UI和CLI
- 探索Airflow的Web界面
- 监控DAG运行、任务和日志
- 使用Airflow CLI进行管理
编写和管理DAG
- 使用TaskFlow API创建DAG
- 使用运算符、传感器和钩子
- 管理依赖关系和调度间隔
将Airflow与数据和云服务集成
- 连接数据库、API和消息队列
- 使用Airflow运行ETL管道
- 云集成：AWS、GCP、Azure运算符
监控与可观测性
- 任务日志和实时监控
- 使用Prometheus和Grafana的指标
- 通过电子邮件或Slack进行告警和通知
保护Apache Airflow
- 基于角色的访问控制（RBAC）
- 使用LDAP、OAuth和SSO进行身份验证
- 使用Vault和云密钥存储进行密钥管理
扩展Apache Airflow
- 并行性、并发性和任务队列
- 使用CeleryExecutor和KubernetesExecutor
- 使用Helm在Kubernetes上部署Airflow
生产环境的最佳实践
- DAG的版本控制和CI/CD
- 测试和调试DAG
- 保持大规模环境下的可靠性和性能
故障排除与优化
- 调试失败的DAG和任务
- 优化DAG性能
- 常见陷阱及如何避免
总结与后续步骤
最低要求
- 具备Python编程经验
- 熟悉数据工程或DevOps概念
- 理解ETL或工作流编排
目标受众
- 数据科学家
- 数据工程师
- DevOps和基础设施工程师
- 软件开发人员
客戶評論 (7)
講師根據學員的水平調整了培訓內容，並回答了所有問題。他非常善於溝通，與他互動非常輕鬆。我非常欣賞培訓的形式，其中包含了許多實踐練習。總的來說，這是一次非常引人入勝且組織有序的課程。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
課程 - Apache Airflow: Building and Managing Data Pipelines
機器翻譯
培訓非常到位，理論和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論知識和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常精準。理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
