Tag - Airflow

Airflow    2019-04-30 18:11:54    1568    0    0
注:本文主要是对已有教程的补充。事实上,关于如何安装和使用Airflow,在网络上 已经有了足够多的入门教程了,而且官方的教程也写得比较清晰了,手把手执行完全不成问题。本文主要是介绍Airflow的一些概念,方便读者了解编程模型,阅读源码,降低进阶学习的成本。 --- # 应用场景 任何工具都有自己的主要应用场景,结合主要应用场景来学习实践,会更为高效。Airflow作为一款调度系统,主要
Airflow    2019-04-30 18:11:54    6524    0    0
在Airflow中,每一个DAG,代表一个ETL Workflow。编写DAG脚本是很容易的事,它以Python脚本的形式存在,只需要了解基本的编写思路和常用的Operator功能就可以编写出自己的Operator。编写完成后,需要进行调试以及线上测试,当线上测试完成之后,就可以正式部署,激活这个DAG,每天自动生产数据了。 ## 编写 DAG脚本就是一个Python脚本,这个脚本需要生成一个
Airflow    2018-03-28 11:13:16    702    0    0
网络上随手一搜就能找到很多Airflow的教程,不过大多数都非常初级,只是简单地教你怎么安装和编写最简单的DAG,实用价值不高,下面推荐的这些资料,不仅可以帮助入门,还可以提供进阶知识。 ## Apache Airflow Documentation http://incubator-airflow.readthedocs.io/en/latest/index.html 官方文档,介绍了很多细
Airflow    2018-03-09 16:33:52    2461    0    0
注:阅读本文之前,应该先阅读[Airflow DAG从编写到部署](http://longfei.leanote.com/post/airflow-dag),了解如何在Airflow上部署一个数据任务。 --- 数据任务部署上线之后,就需要关注它每天的运行状况了。 在理想情况下,我们的数据任务应该会顺利地完成,并按设定的周期重复。但现实总是不尽如人意,会有各种各样的意外,比如服务器资源不足、