タスクスケジューラー「Apache Airflow」の使い方について備忘録
ソフトウェアの概要
- ジョブ(シェルコマンド実行、Python実行など)をDAG(有向グラフ)として管理し、自動で直列/並列実行させることができるツールです
- 1つのDAGはPythonコードで表現されており、所定のディレクトリにコードが書かれたファイルを置きます
- DAGの実行、および各タスク/ジョブの可否や出力結果などについては、Webブラウザ上から確認することができます
- ジョブの成功時や失敗時にメール送信する機能が標準搭載されています。