Airflow

タスクスケジューラー「Apache Airflow」の使い方について備忘録

トビウオ2019年11月5日 - 13:41 に投稿

タグ

ソフトウェアの概要

  • ジョブ(シェルコマンド実行、Python実行など)をDAG(有向グラフ)として管理し、自動で直列/並列実行させることができるツールです
  • 1つのDAGはPythonコードで表現されており、所定のディレクトリにコードが書かれたファイルを置きます
  • DAGの実行、および各タスク/ジョブの可否や出力結果などについては、Webブラウザ上から確認することができます
  • ジョブの成功時や失敗時にメール送信する機能が標準搭載されています。