airflow test
-
airflow dag작성 및 실행해보기Data engineering/Airflow 2023. 8. 29. 21:35
필자는 bigquery 배치를 연결하기 전에 dag에 대해 자세히 알아보고, dag를 작성하여 실행 해보도록 하겠다. dag란? - Directed acyclic graph 로 비선형 그래프이다. - 하나의 작업 단위를 task라 부르고, 여러 개의 task가 합쳐져 dag를 구성한다. - task 간에는 >> , Empty Operator airflow.operators.dummy -> airflow.operators.empty 아무 작업을 하지 않는 operator, 보통 시작과 종료를 나타내거나, 다른 작업을 그룹화 하는데 사용 (현재는 dummy 대신 empty를 사용한다 -> 공식 홈페이지 참고: https://airflow.apache.org/docs/apache-airflow/2.3.0/_a..