Happiness can be found even in the dark Happiness can be found even in the dark

airflow에는 group 커맨드와 그냥 커맨드가 존재한다. 간략하게 커맨드 사용법에 대해 알아보도록 하겠다! $ airflow -h를 통해 알 수 있다. - > -h = help user 생성 및 유저 리스트를 볼 때 : $ airflow users list 유저 생성 할 때 -> airflow users create -h 이런식으로 -h를 붙일 것 (아래의 example에 따라 설정 하면 유저 생성 가능) tasks 관련하여 파헤쳐보기 $ airflow tasks -h 명령어를 이용하여 list, run, state 등등 알아 볼 수 있다. 이 중에 dags 리스트 중에 example_xcom(dag 이름) 에 대해 깊게 알아보자 $ airflow tasks list example_xcom -> 어..

Airflow는 크게, 다음과 같은 구조를 가집니다. Scheduler - Airflow의 DAG와 작업들을 모니터링 하고 실행 순서와 상태 관리 Worker - Airflow의 작업을 실행하는 공간 Metadata Database - Airflow에서 실행할 작업에 관한 정보들을 저장 (로그와 비슷) Webserver - airflow 의 User Interface 제공 DAG Directory - airflow에서 실행할 작업들을 파이프라인 형태로 저장 DAG란? Directed Acylic Graph 의 약자로, 비순환 방향 그래프를 의미. 그래프 구조에 기반한 데이터 탐색 알고리즘이며, 주로 작업(TASK)의 우선순위/순서를 표현하기 위한 용도로 사용됨 → Airflow는 Scheduler가 DA..