Airflow 설치 - AWS에서 airflow 설치하기

필자는 AWS의 EC2 서버를 만든 기념으로 aws에서도 airflow를 설치하고 진행해보려 한다.

 

설치 및 웹페이지를 보는데 꼬박 3일이 걸렸다. 왜냐하면 port열어 주는 것과 가상 환경의 부재의 콜라보로 인해,, 많은 오류를 만났기 때문이다.

 

<가장 많이 만났던 오류>

 

1. 권한 오류 - sudo 혹은 root 권한이 없어서 설치 및 수행에 시간이 걸렸다. 특히, virtulenv 설치 및 설정에도 필요함

2. 버전 오류 - python3 버전으로 인해, python을 찾지 못한 경우가 많았다. 

이때는 파이썬 버전 고정 및 path 지정이 중요하다.

 

필자의 경우 -> 아래와 같이 경로, 버전 등등을 고정해주었다. 

 

export PYTHON_VERSION="$(python3 --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
export PATH=$PATH:/home/sychung/.local/bin

virtualenv -p python3.8.10 /home/sychung/.venv

 

aws에서의 순서를 말하자면 아래와 같다.

 

1. virtualenv를 이용한 가상 환경 설정

2. pip install apache-airflow 

3. airflow version     (버전 확인)

4. airflow db init

5. airflow webserver -p 8080

6. airflow users create --username {test} --firstname {name} --lastname {name} --role Admin --password {pw}--email {test@test.com}

 

여기서 webserver를 띄우고 보통 localhost:8080으로 들어가는데 (로컬일 경우)

필자의 경우, aws 의 EC2 인스턴스에서 인바운드 규칙을 추가한다 -> 8080 포트 추가 ** 중요

그리고 난 후, public ipv4 address:8080 이렇게 입력해야 아래와 같이 웹페이지를 볼 수 있다. 

 

 

이 화면을 보겠다고 3일을 삽질했지만, 끝내 보았기에,,,, 기쁘다.

 

다음에는 배치를 돌렸던 빅쿼리와 연결을 해보도록 하겠다.

 

참고 url: https://magpienote.tistory.com/237

[Airflow] airflow설치 방법(with ubuntu, mysql)