airflow 오류
-
airflow에서 bigquery연결 할 때 만난 에러 - raise packaging.version.InvalidVersion(f"{str(ex)} {info}") from None pkg_resources.extern.packaging.version.InvalidVersion: Invalid version: '0.23ubuntu1' (package: distro-info)Data engineering/Airflow 2023. 9. 6. 18:20
필자는 airflow에서 빅쿼리 연결 도중 계속 셧다운 되는 오류를 만났다... 이것으로 1주일 정도를 헤매었지만(지금도 진행중) 일단은 위에 만난 ubuntu 오류를 하나 해결되었다. Invalid version: '0.23ubuntu1' error. 위와 같은 오류는 pip install --upgrade setuptools=58.3.0 버전을 맞춰줌으로써, 성공적으로 apache-airflow-backport-providers-amazon[google] 다운을 완료하였다. 물론 다른 이유로 다시 오류가 날 수 있지만, 차근 차근 더 해결해보도록 하겠다.
-
Airflow 설치 - AWS에서 airflow 설치하기Data engineering/Airflow 2023. 8. 22. 22:48
필자는 AWS의 EC2 서버를 만든 기념으로 aws에서도 airflow를 설치하고 진행해보려 한다. 설치 및 웹페이지를 보는데 꼬박 3일이 걸렸다. 왜냐하면 port열어 주는 것과 가상 환경의 부재의 콜라보로 인해,, 많은 오류를 만났기 때문이다. 1. 권한 오류 - sudo 혹은 root 권한이 없어서 설치 및 수행에 시간이 걸렸다. 특히, virtulenv 설치 및 설정에도 필요함 2. 버전 오류 - python3 버전으로 인해, python을 찾지 못한 경우가 많았다. 이때는 파이썬 버전 고정 및 path 지정이 중요하다. 필자의 경우 -> 아래와 같이 경로, 버전 등등을 고정해주었다. export PYTHON_VERSION="$(python3 --version | cut -d " " -f 2 | ..