-
airflow에 빅쿼리 연결하기Data engineering/Airflow 2023. 8. 28. 21:21
필자는 airflow에 빅쿼리를 연결하려고 한다 -> 빅쿼리에 연계된 배치를 연결하기 위해
찾아본 결과 , 간편하게 웹페이지에서 연결할 수 있다!
1. admin > connections를 클릭한다.
2. + 혹은 add 를 누른다.
3. 클릭해서 들어가서 체크 항목을 기입한다.
conection id : DAG 작성할 때 지정할 id
connection type : google cloud로 지정한다
project id : 빅쿼리 프로젝트 id
keyfile path: service account key 파일을 지정한다.
위 부분을 채웠으면, 이를 바탕으로 다음 포스트에서 DAG를 만들고 실행해보도록 하겠다.
'Data engineering > Airflow' 카테고리의 다른 글
airflow에서 bigquery연결 할 때 만난 에러 - raise packaging.version.InvalidVersion(f"{str(ex)} {info}") from None pkg_resources.extern.packaging.version.InvalidVersion: Invalid version: '0.23ubuntu1' (package: distro-info) (0) 2023.09.06 airflow dag작성 및 실행해보기 (2) 2023.08.29 airflow의 CLI 사용법 (1) 2023.08.23 Airflow 설치 - AWS에서 airflow 설치하기 (1) 2023.08.22 Airflow 설치 - GCP (실습) (0) 2023.05.01