Happiness can be found even in the dark Happiness can be found even in the dark

필자는 airflow를 빅쿼리에 연결하는데 시간소요가 많이 되었다... airflow의 잦은 릴리즈 이유로 ㅠㅠ (최근엔 한달에 한번씩 릴리즈...) 끝내 GCP에 연결되었고, 간단한 dag 작성을 통해 빅쿼리 dataset 생성에 성공하였다! 이것이 바로 4번 만에 성공한,,,(실제로는 20번 넘을듯) 빅쿼리 파이프 라인이다. 빅쿼리 연결 부분은 다른 포스팅에서 했지만, 버전의 문제인지 admin에서 connection만 한다고 되는 것이 아니였다. 그래서 기존의 빅쿼리 연결 클래스를 이용하여, 도전했다. 먼저, main에는 간단한 함수 하나를 만들어 준다. main.py def bigquery_test2(): data = ctrl_getpublic().createdataset() return {'da..