Happiness can be found even in the dark Happiness can be found even in the dark

필자는 개인 프로젝트로 GCP를 이용하여 샘플데이터를 로컬에서 Google Cloud Storage에 업로드 하는 파이프라인에 대해 기술하려고 한다. 초기 데이터가 잘 적재되었다면, 서버에 배포하여 배치 작업까지 개발 할 예정이다. (shell script를 이용 할 예정) 먼저, 구조는 아래와 같다. python main.py args -> 와 같은 명령어를 통해 실행시킬 예정 그래서 main.py를 밖에 두고, 그 외는 project 폴더 속에 만들었다. 초기 적재라는 목적을 가진 py의 이름은 initial_data.py라고 만들었다. 그리고 main에서 호출하기 쉽도록, class로 만들어 주었다. # 초기 로깅 셋팅 logger = logging.getLogger("info") errLogger..