crontab 이용하여 공공 api 데이터를 빅쿼리에 적재

필자는 aws에 공공 api 를 이용하여 데이터를 전처리 -> 빅쿼리 적재 까지 완료 하였으나, 배치 관련해서 계속 테스트 중이었다. 

 

어제, 오늘 crontab 설정 준비 및 테스트를 하였고, 드디어 오늘 배치를 실행하여 빅쿼리 적재에 성공하였다.

 

먼저 배포 후 간과하지 않아야 할 것은 

1. .env 파일 및 service key를 꼭 넣어 줄것

2. 환경 변수 설정 신경 쓸것!

 

위 2가지만 주의 한다면 서버에서 배치가 잘 실행 될 것이다! 

 

그리고 로그 확인 및 빅쿼리를 확인하여 볼 수 있다.

 

적재 시작 뒤, 빅쿼리의 query_job이 잘 생성되었는지 print 한 것이 잘 나와 있었다. -> 보통 error가 발생하면 cronlog.txt에서 확인 할 수 있는데 확인 되지 않았다! -> 성공

 

 

그리고 빅쿼리에 가서 조회했을 때

 

8월 21일 9시 21분 부터 시작하여, 적재가 된 것을 볼 수 있다!

내일 오후 모니터링을 통해 다시 한번 적재가 잘 되었다면 성공적인 일배치가 될 것으로 기대된다!