Happiness can be found even in the dark Happiness can be found even in the dark

필자는 aws에 공공 api 를 이용하여 데이터를 전처리 -> 빅쿼리 적재 까지 완료 하였으나, 배치 관련해서 계속 테스트 중이었다. 어제, 오늘 crontab 설정 준비 및 테스트를 하였고, 드디어 오늘 배치를 실행하여 빅쿼리 적재에 성공하였다. 먼저 배포 후 간과하지 않아야 할 것은 1. .env 파일 및 service key를 꼭 넣어 줄것 2. 환경 변수 설정 신경 쓸것! 위 2가지만 주의 한다면 서버에서 배치가 잘 실행 될 것이다! 그리고 로그 확인 및 빅쿼리를 확인하여 볼 수 있다. 적재 시작 뒤, 빅쿼리의 query_job이 잘 생성되었는지 print 한 것이 잘 나와 있었다. -> 보통 error가 발생하면 cronlog.txt에서 확인 할 수 있는데 확인 되지 않았다! -> 성공 그리고 ..

필자는 crontab을 이용하여 배치를 하기 위해 crontab -e 를 이용하여 명령어를 작성하였다. 테스트를 위해 매분으로 설정하였다. 이후, 크론탭이 실행되고 있는지 확인하기 위해 로그를 보는 (아래와 같은) 명령어를 입력했다. $ tail -f /var/log/syslog | grep CRON 아래와 같은 결과가 등장했다.... 빨간 글씨가 가득한 것을 보니 정상적으로 작동하지 않는 것 같다. 아마, cron 자체의 문제가 아니라 설치나 다른 문제로 보인다. 하지만 이로 인해 cron이 작동하지 않기 때문에, 이를 해결해보도록 하겠다. 검색 결과 postfix를 설치하면 된다는 글을 보고 필자도 설치해보려 한다. sudo apt-get install postfix 설치 후 다시 로그를 보았을 때,..