서울 열린 데이터광장에서 API 이용하여 빅쿼리에 데이터 적재 및 배치 시작!

필자는 공공 API를 사용하여, 빅쿼리에 일배치 하는 작업을 하려 했다. 

연결은 어느 정도 하였으나, 계속 오류를 마주한 것이 있었는데 바로 스키마 불일치가 가장 컸던것 같다.

 

기존 공공 API에서 받은 스키마대로 테이블을 만들었지만, json 형식으로 넘어오면서 정말 필요한 데이터를 제외하고는 string 형식으로 바뀌는 듯 하였다.

 

나름의 null처리를 하였지만 도저히 예외를 다 받을 수 없었기에,,,, 최후의 수단은 테이블 스키마를 변경하여

새로운 테이블을 만들기로 하였다.

 

 

마주한 error들 -> 대부분이 타입이 맞지 않아 생긴 것이 많다.

 

그리고 대부분의 넘어오는 데이터의 형식 

 

 

이후, 다시 스키마를 변경하여 테스트 한 결과 -> 성공 

데이터가 잘 들어왔음을 볼 수 있다! 

 

 

 

다음 포스팅에서부터, 본격적인 파이프 라인에 관해서 쓰겠다!