Happiness can be found even in the dark Happiness can be found even in the dark

필자는 앞에서 테스트를 하고 드디어 bigquery에 적재를 완료하였다!!!!!!! 직접 공공 API를 사용하는 것을 처음이라, 시간이 이틀? 정도 걸렸지만 설명해보려 한다. 선행해야 할 것 필자는 빅쿼리를 사용했는데, 미리 빈테이블을 만들어야 한다(스키마 지정) - > 테이블 명을 사용해야 하기 때문! 테이블 만드는 과정은 url을 참조 할 것 : https://amelia-suyeon.tistory.com/entry/Bigquery-%ED%85%8C%EC%9D%B4%EB%B8%94-%EC%83%9D%EC%84%B1%ED%95%98%EA%B8%B0 Bigquery 테이블 생성하기 빅쿼리에 데이터를 업로드 하는 방법은 3가지가 존재한다. 필자는 Google Cloud Storage에서 Bigquery 로..

필자는 공공 API를 사용하여, 빅쿼리에 일배치 하는 작업을 하려 했다. 연결은 어느 정도 하였으나, 계속 오류를 마주한 것이 있었는데 바로 스키마 불일치가 가장 컸던것 같다. 기존 공공 API에서 받은 스키마대로 테이블을 만들었지만, json 형식으로 넘어오면서 정말 필요한 데이터를 제외하고는 string 형식으로 바뀌는 듯 하였다. 나름의 null처리를 하였지만 도저히 예외를 다 받을 수 없었기에,,,, 최후의 수단은 테이블 스키마를 변경하여 새로운 테이블을 만들기로 하였다. 마주한 error들 -> 대부분이 타입이 맞지 않아 생긴 것이 많다. 그리고 대부분의 넘어오는 데이터의 형식 이후, 다시 스키마를 변경하여 테스트 한 결과 -> 성공 데이터가 잘 들어왔음을 볼 수 있다! 다음 포스팅에서부터, 본..