Backend/Bigquery
-
Bigquery 테이블 vscode에 연동하기Backend/Bigquery 2023. 6. 27. 17:20
전 포스팅에서 생성했던 빅쿼리 테이블을 본격적으로 백엔드 FastAPI 에서 사용해보자 그 전에 체크해야 할 것 2가지가 존재 1. GCP 프로젝트의 서비스 계정(service account) 2. python 로컬에서 google-cloud-bigquery , google-cloud-bigquery-storage 설치 (보통 -> pip install google-cloud-bigquery 필자의 경우 poetry -> poetry add google-cloud-bigquery 로 진행) 이 전에 앞서, google cloud platform을 사용하기 위해서는 service계정 및 key를 발급받고, json으로 저장하여 프로젝트에 같이 있어야 한다! -> ※ 이 과정 없이는 사용 불가 ※ servi..
-
Bigquery 테이블 생성하기Backend/Bigquery 2023. 6. 27. 11:33
빅쿼리에 데이터를 업로드 하는 방법은 3가지가 존재한다. 필자는 Google Cloud Storage에서 Bigquery 로 전송하는 방향을 경험해보았고, 그것도 업로드 예정! 이번에는 API에서 간단한 쿼리 조회를 연동하기 위해 로컬 파일을 업로드 해보도록 하겠다. 먼저, 1) 데이터 세트를 만든 후, 2) 로컬 파일을 업로드 할 예정! 데이터 세트 만들기를 클릭하면, 아래와 같이 데이터 세트 id 지정 및 위치 유형을 지정해야 한다 위치 지정에 있어서 비용을 절감하고 싶다면, 구글의 정책을 보고 결정하는 것이 좋다. 필자의 경우, 단일 리전 - 서울로 하여 현재 있는 곳을 리전으로 택했다 1) 데이터 세트가 완료 되었으면 2) csv 파일을 업로드 해보자 - > 위의 자체 데이터 추가 를 클릭하면 위..