Bigquery에 DTS 기능 이용하기 - Data Transfer Service

Google Cloud Platform에서 제공하는 Data Transfer Service를 이용하여 Google Cloud Bucket에 있는 데이터를 Bigquery에 손쉽게 적재할 수 있다!

 

필자는 이미 GCS에 올려놓은 test 데이터를 이용해서 적재해보도록 하겠다!

 

1. 빅쿼리 탭에서 데이터 전송을 클릭한다.

 

 

 

2. 전송 만들기를 클릭

 

 

3. 소스 유형 선택하기 -> 필자의 경우 Google Cloud Storage 선택

여러 소스를 선택할 수 있으며, aws s3 버킷도 가능함!

 

 

4. 전송 구성 이름 , 일정 옵션을 지정해준다.

반복 간격 : 배치 간격 시간 지정

지금 시작 및 일정한 시간에 시작 : 현재 or 시작 할 시간 지정 가능 

 

 

5. 하이라이트 된 부분 지정해서 입력

데이터 세트 :  bigquery의 데이터 세트 중 어디에 넣을 것인지 지정

destination table: 스키마가 지정된 빈 테이블의 테이블 명 

cloud storage url : cloud strorage의 경로 -> 찾아보기를 눌러서 존재하는 곳의 경로 클릭

append :  기존 대상 테이블에 새 데이터를 추가하는 옵션! (mirror: 복사본을 덮어 쓴다. 말 그대로 미러링!)

data format : 원하는 파일 형태 지정 해줌! 

 

 

6. csv 옵션 지정하기 

필자는 csv로 파일을 지정 했기 때문에 필드를 구분하는 기호로는 , 를 사용했다. (default = ,)

그리고 skip 할 header row, 즉 파일에 컬럼명 추가되어 있는 경우 1로 적어준다! 

 

 

 

7. 저장 을 누르면 아래와 같은 화면이 등장한다!

-> 수정이 필요하면 빨간 동그라미 클릭! 

 

 

8. 마지막 Destination table에 들어가서 미리 보기로 데이터가 들어있다면 성공!