Data engineering/Batch&Pipeline
배치 파일을 배포하기 위한 스크립트 파일 작성하기
amelia-suyeon
2023. 8. 20. 16:38
필자는 공공 API를 이용(2023년 전/월세 데이터) 하여 빅쿼리에 초기 적재를 하였다.
이것을 aws에 배포하기 위해 실행 파일 = script를 만들었다. (프로젝트에서 참고 해서 만듬!)
먼저, 환경 python이나 requirements.txt를 설치하기 위한 setting.sh를 작성했다.
#!/bin/bash
echo "- program : batch"
echo "- pwd : ${PWD}/${0}"
echo "- job : init setting"
DIR="$( cd "$( dirname "$0" )" && pwd )"
VENV_DIR="${DIR}/.venv"
REQUIREMENT_DIR="${DIR}/requirement.txt"
if [ -e "$VENV_DIR" ]; then
#echo "$VENV_DIR exists."
echo "already set the environment!"
else
#echo "$VENV_DIR does not exist."
# 가상 환경 라이브러리 설치
pip install virtualenv
# 가상 환경 생성 및 실행
echo "start to set the environment!"
echo "create .venv"
virtualenv $VENV_DIR
# 프로그램에 필요한 라이브러리 설치
echo "install library"
. $VENV_DIR/bin/activate
pip install -r $REQUIREMENT_DIR
fi
< script 간단한 설명 >
먼저, 첫줄에 #!/bin/bash를 꼭 적어준다. -> 적지 않으면 실행이 안됨
이후, echo -> 출력의 기능 (python으로 치면 print와 비슷한 기능)
echo를 이용하여 프로그램 이름, 경로, 상태를 출력한다.
다음, 경로, 가상환경 경로, requirements 경로를 변수에 담고, 조건문을 이용하여 환경 설정을 위한 script를 완성한다.
< 배포 이후 실행법 > - 필자의 경우, aws에서 배포를 하였다.
실행 명령어는 bash setting.sh
< 결과 >
이미 설치 했기 때문에 already set the environment 라고 뜬다!