Happiness can be found even in the dark Happiness can be found even in the dark

필자는 IAM 권한을 현재 서버에 할당하여 S3에 접근 할 수 있게 되었다. 이를 바탕으로 S3 bucket을 생성 및 제거, 조회를 cli 명령어를 통해서 해보겠다! 1. 먼저 aws s3와 연결되었는지 확인하는 방법 aws s3 help -> s3 와 연동되는지 확인 및 명령어 조회 가능 2. 버킷 생성 명령어 aws s3 mb s3://test-for-fastcampus s3:/[만들려는 bucket name] -> s3 버킷 생성 asw s3 ls -> s3 버킷 목록 조회 [그 외 명령어] rb 버킷 제거 aws s3 rb sc://[bucket name] rb --force s3 버킷 안에 내용물 있을 경우, 제거 x -> --force 옵션을 주면, s3 버킷 내의 모든 파일 강제 삭제 후,..

필자는 kafka를 aws에 도입하기 위해 초기 설정을 하고 있다. 그 전에 먼저, aws 에서 iam 계정 생성 및 권한을 주려 한다. 만드는 법은 간단하지만 다음에 또 사용하기 위해 기록! 1. 검색을 통해 iam 으로 들어간다. 2, IAM 유저가 없는 경우, create user 를 통해서 user를 만들고, 있다면 3으로 진행! 2-1. user 만들기 create user 클릭 후, user name을 지어 준다. 그리고 console access를 클릭한 후, 자동 password 혹은 custom password 를 설정한다. 2-2. user group을 생성한다 2-3. tags를 추가한다. 필자는 어떤 유저 인지 인지하기 위해 tag를 해주었다. -> 여기서 create user를 하..

airflow에는 group 커맨드와 그냥 커맨드가 존재한다. 간략하게 커맨드 사용법에 대해 알아보도록 하겠다! $ airflow -h를 통해 알 수 있다. - > -h = help user 생성 및 유저 리스트를 볼 때 : $ airflow users list 유저 생성 할 때 -> airflow users create -h 이런식으로 -h를 붙일 것 (아래의 example에 따라 설정 하면 유저 생성 가능) tasks 관련하여 파헤쳐보기 $ airflow tasks -h 명령어를 이용하여 list, run, state 등등 알아 볼 수 있다. 이 중에 dags 리스트 중에 example_xcom(dag 이름) 에 대해 깊게 알아보자 $ airflow tasks list example_xcom -> 어..

필자는 AWS의 EC2 서버를 만든 기념으로 aws에서도 airflow를 설치하고 진행해보려 한다. 설치 및 웹페이지를 보는데 꼬박 3일이 걸렸다. 왜냐하면 port열어 주는 것과 가상 환경의 부재의 콜라보로 인해,, 많은 오류를 만났기 때문이다. 1. 권한 오류 - sudo 혹은 root 권한이 없어서 설치 및 수행에 시간이 걸렸다. 특히, virtulenv 설치 및 설정에도 필요함 2. 버전 오류 - python3 버전으로 인해, python을 찾지 못한 경우가 많았다. 이때는 파이썬 버전 고정 및 path 지정이 중요하다. 필자의 경우 -> 아래와 같이 경로, 버전 등등을 고정해주었다. export PYTHON_VERSION="$(python3 --version | cut -d " " -f 2 | ..

필자는 aws에 공공 api 를 이용하여 데이터를 전처리 -> 빅쿼리 적재 까지 완료 하였으나, 배치 관련해서 계속 테스트 중이었다. 어제, 오늘 crontab 설정 준비 및 테스트를 하였고, 드디어 오늘 배치를 실행하여 빅쿼리 적재에 성공하였다. 먼저 배포 후 간과하지 않아야 할 것은 1. .env 파일 및 service key를 꼭 넣어 줄것 2. 환경 변수 설정 신경 쓸것! 위 2가지만 주의 한다면 서버에서 배치가 잘 실행 될 것이다! 그리고 로그 확인 및 빅쿼리를 확인하여 볼 수 있다. 적재 시작 뒤, 빅쿼리의 query_job이 잘 생성되었는지 print 한 것이 잘 나와 있었다. -> 보통 error가 발생하면 cronlog.txt에서 확인 할 수 있는데 확인 되지 않았다! -> 성공 그리고 ..

필자는 crontab을 이용하여 배치를 하기 위해 crontab -e 를 이용하여 명령어를 작성하였다. 테스트를 위해 매분으로 설정하였다. 이후, 크론탭이 실행되고 있는지 확인하기 위해 로그를 보는 (아래와 같은) 명령어를 입력했다. $ tail -f /var/log/syslog | grep CRON 아래와 같은 결과가 등장했다.... 빨간 글씨가 가득한 것을 보니 정상적으로 작동하지 않는 것 같다. 아마, cron 자체의 문제가 아니라 설치나 다른 문제로 보인다. 하지만 이로 인해 cron이 작동하지 않기 때문에, 이를 해결해보도록 하겠다. 검색 결과 postfix를 설치하면 된다는 글을 보고 필자도 설치해보려 한다. sudo apt-get install postfix 설치 후 다시 로그를 보았을 때,..

필자는 crontab 사용을 위해, 먼저 ubuntu에 crontab을 설치하려고 한다. 순서는 아래와 같다. # cron 설치 1. sudo apt update -y 2. sudo apt install -y cron 필자는 이미 설치되어 있어서 아래와 같이 나온다. # cron 시작 3. sudo service cron start # cron systemctl 활성화 4. sudo systemctl enable cron.service # cron systemctl 등록 확인 5. sudo systemctl list-unit-files | grep cron 6. sudo service cron status 이후 crontab 을 등록하기 위해서는 crontab -e 명령어를 입력 후 마지막줄에 시간 및 ..

필자는 본격적으로 AWS에 배치 작업을 돌리기 위해, 설정을 하고 있다. 먼저 date 명령어를 통해 현재 시간을 확인한다 UTC임을 확인하고, rdate를 apt-get으로 설치한다. 아래 2개를 따라 하면 된다. 1. sudo apt-get install rdate 2. sudo rdate -s time.bora.net 이후, 그래도 시간이 그대로 UTC라면 아래의 명령어를 따라한다. sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime 이렇게 명령어들 다 쳐주고, date를 확인 -> 현재 시간으로 나오면 성공