Happiness can be found even in the dark Happiness can be found even in the dark

필자는 새로 만든 ubuntu에서 shell script를 이용하여 docker를 설치해보도록 하겠다. 내용에는 파이프라인 명령어에서 에러가 발생하면, 해당 명령어의 실행 결과를 바로 확인하게 해주는 옵션을 넣어주었다. -> set -o pipefail #!/usr/bin/env bash ## set -e : stop when error is occurred set -euf -o pipefail DOCKER_USER=suyeon # install dependencies sudo apt-get update && sudo apt-get install -y \ apt-transport-https \ ca-certificates \ curl \ gnupg \ lsb-release # Add Docker’s of..

필자는, vm에 ubuntu 설치는 완료하였으며, 매번 ubuntu에 접속하는 것이 아닌, mobaxterm을 이용하여 접속하려 한다. 이때, ssh로 연결을 하기 때문에, ubunut의 terminal에서 설치를 해줘야 진행 가능하다. (오랜만에 무작정 포트포워딩만 해놓고 연결되지 않아 한참을 헤매었다...) 1. sudo apt install openssh-server 설치 진행시켜~ 2. vm 에서 설정 클릭 후 -> Advanced -> 포트포워딩 순서로 클릭한다. 3. 포트를 추가한다 -> 기본으로 22를 넣어 줄 것 4. mobaxterm으로 접속 후, session >> SSH >> remote host 순서로 작성한다. 그리고 나서 별칭을 붙여주고 싶다면 Bookmark settings로 ..

필자는 ubuntu를 설치 한 후, GUI 모드와 CLI 모드 변경을 매번 찾아보았다. 이럴거면 내것을 보는것이 더 낫지 않을까 해서 하는 포스팅 [먼저, 간단한 방법] - 로그인 하기 전 1. ctrl + alt + F1 -> GUI 모드 1-1. ctrl + alt + F2 -> CLI 모드로 변환 사실 F1, F2 의 차이로 GUI 로그인 전에는 자유롭게 변환 가능하다. 2. 터미널에서 명령어로 입력 후, 재부팅 cli 으로 변경 : sudo systemctl set-default multi-user.target gui 으로 변경 : sudo systemctl set-default graphical.target 잊지말고, 꼭 재부팅!

필자는 docker 연습을 위해 기존의 kubernetes 의 master와 node1,2 서버들을 생성하였으나, 혹시나 의존성 및 다른 테스트로 인해 충돌을 고려하여, docker 전용 서버를 다시 만들기로 했다. 먼저, 서버 자체를 생성할 때는 아래의 블로그를 참고했다. https://coffeebaralog.tistory.com/13 [Linux] Oracle VM VirtualBox 설치 및 Ubuntu 가상머신(VM) 구축하기 VirtualBox 를 이용하여, 내 컴퓨터 안에서 Ubuntu 가상환경 생성 후, putty로 접속하도록 하겠습니다. 다운로드 자신의 운영체제에 맞게 설치 VirtualBox-7.0.4 버전 다운로드 Downloads – Oracle VM VirtualBox Down c..

필자는 airflow에서 빅쿼리 연결 도중 계속 셧다운 되는 오류를 만났다... 이것으로 1주일 정도를 헤매었지만(지금도 진행중) 일단은 위에 만난 ubuntu 오류를 하나 해결되었다. Invalid version: '0.23ubuntu1' error. 위와 같은 오류는 pip install --upgrade setuptools=58.3.0 버전을 맞춰줌으로써, 성공적으로 apache-airflow-backport-providers-amazon[google] 다운을 완료하였다. 물론 다른 이유로 다시 오류가 날 수 있지만, 차근 차근 더 해결해보도록 하겠다.

필자는 Dockerfile을 작성하고, docker-compose.yml 을 작성한 app을 ubuntu에 띄울려고 한다. 하지만 dotenv로 인해 docker-compose가 불가한 상태가 왔다. 이것을 해결하기 위한 방안을 하나씩 모색하려고 한다. 1. python3 을 실행시킨다. 2. import sys 3. sys.execuable ->위를 통해 python3이 어디에 설치되어 있는지 확인한다. 경로는 확인하였으나, site-package 와의 연관은 없다... 의존성 패키지인 poetry를 사용했으나, 이것을 설치하지 않아서 인지? poetry 부터 다시 설치해보려 한다. 1. curl -sSL https://install.python-poetry.org | python3 - 2. path ..

필자는 그 전에 일배치 관련 코드를 올린 적이 있다. 사실 그 부분은 배치 이기 보다는 초기 데이터 적재 부분 이었다. (실제 배치하기 전 초기 데이터 이관을 위한 것) 이제 실제로 일 배치를 돌리기 위한 환경을 만들어 보려고 한다. 먼저, 파이썬 기반의 코드 이기에, 필자가 설정한 리눅스 (ubuntu20.04)에서 가상 환경을 만들어 보려고 한다. 1. pyenv를 설치한다. $ curl -L https://raw.githubusercontent.com/pyenv/pyenv-installer/master/bin/pyenv-installer | bash 2. 접속 계정의 id로 .bashrc 위치에 들어간다. 예시 -> (/home/sy/.bashrc) 들어가서 마지막 부분에 추가한다. vi 편집기 이..

필자는 ubuntu(20.04)에서 파이썬 가상 환경을 설치하다가 많은 오류를 만났었다. 이에 대한 대처 방안에 대하여 기록하려고 한다. 1. python-virtualenv 가 설치 후보군에 없다고 나올 때, (Package python-virtualenv is not available, but is referred to by another package. This may mean that the package is missing, has been obsoleted, or is only available from another source E: Package 'python-virtualenv' has no installation candidate ) 이때는 먼저, sudo apt-get update &..