Happiness can be found even in the dark Happiness can be found even in the dark

필자는 kubernetes install 중, control-plane을 구성하였다. master에 kube init을 하면 kubeadm join 및 token이 발행되며 -> 이 부분을 따로 저장하여 node1, node2에 입력만 해주면 master를 기준으로 master - node1 - node2 가 연결된다. 하지만 문제는 아래와 같은 오류가 발생하고, node1, node2의 status가 notready로 뜬다는 점이다. [해결 방안] 저런 문제가 나는 node2 에 접속한다. 오래된 컨테이너를 제거함 : apt remove containerd repository를 업데이트 하고, 새로운 컨테이너를 설치함 : apt update, apt install containerd.io 중간에 업그레..

옆사람 따라 시작하게 된 쿠버네티스에 대한 기록 첫번째 먼저 가상환경 (vm)을 개인 랩탑에 설정해주는 것이 좋음! -> 마음대로 환경 구성 및 테스트가 가능하기 때문에! (백엔드 개발자 이지만 리눅스는 서버만 다루어 봤기 때문에 직접 설치하는 것은 유튜브에 이성미선생님을 따라했음, 그리고 이성미 선생님 너무 설명을 잘하셔서 감동....!) 1. 개인 환경 설정 나 같은 경우는 Oracle virtualbox를 이용했음 -> https://www.virtualbox.org/ 2. Ubuntu를 설치하기 -> 나같은 경우: Ubuntu 20:04를 설치함 ! 아래 링크에서 다운로드 받을 수 있으며, 아래 iso 를 다운 한 후, zip으로 압축한다 -> C disk 연결할 때 필요함! https://rel..

Airflow의 같은 경우, window에서는 설치 및 실행이 불가한 점! 맥북의 경우 Local에서 가능하나, window 는 WSL을 따로 설치 한 후, 사용 가능! 저 같은 경우는 테스트 용도로 GCP 서버를 사용하고 있습니당 GCP에서는 Linux 기반의 debian 이며, 저의 계정으로 바로 설치를 시작했습니당 [실습] 1. 서버 접속 2. sychung(제 계정) 아래 airflow라는 폴더를 하나 만든다. 3. 가상 환경 설치 및 실행 하기 --> 저 같은 경우 가상환경은 pip install virtualenv를 사용합니다. 그리고 virtualenv .venv 로 하면 -> 실행했을때 (.venv)로 구별 가능 4. pip install apache-airflow 입력 (이때, 버전을 고..

Airflow는 크게, 다음과 같은 구조를 가집니다. Scheduler - Airflow의 DAG와 작업들을 모니터링 하고 실행 순서와 상태 관리 Worker - Airflow의 작업을 실행하는 공간 Metadata Database - Airflow에서 실행할 작업에 관한 정보들을 저장 (로그와 비슷) Webserver - airflow 의 User Interface 제공 DAG Directory - airflow에서 실행할 작업들을 파이프라인 형태로 저장 DAG란? Directed Acylic Graph 의 약자로, 비순환 방향 그래프를 의미. 그래프 구조에 기반한 데이터 탐색 알고리즘이며, 주로 작업(TASK)의 우선순위/순서를 표현하기 위한 용도로 사용됨 → Airflow는 Scheduler가 DA..