Happiness can be found even in the dark Happiness can be found even in the dark

필자는 airflow에서 spark를 함께 사용하려고 한다. 전제 조건 -> spark가 설치되어 있어야 한다. 따라서 ubuntu20.04에서 Spark를 설치해보도록 하겠다. 1. 시스템 패키지를 최신 버전으로 업데이트 한다. (sudo) apt-get update -y 2. 자바 설치 -> Apache Spark는 Java 기반 어플리케이션이기 때문에 java 설치 필요 설치 명령어는 아래와 같으며, 진행 후 java --version을 통해 설치가 되었는지 확인 한다. apt-get install default-jdk -y 3. Scala 설치 Apache Spark는 Scala를 사용하여 개발되었다 -> 따라서 시스템에 scala 설치 필수 apt-get install scala -y scala..