전체 글30 Airflow-(celeryexecutor) VMware(Ubuntu)에서 진행 - 단일 노드로 구성 - sudo apt upgrade로 실제 업그레이드 가능한 패키지 업그레이드 sudo apt-get install postgresql로 postgre DB 설치하기 sudo su - postgres를 치고 psql을 쳐서 postgres DB접속 airflow_db라는 데이터베이스 만들어주기 유저 : airflow, 비밀번호 airflow로 유저 생성 pip install apache-airflow로 airflow 설치하기 유저 : airflow, 비밀번호 : airflow, 권한 : Admin로 유저 생성 sudo apt upgrade 후에 sudo apt install rabbitmq-server를 다운로드한다 유저 이름 : admin, 비밀번.. 2023. 5. 7. Airflow 간단 개념 Airflow란? Airflow는 AirBnB에서 만든 워크플로우 시스템이다. Airflow는 워크플로우를 작성하고, 스케줄링하며 모니터링작업을 프로그래밍 할 수 있게 해주는 플랫폼이다. 파이썬으로 쉬운 프로그래밍이 가능하고, 웹 대시보드가 있으며, 커스터마이징이 가능하다. Airflow는 위와 같은 구조로 이루어져 있다. 작동 방식은 DAG Directory에 DAG 파일을 Scheduler와 Webserver가 읽고, Executor가 Worker에게 이 DAG의 Task를 주어 Worker들이 Task를 시작하게 한다. Metadata에는 스케줄러, 워커, 웹서버의 상태를 저장하고, 이를 UI를 통해서 DAG 작업 동작 확인, 트리거, 디버그등 확인할 수 있게 된다. 여기서 DAG(Directed .. 2023. 5. 3. [Python]기사단원의 무기 문제요약 기사단의 기사는 1~number까지의 번호로 지정 기사의 무기 공격력은 자기 번호 약수 무기 공격력(약수)이 limit를 넘을시 무기 공격력이 power로 제한됨 return 값은 무기 공격력의 합(약수의 합) * 철 무게(공격력당 1kg) 문제풀이 def solution(number, limit, power): answer = 0 for i in range(1,number+1): iron = 0 for j in range(1,int(i**0.5)+1): # 약수 개수 구하기 if i%j == 0: iron += 2 if i ** 0.5 == int(i**0.5): # 제곱슈 중복 제거 iron -= 1 if iron 2023. 3. 31. [Kafka] Kafka 실습(1) 순서가 이것부터가 아니지만........ 카프카를 설치하고 나서 카프카의 bin 폴더를 보게 되면 아래와 같이 여러 sh파일이 있는 걸 확인할 수 있다. 나는 WSL2의 Ubuntu 20.04.5버전으로 진행했다. 우선 우리가 카프카를 실행시키기 위해서는 주키퍼를 실행시켜줘야 한다. 위와 같은 명령어를 치게 되면 주키퍼가 실행이 된다. 여기서, WSL2로 실행하면 생기는 오류가 저 sh파일이 Permission denied가 된다는 것이다. chmod 777 zookeeper-server-start.sh 해결 방법은, 위의 코드로 그 sh파일에 권한을 주어서 해결하였다. 처음화면에서의 초록색은 위의 코드로 권한을 준 파일들이다. 아직 사용하지 않은 sh파일들은 하얀색임을 확인할 수 있다.. 이어가서, 주.. 2023. 3. 20. 이전 1 ··· 3 4 5 6 7 8 다음
