🔥 TODO 👉 Airflow REST API를 통한 DAG 목록 조회하기 Postman으로 Airflow Webserver에 요청하여 DAG 목록을 JSON으로 받아보겠습니다. 성공하면, 향후 파이썬을 통해 프로그램화(化)가 가능할 것입니다. 🧙 DAG 전체 목록 조회 👉 아래 사진을 참고하여 Postman을 설정하시면 됩니다. Headers의 Key는 Content-Type을 입력해주시고 Value는 applicaton/json을 입력합니다. https://airflow.apache.org/api/v1/dags Authorization의 Username은 Airflow webserver의 접속 정보를 입력하시면 됩니다. 세팅이 완료되었으면 Send 버튼을 클릭합니다. 그러면 아래와 같은 결과를 얻을 ..

🔥 TODO 👉 Airflow REST API를 통해, 목록에서 DAG 제거하기 Postman으로 Airflow Webserver에 요청하여 특정 DAG를 목록에서 제거하겠습니다.성공하면, 외부 시스템에서 DAG를 목록에서 강제로 제거할 수 있을 것입니다. 예시를 위해, example_skip_dag를 제거해보겠습니다.🧙 특정 DAG를 목록에서 제거 👉 아래 사진을 참고하여 Postman을 설정하시면 됩니다. Authorization의 Username은 Airflow webserver의 접속 정보를 입력하시면 됩니다.DELETE를 선택하신 후 URL은 아래의 사진을 참고하세요.https://airflow.apache.org/api/v1/dags/{dag_id} Headers의 Key는 Conten..

🔥 TODO 👉 5분 내로 airflow의 dag 만들어서 실행해봅시다!🧙 Solution👉 작업 요약 : 파이썬 코드를 생성한 후 DAG가 모여있는 폴더에 넣으시면 됩니다. 1. hello_world_brother.py 생성import pendulumfrom datetime import datetimefrom airflow import DAGfrom airflow.operators.dummy_operator import DummyOperatorfrom airflow.operators.python_operator import PythonOperator# timezone 한국시간으로 변경kst = pendulum.timezone("Asia/Seoul")# 기본 args 생성default_args =..

🔥 Problem 👉 You need to install python3 on Ubuntu. 🧙 Solution 👉 Please refer to the code below 1. apt upgrade and find python PPA repository sudo apt update && sudo apt upgrade sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa 2. Install Python 3.8 on Ubuntu sudo apt install python3.8 It's very simple, right? If I was of any help to you, please buy me coffee ..

🔥 Airflow 설치 요구사항 👉 아래의 요구사항을 철저히 따라주세요! - 메모리 4GB 이상 - Python : 3.8 버전 이상 - Databases: PostgreSQL: 12 버전 이상 - MySQL: 8.0 - SQLite: 3.15.0+ 따라서, postgres나 mysql 외 다른 dbms 사용하시면 안됩니다. Oracle, Mssql 심지어 Mariadb도 사용 금지입니다. 그런 DBMS를 사용하시면, 현시점을 기준으로 HA(이중화) 구성도 안되고 교착 장애가 발생한다고 공식홈페이지에 기술되어 있습니다. 🔥 포스팅을 읽기 전, 사전 준비 사항? 👉 우분투를 준비해주세요! - 윈도우에 VMware 설치 - 설치된 ubuntu 23.01 LTS 설치 ※ 어쨌든 우분투를 준비해주시면 됨 👉 우..

🔥 Airflow를 왜 쓰나요? 👉 Airflow를 설명하기 전에 이걸 어디에다 쓰는건지 알아보겠습니다. Airflow의 기능을 5%만 사용하는 수준인데, 일단 리눅스 크론탭의 UI 버전으로 써먹을 수 있습니다. Airflow에 스케줄러 기능과 함께 리눅스 명령어 즉 쉘 스크립트죠. 그것을 실행하는 기능이 있기 때문입니다. HA 즉, 이중화 구성도 가능하고 기본적으로 webserver가 제공되므로, 외부 서버에서 Airflow의 TASK를 강제로 실행하는 것이 가능합니다. 아무튼, 초초초 업그레이드 된 크론탭.. 저의 회사에서는 이런 용도로 쓸 예정입니다. 두번째로는 Airflow의 본래 목적인 파이프라인 구축입니다. 데이터 엔지니어링이라는 직업을 가진 분들이 다루는 것으로 예를들어, 인공지능 모델 학습..