🔥 Question 👉 프로그래밍에서 말하는 배치란 무엇일까?🧙 Answer👉 배치란? 데이터를 한꺼번에 처리하는 방식🧙‍♂️ Learn more 👉 배치 작업은 실시간 처리와는 반대로, 여러 개의 작업을 모아서 한꺼번에 처리하는 방식입니다. 배치란 개발자의 업무와 매우매우 밀접하지요. 다음은 배치 작업의 주요 특징과 사용 사례입니다: 1. 일괄 처리 (Batch Processing)1.1 대량 데이터 처리- 대규모 데이터 세트를 한 번에 처리하는 데 사용됩니다. 예를 들어, 은행의 하루 거래 내역을 야간에 일괄 처리하는 경우가 있습니다.1.2 시간 예약 작업- 주로 일정한 시간에 예약되어 실행됩니다. 예를 들어, 매일 밤 12시에 데이터 백업을 수행하는 작업입니다.1.3 자동화- 수동 개입 ..

🔥 TODO 👉 Airflow REST API를 통한 DAG 목록 조회하기 Postman으로 Airflow Webserver에 요청하여 DAG 목록을 JSON으로 받아보겠습니다. 성공하면, 향후 파이썬을 통해 프로그램화(化)가 가능할 것입니다. 🧙 DAG 전체 목록 조회 👉 아래 사진을 참고하여 Postman을 설정하시면 됩니다. Headers의 Key는 Content-Type을 입력해주시고 Value는 applicaton/json을 입력합니다. https://airflow.apache.org/api/v1/dags Authorization의 Username은 Airflow webserver의 접속 정보를 입력하시면 됩니다. 세팅이 완료되었으면 Send 버튼을 클릭합니다. 그러면 아래와 같은 결과를 얻을 ..

🔥 TODO 👉 Airflow REST API를 통해, 목록에서 DAG 제거하기 Postman으로 Airflow Webserver에 요청하여 특정 DAG를 목록에서 제거하겠습니다.성공하면, 외부 시스템에서 DAG를 목록에서 강제로 제거할 수 있을 것입니다. 예시를 위해, example_skip_dag를 제거해보겠습니다.🧙 특정 DAG를 목록에서 제거 👉 아래 사진을 참고하여 Postman을 설정하시면 됩니다. Authorization의 Username은 Airflow webserver의 접속 정보를 입력하시면 됩니다.DELETE를 선택하신 후 URL은 아래의 사진을 참고하세요.https://airflow.apache.org/api/v1/dags/{dag_id} Headers의 Key는 Conten..

🔥 TODO 👉 5분 내로 airflow의 dag 만들어서 실행해봅시다!🧙 Solution👉 작업 요약 : 파이썬 코드를 생성한 후 DAG가 모여있는 폴더에 넣으시면 됩니다. 1. hello_world_brother.py 생성import pendulumfrom datetime import datetimefrom airflow import DAGfrom airflow.operators.dummy_operator import DummyOperatorfrom airflow.operators.python_operator import PythonOperator# timezone 한국시간으로 변경kst = pendulum.timezone("Asia/Seoul")# 기본 args 생성default_args =..

🔥 Problem 👉 You need to install python3 on Ubuntu. 🧙 Solution 👉 Please refer to the code below 1. apt upgrade and find python PPA repository sudo apt update && sudo apt upgrade sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa 2. Install Python 3.8 on Ubuntu sudo apt install python3.8 It's very simple, right? If I was of any help to you, please buy me coffee ..

🔥 Airflow 설치 요구사항 👉 아래의 요구사항을 철저히 따라주세요! - 메모리 4GB 이상 - Python : 3.8 버전 이상 - Databases: PostgreSQL: 12 버전 이상 - MySQL: 8.0 - SQLite: 3.15.0+ 따라서, postgres나 mysql 외 다른 dbms 사용하시면 안됩니다. Oracle, Mssql 심지어 Mariadb도 사용 금지입니다. 그런 DBMS를 사용하시면, 현시점을 기준으로 HA(이중화) 구성도 안되고 교착 장애가 발생한다고 공식홈페이지에 기술되어 있습니다. 🔥 포스팅을 읽기 전, 사전 준비 사항? 👉 우분투를 준비해주세요! - 윈도우에 VMware 설치 - 설치된 ubuntu 23.01 LTS 설치 ※ 어쨌든 우분투를 준비해주시면 됨 👉 우..