프로그래밍에서 말하는 배치란 무엇일까?

🔥 Question

👉 프로그래밍에서 말하는 배치란 무엇일까?

🧙 Answer

👉 배치란? 데이터를 한꺼번에 처리하는 방식

🧙‍♂️ Learn more

👉 배치 작업은 실시간 처리와는 반대로, 여러 개의 작업을 모아서 한꺼번에 처리하는 방식입니다. 배치란 개발자의 업무와 매우매우 밀접하지요. 다음은 배치 작업의 주요 특징과 사용 사례입니다:

 

1. 일괄 처리 (Batch Processing)

1.1 대량 데이터 처리

- 대규모 데이터 세트를 한 번에 처리하는 데 사용됩니다. 예를 들어, 은행의 하루 거래 내역을 야간에 일괄 처리하는 경우가 있습니다.

1.2 시간 예약 작업

- 주로 일정한 시간에 예약되어 실행됩니다. 예를 들어, 매일 밤 12시에 데이터 백업을 수행하는 작업입니다.

1.3 자동화

- 수동 개입 없이 정해진 시간에 자동으로 실행됩니다.배치 스크립트 (Batch Scripts)

1.4 자동화 스크립트

- 특정 작업을 자동으로 수행하는 스크립트로, 여러 명령어를 순차적으로 실행합니다.

 

1.5 운영 체제 지원

- Windows의 .bat 파일이나 Unix/Linux의 쉘 스크립트가 그 예입니다.

 

2. 배치 작업 스케줄러

2.1 작업 예약

- 특정 시간이나 조건에 따라 배치 작업을 예약하고 실행하는 도구입니다. 대표적인 도구로는 Cron (Unix/Linux), Windows Task Scheduler 등이 있습니다.

2.2 워크플로우 관리

- Apache Airflow, Jenkins 등과 같은 도구를 사용하여 복잡한 워크플로우를 관리할 수 있습니다.

2.3 배치 처리 시스템:
- Hadoop: 대규모 데이터 처리에 특화된 분산 컴퓨팅 시스템입니다.
- Spark: 실시간 스트리밍과 배치 처리 모두를 지원하는 분산 데이터 처리 엔진입니다.

 

3. 사용 사례

3.1 데이터 마이그레이션

- 대량의 데이터를 한 시스템에서 다른 시스템으로 이전하는 경우.

3.2 보고서 생성

- 대량의 데이터를 분석하여 주기적으로 보고서를 생성하는 경우.

3.3 로그 처리

- 웹 서버 로그나 애플리케이션 로그를 수집하고 분석하는 작업.

3.4 백업 및 복원

- 정기적으로 시스템의 데이터를 백업하고 필요할 때 복원하는 작업.

배치 처리는 대량의 데이터를 효율적으로 처리하고, 작업을 자동화하며, 시스템 자원을 최적화하는 데 유용합니다. 이러한 배치 작업은 주로 비즈니스 운영의 일관성을 유지하고, 데이터를 적시에 처리하여 필요한 인사이트를 제공하는 데 중요합니다.

☔ Next research topic

👉 Please refer to the code below

 

If I was of any help to you, please buy me coffee 😿😢😥

If you have any questions, please leave them in the comments

Buy me a coffee

▶ Youtube Sub

🧭 References

[1] reference : https://doctorson0309.tistory.com/

[2] Ads : https://play.google.com/store/apps/details?id=io.cordova.seoulfilter