데이터 프로세싱 ( 데이터 처리 방식 )
→ Batch 와 Streaming 이 있다.
Batch vs Streaming
Batch와 Streaming 차이?
- Batch: 정해진 주기로 대량 처리
- Streaming: 이벤트 단위 실시간 처리
데이터 처리 방식은 크게 두 가지:
| 구분 |
Batch |
Streaming |
| 처리 방식 |
큰 덩어리 단위 |
이벤트 단위 |
| 실행 시점 |
정해진 주기 |
실시간 |
| 예시 |
하루치 데이터 처리 |
택시 탑승 이벤트 즉시 처리 |
| 이번 주 |
✅ Batch |
❌ (다음 주) |
🔹 Batch Processing 예시
- 예: 1월 15일 택시 데이터
- 00:00 ~ 23:59 데이터 전체 수집
- 하루가 끝난 뒤
- 한 번에 처리
- 새로운 결과 데이터 생성
👉 "정해진 기간 동안 모은 데이터를 한 번에 처리"
🔹 Streaming 예시