Batch ELT Pipeline

Batch ELT Pipeline with BigQuery & Airflow

• 공공기관 배치 데이터를 수집·적재·분석까지 연결한

  BigQuery 중심 ELT 파이프라인

• Cloud Composer(Airflow)를 이용한 안정적인 배치 오케스트레이

Public Sector Batch Data

• 공공기관에서 제공하는 파일 기반 데이터
• CSV / Excel 등 포맷이 혼합된 배치 데이터
• 인코딩, 컬럼 구조, 품질 이슈가 빈번함