[Iceberg] Apache Iceberg 등장
Hive Table Format과 비교하여 Iceberg 의 특징(Snapshot, Hidden Partition) / 스냅샷 정리방법 / Tag
Posted by
Wonyong Jang
on
October 01, 2024 ·
13 mins read
[Spark] PySpark 개발환경 구성과 주요기능
scala 와 python 을 이용한 Spark 비교 / Temp View / Python Package Management / spark-submit 옵션
Posted by
Wonyong Jang
on
August 08, 2024 ·
11 mins read
[DevOps] Jenkins Batch to Airflow
젠킨스 배치의 문제점 / 젠킨스 배치를 airflow와 쿠버네티스(k8s) Job 으로 전환
Posted by
Wonyong Jang
on
August 02, 2024 ·
5 mins read
[Airflow] 아파치 Airflow - Trigger
Trigger DAG 이용하여 arguments 전달(dag_run) /
Posted by
Wonyong Jang
on
July 30, 2024 ·
4 mins read
[Airflow] 아파치 Airflow - Xcom
Cross Communication / Task 간 데이터 공유(push, pull)
Posted by
Wonyong Jang
on
July 27, 2024 ·
6 mins read