[Spark] Spark에서 Iceberg 테이블 다루기
테이블 생성 및 업데이트, 병합 쿼리
Posted by
Wonyong Jang
on
October 09, 2024 ·
2 mins read
[Iceberg] Apache Iceberg 주요 설정 및 테이블 생성
iceberg 테이블 생성 및 주요 설정 / snapshot 및 메타데이터 관리 옵션 / 테이블 복구 및 유지보수
Posted by
Wonyong Jang
on
October 02, 2024 ·
7 mins read
[Iceberg] Apache Iceberg 등장
Hive Table Format과 비교하여 Iceberg 의 특징(Snapshot, Hidden Partition) / 스냅샷 정리방법 / Tag
Posted by
Wonyong Jang
on
October 01, 2024 ·
13 mins read
[Spark] PySpark 개발환경 구성과 주요기능
scala 와 python 을 이용한 Spark 비교 / Temp View / Python Package Management / spark-submit 옵션
Posted by
Wonyong Jang
on
August 08, 2024 ·
11 mins read
[DevOps] Jenkins Batch to Airflow
젠킨스 배치의 문제점 / 젠킨스 배치를 airflow와 쿠버네티스(k8s) Job 으로 전환
Posted by
Wonyong Jang
on
August 02, 2024 ·
5 mins read