[DB] 카산드라 CQL(Cassandra Query Language)
데이터 타입(Data Type) 및 쿼리 사용법 / Partition key, Primary key, Clustering key
Posted by
Wonyong Jang
on December 15, 2024 ·
4 mins read
[DB] Apache Cassandra(카산드라)
mongoDB와 비교
Posted by
Wonyong Jang
on December 14, 2024 ·
4 mins read
[Spark] Spark에서 Iceberg 테이블 다루기
테이블 생성 및 업데이트, 병합 쿼리 / partitionOverwriteMode, storeAssignmentPolicy
Posted by
Wonyong Jang
on October 09, 2024 ·
8 mins read
[Iceberg] Apache Iceberg - Hidden Partitioning
hive 파티셔닝과 비교 / 시간에 따른 메타데이터 심층 탐구
Posted by
Wonyong Jang
on October 03, 2024 ·
7 mins read
[Iceberg] Apache Iceberg 주요 설정 및 테이블 생성, 복구, 유지보수
테이블 생성 및 주요 설정 / snapshot 및 메타데이터 관리 옵션 / 테이블 복구 및 유지보수 / 테이블 전환
Posted by
Wonyong Jang
on October 02, 2024 ·
14 mins read
[Iceberg] Apache Iceberg 등장
Hive Table Format과 비교하여 Iceberg 의 특징(Snapshot, Hidden Partition) / 스냅샷 롤백 / Tag
Posted by
Wonyong Jang
on October 01, 2024 ·
10 mins read
[Spark] PySpark 개발환경 구성과 주요기능
scala 와 python 을 이용한 Spark 비교 / Temp View / Python Package Management / spark-submit 옵션
Posted by
Wonyong Jang
on August 08, 2024 ·
11 mins read
[DevOps] Jenkins Batch to Airflow
젠킨스 배치의 문제점 / 젠킨스 배치를 airflow와 쿠버네티스(k8s) Job 으로 전환
Posted by
Wonyong Jang
on August 02, 2024 ·
5 mins read
[Airflow] 아파치 Airflow - Trigger
Trigger DAG 이용하여 arguments 전달(dag_run) /
Posted by
Wonyong Jang
on July 30, 2024 ·
4 mins read
[Airflow] 아파치 Airflow - Xcom
Cross Communication / Task 간 데이터 공유(push, pull)
Posted by
Wonyong Jang
on July 27, 2024 ·
6 mins read