[DB] Apache Cassandra(카산드라)
mongoDB와 비교
Posted by
Wonyong Jang
on December 14, 2024 ·
4 mins read
[Iceberg] Apache Iceberg - Hidden Partitioning
hive 파티셔닝과 비교 / 시간에 따른 메타데이터 심층 탐구
Posted by
Wonyong Jang
on October 03, 2024 ·
7 mins read
[Iceberg] Apache Iceberg 등장
Hive Table Format과 비교하여 Iceberg 의 특징(Snapshot, Hidden Partition) / 스냅샷 롤백 / Tag
Posted by
Wonyong Jang
on October 01, 2024 ·
13 mins read
[Spark] PySpark 개발환경 구성과 주요기능
scala 와 python 을 이용한 Spark 비교 / Temp View / Python Package Management / spark-submit 옵션
Posted by
Wonyong Jang
on August 08, 2024 ·
11 mins read
[DevOps] Jenkins Batch to Airflow
젠킨스 배치의 문제점 / 젠킨스 배치를 airflow와 쿠버네티스(k8s) Job 으로 전환
Posted by
Wonyong Jang
on August 02, 2024 ·
5 mins read
[Airflow] 아파치 Airflow - Trigger
Trigger DAG 이용하여 arguments 전달(dag_run) /
Posted by
Wonyong Jang
on July 30, 2024 ·
4 mins read
[Airflow] 아파치 Airflow - Xcom
Cross Communication / Task 간 데이터 공유(push, pull) / Avoid top level code
Posted by
Wonyong Jang
on July 27, 2024 ·
9 mins read
[Airflow] 아파치 Airflow - Workflow
DAG(Directed Acyclic Graph) / 데이터 워크 플로우 관리 도구/ execution_date 의미 / backfill and catchup
Posted by
Wonyong Jang
on July 25, 2024 ·
14 mins read