Posts - Data Engineer

[Airflow] Architecture 이해하기

airflow 2 와 airflow 3 아키텍처 비교 / DAG Serialization

Posted by Wonyong Jang on September 02, 2025 · 5 mins read

[Retrospect] 쿠팡에서의 5년 회고

pyspark environment, spark streaming pipeline

Posted by Wonyong Jang on August 29, 2025 · 4 mins read

[Python] Kafka & Spark 활용한 Realtime Datalake 구성하기 (2)

아파치 카프카와 Confluent Kafka 의 Consumer 메커니즘 비교(Commit, Partition Assignment, 옵션)

Posted by Wonyong Jang on July 05, 2025 · 4 mins read

[Python] Kafka & Spark 활용한 Realtime Datalake 구성하기 (1)

NAT 인스턴스를 이용한 클러스터 구성 / Confluent Kafka 를 이용하여 파이썬으로 구현 / 아파치 카프카와 Confluent Kafka 의 Producer 메커니즘 비교(파티셔너, 옵션)

Posted by Wonyong Jang on July 05, 2025 · 15 mins read

[Python] GIL 과 메모리 관리

Global Interpreter Lock / Reference count 기반 메모리 관리 / GC / Iterator, Generator, Coroutine

Posted by Wonyong Jang on June 10, 2025 · 3 mins read

[Iceberg] Manifest 구조와 역할

manifest list 와 manifest file / Iceberg 1.4.0 issue 분석 / Iceberg에서 splitOffsets 역할

Posted by Wonyong Jang on April 17, 2025 · 10 mins read

[Iceberg] Apache Iceberg - Hidden Partitioning

hive 파티셔닝과 비교 / 시간에 따른 메타데이터 심층 탐구

Posted by Wonyong Jang on April 12, 2025 · 7 mins read

[Iceberg] Apache Iceberg 주요 설정 및 테이블 생성, 복구, 유지보수

테이블 생성 및 주요 설정 / snapshot 및 메타데이터 관리 옵션 / 테이블 복구 및 유지보수 / 테이블 전환 / copy-on-write, merge-on-read

Posted by Wonyong Jang on April 11, 2025 · 17 mins read

[Iceberg] Apache Iceberg 등장

Hive Table Format과 비교하여 Iceberg 의 특징(Snapshot, Hidden Partition, Schema Evolution) / snapshot rollback / Tag

Posted by Wonyong Jang on April 10, 2025 · 16 mins read

[Data Lakehouse] 람다(Lambda) 아키텍처와 카파(Kappa) 아키텍처

DataLake Architecture

Posted by Wonyong Jang on April 06, 2025 · 3 mins read

Older Posts →