Data Engineer

[Spark] AI 기반 디버깅 및 최적화를 위한 Apache Spark History Server 용 MCP 연동

MCP Server for Apache Spark History Server with AI / Claude CLI / Check if it can be applied to our work

Posted by Wonyong Jang on October 06, 2025 · 18 mins read

[Airflow] Architecture 이해하기

airflow 2 와 airflow 3 아키텍처 비교 / DAG Serialization

Posted by Wonyong Jang on September 02, 2025 · 5 mins read

[Retrospect] 쿠팡에서의 5년 회고

pyspark environment, spark streaming pipeline

Posted by Wonyong Jang on August 29, 2025 · 4 mins read

[Python] Kafka & Spark 활용한 Realtime Datalake 구성하기 (2)

아파치 카프카와 Confluent Kafka 의 Consumer 메커니즘 비교(Commit, Partition Assignment, 옵션)

Posted by Wonyong Jang on July 05, 2025 · 4 mins read

[Python] Kafka & Spark 활용한 Realtime Datalake 구성하기 (1)

NAT 인스턴스를 이용한 클러스터 구성 / Confluent Kafka 를 이용하여 파이썬으로 구현 / 아파치 카프카와 Confluent Kafka 의 Producer 메커니즘 비교(파티셔너, 옵션)

Posted by Wonyong Jang on July 05, 2025 · 15 mins read

View All Posts →