Resume - SW Developer

👨‍💻 Sr. Data Engineer

7년차 Data Engineer 로서 Daily Events Count 2,000만건의 Spark Streaming, Batch Size 1,000만건의 Spark Batch 와 Elastic Search를 이용한 서비스 등 여러 백엔드 개발 및 데이터 파이프라인을 구축한 경험이 있습니다.

데이터 볼륨이 증가했을 때 processing delay 및 분산처리 시스템에서의 동시성 이슈 등 여러 incident를 경험하면서 스트리밍 성능 최적화를 진행하였고
그 결과, 기존 대비 10배 이상의 성능 향상 경험을 가지고 있습니다.

데이터 엔지니어로서 기술적인 역량 뿐만 아니라 협업이 프로젝트의 성패를 좌우한다고 믿고 있습니다.
저는 주어진 일에 문제가 발생하였을 때 문제를 공유하고, 협업을 통해 문제를 해결하기 위해 끊임없이 노력하기 때문에 새로운 일에 대해 두려움 없이 성공적으로 마무리할 수 있습니다.

💪 Skills

Backend

Java, Kotlin, Scala, Python
Spring Boot/MVC
JPA, Querydsl
Junit4/5, Mockito, Spock, Kotest, ScalaTest
Gradle, Maven

DevOps

DocumentDB(MongoDB), Aurora(Mysql)
Jenkins, CircleCI, Airflow, Airbyte
Elastic Cache (Redis), S3, EC2, Cloud Watch
Nginx, Tomcat
Spark Streaming/Batch, Structured Streaming
AWS Event Bridge, Kinesis, Kafka
Hive, Trino(Presto), Iceberg
Elastic Search, Kibana
Grafana, Graylog, Prometheus, nGrinder
Git/Github

Frontend

React, Redux
Typescript, Javascript

Collaboration

Jira / Wiki Confluence
Slack

💼 Work Experience

쿠팡 Data Intelligence Platform

2021.02.01 ~ 현재

[Spark Batch 와 Apache Iceberg 테이블을 이용한 데이터 파이프라인]

기존 hive 테이블을 iceberg 테이블로 전환
- hive 테이블은 데이터 업데이트가 어렵기 때문에 중간 테이블이 생겨 리드 타임 및 파이프라인 복잡성 증가
- iceberg 테이블로 전환하여 ACID 트랜잭션 제공 및 데이터 파이프라인 간소화
- 유연한 스키마 및 데이터 변경을 제공함으로서 비지니스에 빠르게 대응
- iceberg 1.4.0 버전 이슈 확인 및 분석
spark를 활용한 효율적인 join 전략
엑셀을 이용한 메뉴얼 작업을 시스템 자동화하여 97% 리드타임 단축
- AS-IS: 8 hour (약 100만건 기준)
- TO-BE: 10 min

[Daily Events Count 2,000만건의 Spark Structured Streaming]

Processed rows per second(AS-IS: 800 -> TO-BE: 10,000)
- Spark Streaming Incident Review
비효율적인 Shuffle 및 DB I/O 개선
이벤트 데이터에 대한 동시성 이슈 및 데이터 순서 불일치 해결
재처리 구조 개선
데이터 정합성 메트릭 구성
Migrate from spark streaming to structured streaming.
- Structured Streaming 전환

[Batch Size 1,000만건의 Spark Batch 와 Elastic Search, Airflow를 이용한 검색 서비스]

Daily로 1,000 만건 이상의 데이터를 여러 검색 패턴으로 검색이 가능하도록 Elastic Search 와 Spark Batch Job 을 통해 개발
Spark를 이용하여 하이브 테이블간 집계 결과를 ES 에 인덱싱(daily 1,000만건)
- Wildcard 쿼리 대신 n-gram으로 성능 개선
ES 인덱스 관리(Template, Alias, Lifecycle)
- 템플릿을 이용하여 인덱스의 Alias, Lifecycle 관리
웹 어플리케이션에서 모든 검색 패턴에 대해 0.5 s 이내에 검색을 제공
- 검색 및 집계 데이터를 페이지네이션을 통해 제공
nGrinder를 이용한 성능 테스트

[Bus Route Recommendation Service]

Fulfillment Center 지원자에게 버스가 제공되며, 지원자 거주지 기준으로 자동으로 가까운 버스 추천
기존에는 상담사가 직접 지원자의 거주지와 가까운 버스 정류장을 찾아서 전달하기 때문에 상담시간 지연 발생
지원자의 거주지를 위, 경도로 변환 후 버스 정류장의 위, 경도와 비교하여 거리 및 우선순위에 따라 추천
Haversine formula 알고리즘을 이용하여 가까운 거리 계산
Redis를 활용하여 버스 정류장 데이터를 캐싱하여 성능 개선
상담사의 상담 준비시간(After Call Work)을 60% 개선
- As-Is : 2.5 min
- To-Be : 1 min (셔틀버스노선 확인 시간 감소)

[Build customer service data pipeline with Kafka, Spark streaming and DocumentDB]

기존 batch 기반으로 API를 반복적으로 호출하는 방식에서 AWS event bridge를 사용하여 3rd party data pipeline 구축
Spark Streaming의 마이크로 배치(10초)를 통해 Data 수집 및 Kafka publishing 하여 타 도메인에서 사용할 수 있도록 제공
API 기반의 데이터 처리 방식 대비 약 60배의 퍼포먼스 개선
- As-Is : 250/sec
- To-Be : 15,000/sec
API error로 인해 발생하던 exception 100% 감소
- As-Is: 1000/day
- To-Be: 0/day
Airflow를 통해 3rd party domain의 장애 발생 및 Event bridge로 데이터 전달 누락, 이벤트 처리 실패에 대한 retry 프로세스 적용
Data 저장을 위한 AWS storage cost 절감
- As-Is : $12,264 /Month (AuroraDB r5.12xlarge)
- To-Be : $3,901 /Month (DocumentDB r5.4xlarge)

삼성SDS회사 IT혁신사업부 Software Engineer

2019.01 ~ 2021.01 (총 2년 1개월)

SW Certificate 강사 활동
Samsung SW certificate professional 취득
자바, 스프링 기반의 Outsourcing Management System 개발 및 운영
삼성 SDS 대학생 it 멘토링 발표

https://www.youtube.com/watch?v=WW8luDK_pCk

인포뱅크 회사 Expert System 개발팀 인턴

2018.01 ~ 2018.02 (총 2개월)

한의학 분야와 Drools를 이용한 전문가 시스템을 융합 및 웹서비스 제공
Nginx를 이용한 로드밸런싱 구조 구축 및 성능 벤치마킹
A Scalability Study with Nginx for Drools-Based Oriental Medical Expert System 논문 발행

https://github.com/WonYong-Jang/Medical-Expert-System

✍🏻 Personal Experience

패스트 캠퍼스 강의

https://fastcampus.co.kr/dev_online_befinal
외부 API와 공공데이터를 이용한 약국 추천 서비스를 주제로 강의 진행

🛠 Problem Solving Experience

Spark streaming trouble shooting

Elastic Search

ElasticSearch에서 cardinality 사용시 주의사항과 해결방안

🏆 Prize

2018. 05 춘계학술발표대회 수상

전자정보연구정보센터 한국정보처리학회 (제 2018-6-18 호)

Drools를 이용한 Nginx와 Ajax기반의 Medical Expert System 개발

🎓 Paper

2018. 12. 07 정보처리학회논문지

Drools 기반 한방전문가 시스템의 Nginx를 이용한 확장성 연구

https://github.com/WonYong-Jang/Medical-Expert-System/tree/master/journal
http://kiss.kstudy.com/thesis/thesis-view.asp?key=3652924

2018. 05. 12 정보처리학회

Drools를 이용한 Nginx와 Ajax기반의 Medical Expert System 개발

2017. 11. 04 정보처리학회

Drools 기반의 메디컬 Expert 시스템 아키텍처와 프로세스 연구

2017. 11. 04 정보처리학회

메디컬 Expert 시스템을 위한 Drools와 JavaFX 기반의 사용자 인터페이스 설계 및 구현

https://github.com/WonYong-Jang/Medical-Expert-System

🏫 Education

2012.03 ~ 2018.06 국민대학교 소프트웨어공학과 졸업