[Spark] On Kubernetes
EMR Cluster 에서의 Spark와 비교
Posted by
Wonyong Jang
on March 03, 2024 ·
2 mins read
[Spark] Memory 관리 및 튜닝
Spark 실행시 적절한 Driver와 Executor 개수
Posted by
Wonyong Jang
on February 13, 2024 ·
4 mins read
[BigData] File Format - Parquet, ORC
Parquet(파케이), ORC(Optimized Row Columnar) / 컬럼 기반(Columnar) 저장 포맷과 열 기반(Row-based) 저장 포맷
Posted by
Wonyong Jang
on February 02, 2024 ·
5 mins read
[AWS] S3 버킷 수명 주기 구성
DeletingObjectsfromVersioningSuspendedBuckets, Versioning Suspended Bucket Lifecycle
Posted by
Wonyong Jang
on January 11, 2024 ·
4 mins read
[Scala] is 로 시작하는 Boolean 타입 필드 사용시 이슈
java, kotlin 그리고 scala 언어에서의 차이 / jackson을 이용한 serialize 할 때 주의사항
Posted by
Wonyong Jang
on November 25, 2023 ·
10 mins read
[Spark] Log4j를 이용한 Log Rolling(RollingFileAppender)
Custom Log4j 사용하기 / Long Running Spark Streaming 에서 Log Rolling
Posted by
Wonyong Jang
on November 19, 2023 ·
3 mins read
[AWS] Event Bridge
Event bridge dead letter queue, CloudWatch Log group, Monitoring
Posted by
Wonyong Jang
on October 22, 2023 ·
4 mins read
[Spark] 테스트 코드 작성하기
scalatest, spark-testing-base 라이브러리를 이용한 단위 테스트(rdd, dataFrame, dataSet)
Posted by
Wonyong Jang
on September 29, 2023 ·
7 mins read
[Scala] 테스트 코드 작성하기
scalatest, scalacheck, mockito scala / 단위 테스트를 하기 위한 구조 / singleton object mock 테스트
Posted by
Wonyong Jang
on September 25, 2023 ·
18 mins read