[Spark] Pipeline and Stage
Stage skip 되는 경우 / 셔플에 의한 stage 분리 / 셔플 발생시 write, read
Posted by
Wonyong Jang
on May 10, 2021 ·
6 mins read
[Redis] 캐싱 전략
Look Aside(Lazy Loading), Write Through, Session Management, 여러가지 활용 사례
Posted by
Wonyong Jang
on May 10, 2021 ·
10 mins read
[Spark] 아파치 스파크(spark) DataSet
DataSet 의 주요 연산 사용법 / Encoder
Posted by
Wonyong Jang
on May 07, 2021 ·
11 mins read
[Spark] 아파치 스파크(spark) SQL 의 Tungsten Project
Spark SQL 사용시 하드웨어(cpu, memory 등) 최적화 제공
Posted by
Wonyong Jang
on May 04, 2021 ·
10 mins read
[Redis] Remote Dictionary Server 에서 제공하는 Collections
Redis에서 제공하는 자료구조 및 사용시 주의사항 (string, hash, list, sorted set, geospatial)
Posted by
Wonyong Jang
on May 04, 2021 ·
13 mins read
[Spark] 아파치 스파크(spark) SQL 의 Catalyst Optimizer
Spark SQL 사용시 엔진 차원에서 성능 최적화 / Optimized Query Plan
Posted by
Wonyong Jang
on May 03, 2021 ·
7 mins read
[Spark] 아파치 스파크(spark) DataFrame 구현하기
DataFrame 주요 연산 / groupBy / UDF(User Define Function) / join
Posted by
Wonyong Jang
on May 02, 2021 ·
16 mins read
[Spark] 아파치 스파크(spark) SQL과 DataFrame
RDD vs DataFrame / Catalyst Optimizer / Tungsten execution engine / Encoder
Posted by
Wonyong Jang
on May 01, 2021 ·
5 mins read
[Scala] 예외 처리 ( Option, Either, Try )
NullPointerException 을 처리하기 위한 여러가지 방법
Posted by
Wonyong Jang
on April 29, 2021 ·
8 mins read
[Scala] collection API
Traversable, Seq, List, Array, Vector, map, flatMap, takeWhile, take, groupBy
Posted by
Wonyong Jang
on April 23, 2021 ·
11 mins read