[Spark] Docker Ubuntu 컨테이너로 Spark 실습환경 만들기
도커를 이용한 master, worker 클러스터 환경 구성 / spark-submit / 스탠드 얼론 클러스터 매니저
Posted by
Wonyong Jang
on August 29, 2021 ·
14 mins read
[Spark] Broadcast, Accumulator 공유변수
braodcast, accumulator, closure
Posted by
Wonyong Jang
on July 08, 2021 ·
5 mins read
[Spark] How to override a spark dependency in cluster mode(AWS EMR)
라이브러리 버전 충돌이 발생할 때 shadowJar를 사용하여 package relocate
Posted by
Wonyong Jang
on July 08, 2021 ·
5 mins read
[Spark] 아파치 스파크 graceful shutdown
How to do graceful shutdown of spark streaming job
Posted by
Wonyong Jang
on June 29, 2021 ·
7 mins read
[Spark] 아파치 스파크 Partitioning
Partiton 개수와 크기 정하기 / coalesce 와 repartition
Posted by
Wonyong Jang
on June 21, 2021 ·
6 mins read
[Spark] 아파치 스파크 Serialization
Serialization challenges with Spark and Scala
Posted by
Wonyong Jang
on June 15, 2021 ·
8 mins read
[Spark] 아파치 스파크(spark) DataSet
DataSet 의 주요 연산 사용법
Posted by
Wonyong Jang
on May 02, 2021 ·
12 mins read
[Spark] 아파치 스파크(spark) SQL과 DataFrame
DataFrame 의 주요 연산 사용법
Posted by
Wonyong Jang
on May 01, 2021 ·
8 mins read
[Spark] 아파치 스파크(spark) 스트리밍
Event-driven 실시간 스파크 스트리밍
Posted by
Wonyong Jang
on April 12, 2021 ·
4 mins read
[Spark] 아파치 스파크(spark) 시작하기
Driver, Executor, Task, Cluster Manager/ RDD / Hadoop
Posted by
Wonyong Jang
on April 11, 2021 ·
28 mins read