6๋ ์ฐจ ๋ฐฑ์๋ ๊ฐ๋ฐ์๋ก์ ํ๋ฃจ ํ๊ท 2000๋ง๊ฑด ์ด์์ ๋ฐ์ดํฐ๋ฅผ Spark Streaming ๋ฐ AWS ์ธํ๋ผ๋ฅผ ํตํด ์ค์๊ฐ์ผ๋ก ์ฒ๋ฆฌํ๋ ํ์ดํ๋ผ์ธ ๊ตฌ์ถ ๊ฒฝํ์ ๊ฐ์ง๊ณ ์์ต๋๋ค.
๋ฐ์ดํฐ ๋ณผ๋ฅจ์ด ์ฆ๊ฐํ์ ๋ processing delay ๋ฐ ๋ถ์ฐ์ฒ๋ฆฌ ์์คํ
์์์ ๋์์ฑ ์ด์ ๋ฑ
์ฌ๋ฌ incident๋ฅผ ๊ฒฝํํ๋ฉด์ ์คํธ๋ฆฌ๋ฐ ์ฑ๋ฅ ์ต์ ํ๋ฅผ ์งํํ์๊ณ
๊ทธ ๊ฒฐ๊ณผ, ๊ธฐ์กด ๋๋น 10๋ฐฐ ์ด์์ ์ฑ๋ฅ ํฅ์ ๊ฒฝํ์ ๊ฐ์ง๊ณ ์์ต๋๋ค.
ํญ์ ์ผ์ ์งํํ ๋ ํ์
๊ณผ ์ปค๋ฎค๋์ผ์ด์
์ด ํ๋ก์ ํธ์ ์ฑํจ๋ฅผ
์ข์ฐํ๋ค๊ณ ๋ฏฟ๊ณ ์์ต๋๋ค.
์ ๋ ์ฃผ์ด์ง ์ผ์ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์์ ๋ ๋ฌธ์ ๋ฅผ ๊ณต์ ํ๊ณ ,
ํ์
์ ํตํด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋์์์ด ๋
ธ๋ ฅํ๊ธฐ ๋๋ฌธ์
์๋ก์ด ์ผ์ ๋ํด ๋๋ ค์ ์์ด ์ฑ๊ณต์ ์ผ๋ก ๋ง๋ฌด๋ฆฌํ ์ ์์ต๋๋ค.
2021.02.01 ~ ํ์ฌ
์๋ด ๊ฐ๋ฅ์ฑ ๋์ ์ํ ์์ธก ๋ฐ call routing ์๋น์ค ๋ฐ์
2019.01 ~ 2021.01 (์ด 2๋ 1๊ฐ์)
2018.01 ~ 2018.02 (์ด 2๊ฐ์)
Spark์์ Not Serializable Exception ํด๊ฒฐ(Driver์ Executor๊ฐ์ ๋ฐ์ดํฐ ์ ์ก)
AWS EMR์์ ์คํ๋๋ Spark ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ฒ์ ์ถฉ๋ ํด๊ฒฐ
Spark Streaming ์์ ๋ฐ์ดํฐ ์์ค์ ๋ฐฉ์งํ๊ธฐ ์ํ graceful shutdown ์ ์ฉ
์ ์์ ๋ณด์ฐ๊ตฌ์ ๋ณด์ผํฐ ํ๊ตญ์ ๋ณด์ฒ๋ฆฌํํ (์ 2018-6-18 ํธ)
Drools ๊ธฐ๋ฐ ํ๋ฐฉ์ ๋ฌธ๊ฐ ์์คํ ์ Nginx๋ฅผ ์ด์ฉํ ํ์ฅ์ฑ ์ฐ๊ตฌ
https://github.com/WonYong-Jang/Medical-Expert-System/tree/master/journal
http://kiss.kstudy.com/thesis/thesis-view.asp?key=3652924