[Python] LLM 을 이용하여 데이터 수집 및 요약 추출
LangChain과 OpenAI API 사용 / ChatOpenAI / StrOutputParser / ChatPromptTemplate / WebBaseLoader
Posted by
Wonyong Jang
on July 18, 2024 ·
11 mins read
[Python] Python을 이용한 Crawling (Scrapy)
Crawling, Scraping / 사이트의 크롤링 정책
Posted by
Wonyong Jang
on July 08, 2024 ·
5 mins read
[Python] Python을 이용한 Crawling (BeautifulSoup, Selenium)
웹 크롤링(Crawling), 웹 스크래핑(Scraping) / CSS Selector(태그 선택자, 클래스 선택자, ID 선택자)
Posted by
Wonyong Jang
on June 24, 2024 ·
19 mins read
[BigData] File Format - Parquet, ORC
Parquet(파케이), ORC(Optimized Row Columnar) / 컬럼 기반(Columnar) 저장 포맷과 열 기반(Row-based) 저장 포맷
Posted by
Wonyong Jang
on February 02, 2024 ·
5 mins read
[BigData] 멀티 테넌시 (Multi-tenancy) 아키텍처
멀티테넌시 사용시 고려사항 및 장단점
Posted by
Wonyong Jang
on August 20, 2021 ·
4 mins read
[Cloud] 클라우드상 오브젝트 스토리지(Object Storage)란?
블록 스토리지, 파일 스토리지, 오브젝트 스토리지 차이점
Posted by
Wonyong Jang
on August 20, 2021 ·
5 mins read
[Cache] Caffeine 과 EhCache
로컬 캐시(Local Cache) / Caffeine 기본 사용 방법 / Java 용 Caffeine / Scala 용 Scaffeine
Posted by
Wonyong Jang
on May 15, 2021 ·
9 mins read
[Redis] Jedis Pool 최적화(레디스 커넥션 풀)
Posted by
Wonyong Jang
on May 14, 2021 ·
4 mins read
[Redis] Transaction 처리 - 이론편
MULTI, EXEC, DISCARD, WATCH / Optimistic Locking / 레디스 트랜잭션에 Rollback이 없는 이유
Posted by
Wonyong Jang
on May 13, 2021 ·
8 mins read
[Redis] Geospatial 자료구조
위도, 경도 위치 정보를 저장하는 자료구조 / 현재 위치에서 가까운 정류장 찾기
Posted by
Wonyong Jang
on May 12, 2021 ·
9 mins read
[Redis] Spring Data Redis 사용하여 캐싱하기
Spring에서 RedisTemplate와 RedisRepository / @Cacheable, @CachePut, @CacheEvict / @Indexed
Posted by
Wonyong Jang
on May 11, 2021 ·
13 mins read
[Redis] 캐싱 전략
Look Aside(Lazy Loading), Write Through, Session Management, 여러가지 활용 사례
Posted by
Wonyong Jang
on May 10, 2021 ·
10 mins read
[Redis] Remote Dictionary Server 에서 제공하는 Collections
Redis에서 제공하는 자료구조 및 사용시 주의사항 (string, hash, list, sorted set, geospatial)
Posted by
Wonyong Jang
on May 04, 2021 ·
13 mins read
[Airflow] 아파치 Airflow - Workflow
DAG(Directed Acyclic Graph) / 데이터 워크 플로우 관리 도구/ execution_date 의미
Posted by
Wonyong Jang
on March 08, 2021 ·
13 mins read
[Druid] Apache Druid
아파치 Druid 설치 및 데이터 로드하고 쿼리 학습하기
Posted by
Wonyong Jang
on February 12, 2021 ·
13 mins read