BigData

[Iceberg] Apache Iceberg - Hidden Partitioning

hive 파티셔닝과 비교 / 시간에 따른 메타데이터 심층 탐구

[Iceberg] Apache Iceberg 주요 설정 및 테이블 생성, 복구, 유지보수

테이블 생성 및 주요 설정 / snapshot 및 메타데이터 관리 옵션 / 테이블 복구 및 유지보수 / 테이블 전환

[Iceberg] Apache Iceberg 등장

Hive Table Format과 비교하여 Iceberg 의 특징(Snapshot, Hidden Partition) / 스냅샷 롤백 / Tag

[Python] LLM 을 이용하여 데이터 수집 및 요약 추출

LangChain과 OpenAI API 사용 / ChatOpenAI / StrOutputParser / ChatPromptTemplate / WebBaseLoader

[Python] Python을 이용한 Crawling (Scrapy)

Crawling, Scraping / 사이트의 크롤링 정책

[Python] Python을 이용한 Crawling (BeautifulSoup, Selenium)

웹 크롤링(Crawling), 웹 스크래핑(Scraping) / CSS Selector(태그 선택자, 클래스 선택자, ID 선택자) / conda를 가상환경 구성

[BigData] File Format - Parquet, ORC

Parquet(파케이), ORC(Optimized Row Columnar) / 컬럼 기반(Columnar) 저장 포맷과 열 기반(Row-based) 저장 포맷

[BigData] 멀티 테넌시 (Multi-tenancy) 아키텍처

멀티테넌시 사용시 고려사항 및 장단점

[Cloud] 클라우드상 오브젝트 스토리지(Object Storage)란?

블록 스토리지, 파일 스토리지, 오브젝트 스토리지 차이점

[Cache] Caffeine 과 EhCache

로컬 캐시(Local Cache) / Caffeine 기본 사용 방법 / Java 용 Caffeine / Scala 용 Scaffeine

[Redis] Jedis Pool 최적화(레디스 커넥션 풀)

[Redis] Transaction 처리 - 이론편

MULTI, EXEC, DISCARD, WATCH / Optimistic Locking / 레디스 트랜잭션에 Rollback이 없는 이유

[Redis] Geospatial 자료구조

위도, 경도 위치 정보를 저장하는 자료구조 / 현재 위치에서 가까운 정류장 찾기

[Redis] Spring Data Redis 사용하여 캐싱하기

Spring에서 RedisTemplate와 RedisRepository / @Cacheable, @CachePut, @CacheEvict / @Indexed

[Redis] 캐싱 전략

Look Aside(Lazy Loading), Write Through, Session Management, 여러가지 활용 사례

[Redis] Remote Dictionary Server 에서 제공하는 Collections

Redis에서 제공하는 자료구조 및 사용시 주의사항 (string, hash, list, sorted set, geospatial)

[Druid] Apache Druid

아파치 Druid 설치 및 데이터 로드하고 쿼리 학습하기