[Hive] Apache hive 파티션 타입 및 종류

--  아래 옵션을 추가할 경우 파티션 필터가 없는 경우 에러를 발생시킨다.    
hive> set hive.mapred.mode = strict;
hive> select * from campaign;

FAILED: SemanticException [Error 10056]: Queries against partitioned tables without a partition filter are disabled for safety reasons. If you know what you are doing, please set hive.strict.checks.no.partition.filter to false and make sure that hive.mapred.mode is not set to 'strict' to proceed. Note that you may get errors or incorrect results if you make a mistake while using some of the unsafe features. No partition predicate for Alias "campaign" Table "campaign"    


-- 아래 옵션을 주면 WHERE 절에 파티션 필터가 없음에도 쿼리가 샐행된다.    
hive> set hive.mapred.mode = nonstrict;
hive> select * from campaign;
OK
Time taken: 0.671 seconds

create table delivery (
    id bigint,
    orderid bigint,
    createdat string 
)

-- 1. Single Partition 테이블의 Create문 
create table delivery (
    id bigint,
    orderid bigint
) partitioned by (createdat string)   

-- 2. Multi Partition 테이블의 Crreate 문   
create table delivery (
    id bigint,
    orderid bigint
) partitioned by (createdat string, cd int)

/user/hive/warehouse/production.db/supply/createdat=20210101/file1   

/user/hive/warehouse/production.db/supply/createdat=20210101/cd=22/file1    

-- Static Partitioning 예시
INSERT INTO TABLE delivery PARTITION(day=20210101)
SELECT * FROM delivery WHERE day=20210101;

-- Dynamic Paritioining 예시
INSERT INTO TABLE supply PARTITION (day,cd)
SELECT id,part,quantity FROM source ;

-- 위 내용을 조금만 응용해보면, mix dynamic and static partitioning을 할 수 있다.
-- 말 그대로, multi partion인 Table의 경우 하나의 Partition은 고정된 값이고 
-- 다른 하나의 Partition은 dynamic value인 것이다.

INSERT INTO TABLE supply PARTITION (day=20190621,cd)
SELECT id,part,quantity FROM source ;
-- 위 쿼리를 적용하면 day가 20190621일 때, cd 파티션은 자동으로 생성되고 적재된다.
-- 주의할 점은, static partition key가 dynamic partition key 보다 상위 partition이어야 한다.

set hive.exec.dynamic.partition=true;     
 --true: hive가 동적 파티션을 수행할 수 있도록 허용 

set hive.exec.dynamic.partition.mode=nonstrict;   
 -- strict: 최소 하나의 정적 파티션이 있어야 한다.(human error 방지) 
 -- nonstrict: 모든 파티션 키가 동적으로 생성된다. 

set hive.exec.max.dynamic.partitions=1000;    
 -- 동적으로 생성될 수 있는 파티션 최대 개수 (기본값:1000)
 
set hive.exec.max.dynamic.partitions.pernode=100; 
 -- mapper/reducer 노드별 생성될 수 있는 파티션 수 (기본값:100)
 
set hive.optimize.sort.dynamic.partition=true;
 -- 전역적으로 파티션 키에 대한 정렬 작업을 수행하여 하나의 파티션 키에 대한 reducer가 1개만 수행되도록 한다. 

set hive.merge.tezfiles = true 
 -- tez작업결과 일정 크기 이하의 파일들을 합쳐준다. (기본값:false)
 
set hive.merge.smallfiles.avgsize=32000000;
 -- 설정한 사이즈 이하의 파일을 합친다. (기본값:약16MB)

set hive.merge.size.per.task =256000000;
 -- merge된 파일의 크기 (기본값:약256MB)

select * from delivery where orderid=111 and createdat ='2021-01-01';

#1 테이블 정보 및 로케이션 확인
desc formatted [테이블명];

#2 Partition 조회하기
SHOW PARTITIONS supply;
day=20190621/cd=21
day=20190621/cd=22
day=20190622/cd=14

특정 파티션의 sub partition을 확인하려면
SHOW PARTITONS supply(day=20190621)
day=20190621/cd=21
day=20190621/cd=22

#3 Partition Description(정보) 보기
DESCRIBE FORMATTED supply PARTITION(day=20190621,cd=25);

#4 ALTER PARTITIONS
#파티션 삭제
ALTER TABLE supply (DROP IF EXISTS) PARTITION(day=20190621, cd=21);

--파티션 이름 변경
alter table delivery partition (createdat=2021-01-01) rename to partition (createdat=2021-02-02);

-- 파티션 Location 수정 
alter table delivery partition (createdat=2021-01-01) set location 's3://directory';

-- 기본적인  파티션 삭제 
alter table delivery drop if exists partition (createdat=2021-0101);

-- 2개 이상의 파티션 삭제     
alter table delivery drop if exists partition (type ='order', createdat='2021-01-01');   
-- order 라는 partiton 내의 createdat 이 2021-01-01인 모든 파티션 데이터가 지워진다.   

-- 범위 지정 파티션 지우기     
alter table delivery drop if exists partition (type ='order', createdat <'2021-01);   
-- order 라는 partition 내의 createdat 이 2021-0101보다 과거의 파티션 데이터가 지워진다.