[Machine Learning] ML 구현하기 위한 넘파이와 판다스 실습

import sklearn
import xgboost
import lightgbm
import pandas as pd   
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

list1 = [1,2,3] # 파이썬의 list    
array3 = np.array(list1)    
print(type(array3))
# output: <class 'numpy.ndarray'>    

array1 = np.array([1,2,3])
array2 = np.array([[1,2,3],[2,3,4]])     

array2.shape
# output: (2,3)  // 행, 열 

array2.ndim
# output: 2     // 2 차원   

array1.shape
# output: (3,)

# ndarray내에 다른 타입이 들어오면, 큰 쪽으로 자동 형변환을 해준다.    
array1 = np.array([1,2,'test'])
print(array1)
print(array1.dtype)        # 타입 확인 
# Output: ['1' '2' 'test']
# Output: <U21             # 유니코드 문자열 타입을 뜻한다.   

array1.astype(np.int32) # 타입 변환   

np.arange(5)    # array([0, 1, 2, 3, 4])
np.zeros((3,2), dtype='int32')
# array([[0, 0],
#      [0, 0],
#      [0, 0]], dtype=int32)

np.ones((3,2))   # default float 64
# array([[1., 1.],
#      [1., 1.],
#      [1., 1.]])

array1 = np.arange(10)
array1.reshape(2,5)       # 2차원으로 reshape
# array([[0, 1, 2, 3, 4],
#        [5, 6, 7, 8, 9]])

array1.reshape(-1,5)      # 위와 동일한 결과값   

array1 = np.arange(5)
array1.reshape(-1,1)     # 2차원으로 reshape    
# array([[0],
#       [1],
#       [2],
#       [3],
#       [4]])   


array1 = np.array([[0],
                   [1],
                   [2],
                   [3],
                   [4]])
array1.reshape(-1,)      # 1차원으로 reshape
# array([0, 1, 2, 3, 4])

# 1차원 
array1 = np.array([0,1,2])
array1[1]   # 단일값 추출 1
array1[-1]  # 2
array1[-2]  # 1

array1[:]   # 배열 전체 슬라이스 인덱싱   
array1[:2]  # array([0, 1])
array1[1:2] # array([1])

# 2차원 
array1 = np.array([[1,2,3],[4,5,6],[7,8,9]])
array1[0,0]  #  1
array1[0,1]  #  2
array1[1,1]  #  5

array1[: , :] # 전체 
array1[0:2, 0:2]
# output : array([[1, 2],
#                 [4, 5]])

array1[:, 0]
# output: array([1, 4, 7])

##### 팬시 인덱싱 
array1 = np.array([10,11,12,13,14,15]) # 1차원일 경우 
array1[[0,2,5]]  # 팬시 인덱싱으로 인덱스 집합을 지정하여 추출
# output: array([10, 12, 15])


array2d = np.array([[1,2,3]            # 2차원일 경우
                    ,[4,5,6]
                    ,[7,8,9]])

array2d[ [0,1] , 2] 
# array([3, 6])

array2d[ [0,1], 0:2]
# array([[1, 2],
#       [4, 5]])

array2d[ [0,1] ]
# array([[1, 2, 3],
#       [4, 5, 6]])

##### 불린 인덱싱 
ndarray값이 13 보다 큰 ndarray를 추출하고자 한다면?   
array1[array1 > 13]
# output: array([14, 15])   

# 2차원 배열에서 axis 기반의 sort()
array1 = np.array([[8,12],
                   [7,1]])
np.sort(array1, axis=0) # 행 기준 sort
# output: array([[ 7,  1],
#                 [8, 12]])

np.sort(array1, axis=1) # 열 기준 sort 
# output: array([[ 8, 12],
#                [1,  7]])

array1 = np.array([3,1,9,5])
result = np.argsort(array1)
# array([1, 0, 3, 2])

df = pd.read_csv('train.csv')   

display(df.head()) # 상위 부터 출력
display(df.tail()) # 하위 부터 출력   

# 옵션 변경 
pd.set_option('display.max_rows', 1000)    # 행이 많아서 생략될 경우 max 옵션 변경 
pd.set_option('display.max_colwidth', 100) # 컬럼 길이가 길어서 생략될 경우 max 옵션 변경   
pd.set_option('display.max_columns',100)   # 컬럼이 많아서 생략될 때 max 옵션 변경

df = pd.DataFrame(dict1) # DataFrame으로 변환    

print("columns:", df.columns) # 데이터 프레임의 컬럼들 확인   
print("columns:", df.index)  # 데이터 프레임의 인덱스 확인

df.info()  # DataFrame내의 컬럼명, 데이터 타입, Null건수, 데이터 건수 정보를 제공한다.   

df.describe() # 데이터값들의 평균, 표준편차, 4분위 분포도를 제공(단 숫자형 컬럼들에 대해서만 제공)   

# 동일한 개별 데이터 값이 몇건이 있는지 정보를 제공한다.
df['Pclass'].value_counts()

# Null 값을 포함하여 건수를 계산할지 옵션을 줄 수 있다.   
df['Embarked'].value_counts(dropna=False) # default로 true이며, false로 하게 되면 null 값 포함 계산을 해준다.   

# 여러 컬럼을 한번에 확인 
df[['Embarked', 'Pclass']].value_counts()

df['new_col'] = 0 # new_col 컬럼이 추가되고 0으로 모두 셋팅한다.   

# 데이터 삭제 
reuslt_df = df.drop(['age'], axis=1) # age라는 컬럼 삭제 

# inplace=True는 원본 DataFrame를 제거하며 반환 데이터는 None을 반환하기 때문에 주의  
# inplace=False 디폴트이며, 원본데이터는 그대로 두고 변경된 데이터를 반환해준다.  
df.drop(['age'], axis=1, inplace=True)

df.index         # 인덱스 범위 확인 
df.index.values  # 전체 인덱스 확인 
df.index[:5]
df.index.values[:5]
df.index[6]

##### 명칭기반 인덱싱 loc[]
# 0이라는 index는 행의 위치가 아니므로 인덱스를 문자로 지정했을 경우는 문자로 넣어주어야 한다.   
loc[0, 'PassenserId']       # index가 숫자 값일 경우(default)   
loc['one', 'PassenserId']   # index를 문자로 지정했을 경우  


##### 위치 기반 인덱싱 iloc[]    
iloc[0, 1]  

# 맨 마지막 컬럼 데이터를 가져올 때
df.iloc[:, -1]

# 맨 마지막 컬럼을 제외한 모든 데이터
df.iloc[:, :-1]


##### 불린 인덱싱(boolean indexing)   
df[df['age']> 60]

# 조건에 맞는 행을 먼저 필터하고 Name, Age 컬럼 추출 
df[df['Age'] > 60 ][['Name', 'Age']]

# 개별 조건은 ()로 감싸주어야 한다.
df[ (df['Age'] > 60) & ( df['Pclass']==1 )]

# 조건식을 따로 만들어서 필터도 가능
cond1 = df['Age'] > 60
cond2 = df['Pclass'] == 1
df[ cond1 & cond2]

df = df.sort_values(by=['Name'], ascending=True)

df.count() # 전체 컬럼 별 건수
df[['Age' ,'Fare']].mean()  # 평균 
df[['Age' ,'Fare']].sum()   # 합
df[['Age' ,'Fare']].count() # 갯수 

df.groupby(by='Pclass').head()

df.groupby(by='Pclass').count() # Pclass groupby 별 각 컬럼 갯수 

df.groupby(by='Pclass')[['Age', 'Fare']].count() 

df.groupby(by='Pclass')[['Age','Fare']].agg([max, min])

# 서로 다른 컬럼에 서로 다른 aggregation 메소드를 적용할 경우 agg() 내에 컬럼과 적용할 메소드를 Dict 형태로 입력   
agg_format = {'Age': 'max', 'SibSp': 'sum', 'Fare': 'mean' }
df.groupby('Pclass').agg(agg_format)

# 위의 dict을 사용했을때, 문제점은 dict 객체에 동일한 key를 가지게 되면, 마지막 key가 덮어쓰게 된다.   
# 이럴 때, 아래와 같이 사용 가능   
df.groupby(['Pclass']).agg(age_max=('Age', 'max'), age_mean=('Age','mean'), fare_mean=('Fare', 'mean'))

df.isna().head(3)  # NaN 인지 확인 (NaN이면 True)

df.isna().sum() # 각 컬럼별 NaN 건수
# 주의할 점은 count() 대신 sum()을 이용하여 NaN을 개수를 구할 수 있다.    

df.fillna('C000') # NaN 만나면 C000으로 변경   

df['Age'].fillna(df['Age'].mean()) # NaN 만나면 age의 평균값으로 채워넣는다.   

# nuique
df['Survived'].nunique() # 컬럼에서 몇건의 고유값이 있는지 파악   


# replace 원본 값을 특정 값으로 대체
df['Sex'].replace('male', 'Man')

# 여러 값을 바꿀 때 
df['Sex'].replace({'male': 'Man', 'female': 'Woman'})

# NaN을 replace로 처리할 수 있다.
df['Cabin'] = df['Cabin'].replace(np.nan, 'C000')

# 입력인자 x를 기반으로 한 계산식이며, 호출 시 계산 결과가 반환된다.   
# Name 컬럼에 있는 값들의 길이를 구해서 새로운 컬럼에 update
df['Name_len'] = df['Name'].apply(lambda x: len(x))

# 15살 이하면, child 그렇지 않으면 adult로 적용 
df['Child_Adult'] = df['Age'].apply(lambda x : 'Child' if x<= 15 else 'Adult')

# 다중 if 
df['Child_Adult'] = df['Age'].apply(lambda x : 'Child' if x<= 15 else ('Adult' if x <= 60 else 'Elderly'))