결측치(데이터 정제) 처리

import FinanceDataReader as fdr
df = fdr.DataReader('005930', '2024-1-1')
df

import pandas as pd
import numpy as np

s1 = pd.Series([np.nan, 2,3,4,5])
s2 = pd.Series([1,2,np.nan,np.nan,5])
s3 = pd.Series([1,2,3,4,5])

df = pd.DataFrame({'s1':s1, 's2':s2 , 's3':s3 })
df

 

df['s1'].isna()
df.isna()

 

 

df.isna().sum()
df.isnull()
df.isnull().sum()

 

결측치 종류 3가지
np.nan / np.inf / -np.inf (inf:무한대)

 

# df에 있는 값이 아래 상태에 해당하는지 전수 확인
df
df.isin([np.nan, np.inf, -np.inf])
df.isin([np.nan, np.inf, -np.inf]).sum()

 

df.dropna() nan값이 있는 행기준으로 제거

(디폴트 axis = row 또는 0) df.dropna(axis='columns') 또는 axis = 1 는 열을 기준으로 제거

df.dropna()
df.dropna(axis=0)
df.dropna(axis='columns')
df.dropna(axis=1)

# df.fillna(9) na값을 모두 9로 바꾼다.
df.fillna(9)

# df.fillna(method='pad')는 한 행전에 있는 값으로 대체 
# df.fillna(method='bfill')는 한 행후에 있는 값으로 대체
df.fillna(method='pad')
df.fillna(method='bfill')