Data Preprocessing | 프밍 스터디

머신러닝의 모든 것 - 1주차

💡

Data Preprocessing

머신러닝 스택에 관련된 강의에서 데이터 전처리를 왜 배워야 할까요?

데이터 처리는 데이터 사이언티스트의 영역이 아닌걸까요?

머신러닝 엔지니어에게 혹은 리서처에게 ‘Data Preprocessing’이 왜 중요할까요?

크게 3가지 정도로 이유를 찾을 수 있는데요

해당 데이터의 신뢰성

정규화, 표준화의 필요성

GIGO의 원리

아무리 유능한 데이터 사이언티스트 혹은 빅데이터 전문가가 데이터를 배포할 때도 해당되는 데이터를 개발자들이 시각화 자료로 쓸지, 혹은 모델을 빌드할지 알 수 없습니다.

그러니 해당하는 데이터는 raw하게 구성되는 것이 다양한 분야와 목적을 갖고 사용되기 편하겠죠!

식재료로 예를 들자면, 축산업자(데이터 제작자)는 사람들이 해당 육류(data)를 어떤 방식(용도)으로 조리(전처리)해서 먹을지(사용) 모르기에 raw한 육류를(data) 공급하는 것입니다.

좋은 쉐프(머신러닝 엔지니어)가 되는 것이 저희의 목표가 되겠네요! 😆

모두 복습도 꾸준히 하며 같이 성장하는 머든것이 됩시다! 💪

Data preprocessing-Python

dataset load하기🦐

Data.csv

0.2KB

1gPjWk-qqg0IKmJkBU8hpqmTPApuMCDpC?authuser=1#scrollTo=VAloqWI_7xt5

Importing the libraries

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

Importing the dataset

dataset = pd.read_csv('Data.csv')
X = dataset.iloc[:, :-1].values
y = dataset.iloc[:, -1].values

csv파일 읽어올 때 pd.read_csv을 사용함.

독립변수(X)는 예측하고 싶은 것을 예측할 수 있게하는 정보를 가진 변수

종속변수(y)는 그 예측

iloc[row,column] iloc = locate indexes

범주형 데이터 인코딩🍥

Encoding the Independenr variable

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [0])], remainder='passthrough')
X = np.array(ct.fit_transform(X))

One-Hot Encoding: 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식

Encoding the Dependent Variable

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
y = le.fit_transform(y)

LabelEncoder: 원핫인코딩과 달리 문자를 숫자로 변환하여 하나의 열로 나타냄.

데이터 분할🍸

Splitting the dataset into the Training set and Test set

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 1)
// random_state = 1 -> 랜덤 seed 값을 정해줌. 예제와 같은 값을 가지기 위해서

피처 스케일링🍪

Feature Scaling

feature scaling: 모든 변수나 특징을 스케일링하는 도구인데 모든 값이 같은 단위가 되게끔 하고 특징은 머신러닝 모델에 의해 다른 특징을 무시하는 일을 막기 위한 것이다.

데이터셋을 훈련셋과 테스트셋을 분할한 후에 적용함. (테스트셋의 정보유출을 막기 위해)

feature scaling

Standardisation: (x-평균)/표준편차 를 이용해 표준화시킴 -3~+3 (항상 쓸 수 있음)

Normalisation: (x-최솟값)/(최댓값-최솟값) 을 이용해 정규화시킴 0~1 (대부분의 특성이 정규분포를 따르는 특정 상황에 권장되는 기법)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train[:, 3:] = sc.fit_transform(X_train[:, 3:]) //fit: 각 특성의 평균과 표준편차를 구하는것
																              // transform: 위의 공식을 적용해 모든 값이 같은
																							//            크기를 가지도록 하는 것
X_test[:, 3:] = sc.transform(X_test[:, 3:]) // not fit, only transform!