---
title: "R로 마스터하는 머신 러닝"
output: 챕터 4
---
install.packages('ElemStatLearn')
install.packages('car')
install.packages('corrplot')
install.packages('leaps')
install.packages('glmnet')
install.packages('caret')
library(ElemStatLearn) # 패키지에 원하는 데이터 존재
library(car) #분산 팽창 인수 계산하는데 사용
library(corrplot) #상관 관계를 도표로 보여준다 correlation plots
library(leaps) #최량 부분 집합 도표 best subsets regression
library(glmnet) #능형 회귀 분석 , LASSO , 일래스틱넷
library(caret) # 매개 변수 조절
data(prostate) # prostate 전립선 R의 내장되어 있는 데이터 세트의 리스트 출력
help(prostate) # 자료 설명 - 전립선 암 데이터
str(prostate)
##해석10개 변수와 97개의 관측치
plot(prostate)
#전체 데이터 산전도 행렬
##해석 lcavol 와 lpsa 사이의 관계는 선형 관계처럼 보임
plot(prostate$gleason)
#그리슨 데이터 보기 (종양 조직의 분화도)
##해석-8.0 ,9.0 분포
table(prostate$gleason)
#그리스 데이터 테이블 형식
##해석 8=1개 ,9=1개
#방법
#1.해당 피처를 완전히 뺀다
#2.점수 8,9만 뺀다
#3.이 피처를 지시 변수를 만든다
boxplot(prostate$lpsa~prostate$gleason,xlab="Gleason Score", ylab="Log of PSA")
# 해당 그래프로 판단한다 -최소값,최대값 사이의 값들을 알수 있다.
# 1,2 방식이 아닌 책에서는 코드로 전환 하는것으로 가이드
# 점수가 6일 때는 0, 7이상일 경우에는 1
prostate$gleason = ifelse(prostate$gleason == 6, 0, 1)
#Ifelse를 이요한 코드값으로 전환 format = ifelse(logicalmode, yes, no)
table(prostate$gleason)
# 정상 변환 확인
p.cor = cor(prostate)
corrplot.mixed(p.cor)
#cor()를 통해 두 변수간의 선형관계의 정도를 알수 있음
#상관 도표를 토해 피처 사이에 상관관계, 독립적인지 판단
##해석
##lpsa(psa의 log) 값과 lcavol(암 부피의 log)연관이 크다 값 0.73
##다중 공선성 문제 lcavol는 lcp, lcp(암세포 침투 log) 는 svi(정낭 침범)값 0.68,0.67
train = subset(prostate, train==TRUE)[,1:9]
str(train)
test = subset(prostate, train==FALSE)[,1:9]
str(test)
# train 데이터 와 test 데이터 생성
#####모형화와 평가 #####
#1.최량 부분 집합 (regsubser) 사용
subfit = regsubsets(lpsa~., data=train)
#최량 부분 집합 regsubser() 함수 사용
b.sum = summary(subfit)
which.min(b.sum$bic)
# summary 모형을 다른 객체로 전환
#베이지안 정보 기준(BIC, Bayesian Information Criteria)은 AIC와 마찬가지로 여러 모델이 주어졌을 때 최적의 모델을 선택하는 기준이다
##해석
#which.min()로 사용해 가장 좋은 것을 선택, sum을 이용
#3 이 나옴
plot(b.sum$bic, type="l", xlab="# of Features", ylab="BIC", main="BIC score by Feature Inclusion")
##해석 BIC를 이용해서 3개가 가장 적절한 피처라는것을 알아냄
plot(subfit, scale="bic", main="Best Subset Features")
##해석 BIC의 값이 가장 낮은 3개는 -52 의 값 lcavol, lweight,gleason
ols = lm(lpsa~lcavol+lweight+gleason, data=train)
plot(ols$fitted.values, train$lpsa, xlab="Predicted", ylab="Actual", main="Predicted vs Actual")
#학습과 데이터와 실제 값의 도표화(3가지만 가지고 비교)
##해석 대체적으로 선형으로 분표
pred.subfit = predict(ols, newdata=test)
#새로운 데이터 test 값을 넣어서 모형의 예측값 예측
plot(pred.subfit, test$lpsa , xlab="Predicted", ylab="Actual", main="Predicted vs Actual")
#예상값과 실제값 비교하는 도표화
##해석 대부분 선형이지만 , 2개 정도가 동떨어짐
resid.subfit = test$lpsa - pred.subfit
#예상 값과 실제값의 차이 =잔차
mean(resid.subfit^2)
#해당 값의 평균 제곱차이 = Mean Sqauared Error = MSE = 잔차제곱평균
#잔차제곱평균 - 회귀로도 설명할 수 없는 잔차
##결과 0.508
##정리##
#F통계량= MSR / MSE
#MSE는 회귀로도 좁힐 수 없는 예측 오차 대비, 회귀로 인해 좁혀진 예측 오차가 얼마나 큰가를 표현한 수치가 F-통계량이다. 이 통계량이 크면 클 수록 (우리가 증명하고 싶은) 이 회귀모델이 유용하다는 것을 증명하기에 좋다. 즉 분자인 MSE가 작을 수록 F통계량은 늘어난다.
### 능형 회귀 분석 (Ridge regression)
### glmnet를 활용
### input Format glment(x= 입력 데이터 행렬, y= 반응값 ,family= 분표방법 , alpha= 0)
x = as.matrix(train[,1:8])
y = train[ ,9]
#입력 데이터 행렬 x, 반응 값 y
ridge = glmnet(x, y, family="gaussian", alpha=0)
#설정 분포= guassian ,alpha =0
print(ridge)
#출력 계수의 숫자(df),편차의 백분율(%Dev), 람다(Labda)
#능형 회귀 분석의 특징은 계수의 숫자는 계속 8
##해석 마지막 100회 편차의 백분율 0.6971, 람다 0.08789
plot(ridge, label=TRUE)
# x축 L1 Norm ,y축 계수의 값
plot(ridge, xvar="lambda", label=TRUE)
# x축 lambda , y축 계수의 값
#해석 람다의 값이 줄어들면 축소 벌점이 줄고 , 계수의 절대값은 올라감
#ridge.coef = coef(ridge, s=0.1, exact = TRUE)
ridge.coef = coef(ridge, s=0.1)
#coef= 절편과 기울기를 보여주는 함수
ridge.coef
#해석 age, lcp ,pgg45에 관한 계수가 0에 가까워진다. (0은 아님)
plot(ridge, xvar="dev", label=TRUE)
#xvar설정 NORM(기본),lambda(로그-람다 값), dev(deviance-훈련 데이터에서의 편차의 백분률 )
##해석 람다가 감소할수록 계수의 값은 증가 , 편차의 백분율 증가 ,계수의 값이 증가
newx = as.matrix(test[,1:8])
ridge.y = predict(ridge, newx=newx, type="response", s=0.1)
# 테스트 데이터를 통한 ,predict를 이용한 예상값과 실제 값 도표
# type= link(log-odds값) , response(확율 $p$)
plot(ridge.y, test$lpsa, xlab="Predicted", ylab="Actual", main="Ridge Regression")
##해석 최량 부분 집합 방법을 이용해서 얻은 값과 비슷
ridge.resid = ridge.y - test$lpsa
mean(ridge.resid^2)
# MSE 값 비교 0.478 , 최량 부분 집합 = 0.50
###RASSO###
lasso = glmnet(x, y, family="gaussian", alpha=1)
#LASSO 모형 만들기 능형 회귀 분석 에서 alpht= 0 -> 1로 바꾸면 lasso
print(lasso)
##해석 모형을 자동으로 만들다 람다 값이 줄어드는 데 편차가 줄지 않아 69번째 에서 멈춤
#DF(피처) 값도 람다와 함께 변함
plot(lasso, xvar="lambda", label=TRUE)
##해석 8,3,5 라인
#lasso.coef = coef(lasso, s=0.045, exact=TRUE)
lasso.coef = coef(lasso, s=0.045)
lasso.coef
##해석 s=0.045 즉 람다가 0.045일 때 lcp 계수 0 으로 만듬
lasso.y = predict(lasso, newx=newx, type="response", s=0.045)
plot(lasso.y, test$lpsa, xlab="Predicted", ylab="Actual", main="LASSO")
lasso.resid = lasso.y - test$lpsa
mean(lasso.resid^2)
# Lasso MSE 값 0.443
# Ridge MSE 값 0.478 , 최량 부분 집합 값 0.50
###일래스틱 넷 ###
##람다와 일래스틱넷의 혼합 설정 인자인 알파의 가장 최적값을 찾는 방법
# 1. expand.grid() 함수 사용 모든 알파와 람다의 조합 벡터 만든다.
# 2. caret패키지에 있는 trainControl() 함수를 사용해 재샘플링 방법 사용 결정- LOOCV 사용
# 3. caret 패키지 train()함수인 glmnet()을 이용한 모형 학습시켜 알파와 람다를 선택
# alpla와 lambda 증가 시키지 expand.grid()
grid = expand.grid(.alpha=seq(0,1, by=.2), .lambda=seq(0.00,0.2, by=0.02))
#알파 값 0.2씩 증가, 0~1 사이, 람다 0.02씩 증가 0.0~0.2사이 설저으로 벡터 생성
table(grid)
##해석 66개의 조합 6*11
head(grid)
control = trainControl(method="LOOCV")
#leave- One - Out Cross Validataion
#k-fold의 k 숫자가 examples 수가 동일할 경우가된다. 가장 극단적이며 모델을 훈련시키는데 많은 데이터를 사용 할 수 있지만, 계산량이 많고 고비용이다.
#첨부파일 - 재샘플링.jpg 참고
#재샘플링 방법으로 LOOCV 선택, 그 외 bootstraping, k-겹 교차 검증 존재
#selectionFunction="best"
enet.train = train(lpsa~., data=train, method="glmnet", trControl=control, tuneGrid=grid)
#tran()함수를 통해 일래스틱넷의 최적 설정 인자를 찾는다
enet.train
# 가장 낮은 RMSE(Root Mean Square Error)값 알파 =0, 람다는 0.08
## 해석 glmnet s=0.08 지정한 능형 회귀 값과 비슷하다 , 참고 s=0.10 지정 R-squared 61%가 나옴
# 실험이나 관측에서 나타나는 오차의 제곱해서 평균한 값의 제곱근 뜻
enet = glmnet(x, y,family="gaussian", alpha=0, lambda=.08)
enet.coef = coef(enet, s=.08, exact=TRUE)
enet.coef
enet.y = predict(enet, newx=newx, type="response", s=.08)
plot(enet.y, test$lpsa, xlab="Predicted", ylab="Actual", main="Elastic Net")
#test 데이터를 이용해서 람다 값 0.08를 대입해서 검증
enet.resid = enet.y - test$lpsa
mean(enet.resid^2)
# MSE 계산 0.4795019
# MSE - 평균 제곱 오차
# RMSE - 제곱근평균제곱오차
#MSE 비교
# ElaticNET 값 0.479
# Lasso MSE 값 0.443
# Ridge MSE 값 0.478
# 최량 부분 집합 값 0.50
##추가 glnet을 이용한 교차 검증
#원리 = k-겹 교차 검증 -데이터를 같은 수의 집합(겹)으로 나누고 ,k-1개의 부분 집학을 이용햇 서로 다른 모형을 만드는 방법 , 따로 준비해둔 나머지 집합으로 테스트한 수 그 결과를 평균 내 최종적으로 설정 인자 설정
set.seed(317)
lasso.cv = cv.glmnet(x, y,nfolds =3)
#데이터 수가 적어서 3겹으로 처리
plot(lasso.cv)
# log(lambda)가 0으로 갈수로 MSE(Mean-Squared Error)가 증가 하는것을 볼수 있음
lasso.cv$lambda.min
#람다의 최소값. 좀 더 정확한 람다 값을 알기 위해
lasso.cv$lambda.1se
#람다의 최소에서 표준 오차만큼 떨어진곳 알기 위해
coef(lasso.cv, s ="lambda.1se")
##해석 age, lcp,pgg45를 뺸 5개의 피처를 사용한 모델
lasso.y.cv = predict(lasso.cv, newx=newx, type="response", s="lambda.1se")
lasso.cv.resid = lasso.y.cv - test$lpsa
mean(lasso.cv.resid^2)
#최종 MSE 구하기
#MSE 비교
# 최량 부분 집합 값 0.50
# 능형 회귀 Ridge MSE 값 0.478
# 랏쏘 Lasso MSE 값 0.443
# ElaticNET 값 0.479
# 교차 검증을 통한 랏쏘 LASSO 값 0.45
#현재 검증으로는 교찻검증을 이용한 LASSO 적합
#전문 지식 + 더 많은 데이터
#변수들 (난수 생성기 변경, Train ,Test 데이터 세트의 변경 )
# R의 함수 포맷알아보기 : https://www.rdocumentation.org/