모델 훈련

1. 선형 회귀
1. 선형 회귀
1. 선형 모델은 입력 특성의 가중치 합과 편향 이라는 상수를 더해 예측을 만든다.
2. 
2. 정규방정식
1. 비용 함수를 최소화 하는 값을 찾기 위한 해석적인 방법
2. 
2. 경사 하강법
1. 경사 하강법
1. 비용 함수를 최소화하기 위해 반복해서 파라미터를 조정해 가는 것
2. 파라미터 벡터에 대해 비용 함수의 현재 그래디언트를 계산한 후 그래디언트가 감소하는 방향으로 진행한다.
   최소값에 도달하면 그래디언트는 0이 된다.
3. 
4. 경사 하강법에서 중요한 파라미터는 스텝의 크기이다.
   스텝의 크기는 학습률 하이퍼파라미터로 결정된다.
5. 학습률이 너무 작으면 알고리즘이 수렴하기 위해 반복을 많이 진행해야 하므로 시간이 오래걸린다.
1. 
6. 학습률이 너무 크면 이전보다 더 높은 곳으로 올라갈 수 도 있다.
1. 
7. 경사 하강법의 문제점
1. 
2. 왼쪽에서 시작할 경우 전역 최소값이 아닌 지역 최솟값에 수렴한다.
3. 오른쪽에서 시작할 경우 평탄한 지역을 지나기 위해 시간이 오래 걸리고 일찍 멈추게 된다.
4. 선형회귀를 위한 MSE 비용 함수는 볼록함수이다.
8. 특성 스케일이 다를 경우 수렴하는 데 많은 시간이 걸린다.
1. 
2. 배치 경사 하강법
1. 경사 하강법을 구현하려면 각 모델 파라미터 에 대해 비용 함수의 그래디언트를 계산해야 한다.
2. 비용 함수의 편도함수
1. 
3. 배치 경사 하강법에서는 매 스텝마다 전체 훈련세트 X에 대해 계산한다.
4. 매우 큰 훈련 세트에서는 느리다.
5. 경사 하강법의 스텝
1. 
3. 확률적 경사 하강법
1. 매 스텝에서 하나의 샘플을 무작위로 선택하고 그 하나의 샘플에 대한 그래디언트를 계산한다.
2. 매 스텝에서 매우 적은 데이터만 처리하기 때문에 속도가 빠르다.

    매 반복에서 하나의 샘플만 메모리에 있으면 되므로 매우 큰 훈련 세트도 훈련시킬 수 있다.

3. 확률적이기 때문에 배치 경사 하강법보다 불안정하다.
4. 비용함수가 불규칙 할 경우 알고리즘이 지역 최소값을 건너뛸 수 있도록 도와주므로 전역 최소값을 찾을 확률이 높다.
5. 학습률을 점진적으로 감소시키는 방법으로 지역 최소값을 건너뛰면서 불안정성을 줄일 수 있다.
6. 매 반복에서 학습률을 결정하는 함수를 학습 스케줄이라고 한다.
7. 

4. 미니배치 경사 하강법
1. 미니배치라고 부르는 작은 샘플 세트에 대해 그래디언트를 계산한다.\
2. 선형 회귀를 사용한 알고리즘 비교

1. 알고리즘	m이 클 때	외부 메모리 학습지원	n이 클 때	하이퍼 파라미터 수	스케일 조정 필요	사이킷런
   정규방정식	빠름	No	느림	0	No	LinearRegression
   배치 경사 하강법	느림	No	빠름	2	Yes	n/a
   확률적 경사 하강법	빠름	Yes	빠름	>=2	Yes	SGDRegressor
   미니배치 경사 하강법	빠름	Yes	빠름	>=2	Yes	n/a

3. 다항 회귀
1. 각 특성의 거듭제곱을 새로운 특성으로 추가하고 확장된 특성을 포함한 데이터셋에 선형모델을 훈련한다.
2. 
4. 학습 곡선
1. 학습 곡선을 통해 모델이 과대적합, 과소적합 되었는지 판단할 수 있다.
2. 과소적합된 모델
1. 훈련 샘플을 추가하는 것은 효과가 없다.
   더 복잡한 모델을 사용하거나 더 낮은 특성을 선택해야 한다.
2. 
3. 과대적합된 모델
1. 검증 오차가 훈련 오차에 근접할 때까지 더 많은 훈련 데이터를 추가해야 한다.
2. 
5. 규제가 있는 선형 모델
1. 규제가 있는 선형 모델
1. 과대 적합을 줄이기 위한 좋은 방법
2. 릿지 회귀
1. 규제가 추가된 선형회귀, 규제항이 비용 함수에 추가된다.
2. 규제항
1. 
3. 훈련이 끝나면 모델의 성능을 규제가 없는 성능 지표로 평가한다.
4. 하이퍼파라미터 는 모델을 얼마나 규제할지 조절한다.
5. 릿지 회귀의 비용함수
1. 
6. 의 값을 증가시킬수록 직선에 가까워지며,
   의 값을 줄이면 모델의 분산이 줄고 편향이 커진다.
7. 
3. 라쏘 회귀
1. 덜 중요한 특성의 가중치를 완전히 제거한다.
2. 라쏘 회귀의 비용함수
1. 

 

3. 
4. 라쏘의 비용 함수는 에서 미분이 불가능하다.
   일 때 서브그래디언트 벡터를 사용하면 경사 하강법을 적용할 수 있다.
1. 

4. 엘라스틱넷
1. 릿지 회귀와 라쏘 회귀를 절충한 모델

       릿지, 라쏘의 규제항을 더해서 사용, 혼합 정도는 혼합 비율 을 사용해 조절

2. 

5. 조기 종료
1. 검증 에러가 최소값에 도달하면 바로 훈련을 중지시키는 것
2. 조기 종료 규제
1. 

6. 로지스틱 회귀
1. 로지스틱 회귀
1. 샘플이 특정 클래스에 속할 확률을 추정하는데 사용된다. (이진분류)
2. 확률 추정
1. 입력 특성의 가중치 합을 계산한 후 결과값의 로지스틱을 출력한다.
2. 로지스틱 회귀 모델의 확률 추정
1. 
3. 로지스틱은 0, 1 사이의 값을 출력하는 시그모이드 함수이다.
4. 로지스틱 함수

1.  
2. 

5. 로지스틱 회귀 모델 예측
1. 

3. 훈련과 비용 함수
1. 하나의 훈련 샘플에 대한 비용 함수
1. 
2. 로지스틱 회귀의 비용 함수
1. 
3. 로지스틱 회귀에는 정규방정식이 없으나 경사 하강법으로 전역 최솟값을 찾는 것을 보장한다.
4. 로지스틱 비용 함수의 편도 함수
1. 
4. 결정 경계
1. 추정 확률과 결정 경계
1. 
5. 소프트맥스 회귀
1. 샘플 x가 주어지면 소프트맥스 회귀 모델이 각 클래스 k에 대한 점수 를 계산하고
   그 점수에 소프트맥스 함수를 적용하여 각 클래스의 확률을 추정한다.
2. 클래스 k에 대한 소프트맥스 점수
1. 
3. 소프트맥스 함수
1. 
4. 소프트맥스 회귀 분류기는 추정 확률이 가장 높은 클래스를 선택한다.
1. 
5. 크로스 엔트로피 비용 함수를 사용하여 모델을 평가할 수 있다.
6. 크로스 엔트로피 비용 함수
1. 
7. 클래스 k에 대한 크로스 엔트로피의 그래디언트 벡터
1. 
8. 소프트맥스 회귀 결정 경계
1.