20200924 머신러닝 수업

학습(최적화) 시에 독립 변수와 종속 변수:

독립 변수 → 모델의 파라미터(=가중치, bias), 종속 변수 → 모델의 파라미터에 대한 목적 함수의 값(=J(w))

 

경사 하강법이 낮은 loss를 찾아가는 원리: Loss 함수(목적 함수)의 gradient의 반대 방향으로 가중치를 업데이트 하는 것

 

배치와 스토케스틱 방법의 차이:

배치 → 모든 샘플의 gradient를 다 계산해서 평균한 후, 한꺼번에 파라미터(가중치, bias)를 업데이트. 모집단을 잘 반영하고 안정적, 그러나 느림.

스토케스틱 → 한 번에 샘플 하나 또는 몇 개의 gradient를 계산하고 즉시 파라미터를 업데이트. 불안정하지만 빠르고, 나중엔 모집단과 비슷하게 반영됨.