딥러닝 & 머신러닝/[2020-2] 머신러닝 수업 (12) 썸네일형 리스트형 20200915 머신러닝 수업 설계 행렬(design matrix): 훈련 집합의 모든 정보를 담은 행렬. 행은 sample, 열은 feature의 인덱스. ex) 붓꽃 데이터 150개 샘플, 각각 4개의 특징 → (150, 4), MNIST 데이터 60000개, 각각 784개의 픽셀(특징) → (60000, 784) 텐서: 3차원 이상의 데이터 구조 Lp 놈(norm): 샘플 간의 거리. 즉 distance. 즉 벡터의 크기를 구할 때 쓰는 것. p차원의 놈을 얘기할 때 Lp 놈이라고 한다. 즉 0이 많을수록 ||w||_0 값은 줄어든다. cos 유사도: 두 단위 벡터 간의 내적. 즉 두 벡터 사이의 각도를 이용해 두 벡터가 얼마나 상관있는지 측정하는 지표 ex) 서로 90도 → 내적값 = 0 → 두 벡터는 서로 상관이 없다. 결정.. 20200910 머신러닝 수업 일반화 성능: 테스트 데이터에 대한 모델의 성능 데이터가 많아질수록 일반화 능력이 좋아지는 이유는?: 다양한 데이터의 특징을 학습해서 다양성이 증가하므로. 즉 데이터의 샘플 포인트가 많아져 모델의 파라미터 갯수보다 많아지면 오버피팅되지 않는다. 위 목적 함수는 어떻게 규제 효과를 가지는가? : 우변의 두번째 항을 통해 파라미터(가중치) θ의 값이 커지는 걸 방지한다. (가중치 갱신때 J(θ)의 미분값이 빠지면서) 지도 학습: 데이터(특징 벡터)와 정답(목표값)이 모두 주어지는 것. 비지도 학습: 데이터만 주어지고 정답은 없는 학습 방법. 결정론적 학습: 같은 데이터를 학습시켰을 때 같은 결과가 나온다. 스토캐스틱 학습: 같은 데이터를 학습시켜도 항상 다른 결과가 나온다. → 모델의 신뢰도 측정 가능. 분.. 20200908 머신러닝 수업 목적함수 (비용함수): 실제값과 모델의 예측값 사이의 차이를 계산해주는 함수. 모델의 오류율, 즉 성능을 보여줌. 모델이 줄여야 할 '목표' : 목적함수 J가 최소화되었을 때의 θ 과소적합: 훈련 집합 데이터에 대해 모델이 충분히 학습되지 않은 상태 과대적합: 훈련 집합 데이터에 대해 모델이 과도하게 학습되어 새로운 데이터가 들어왔을 때 목표값을 잘 예측하지 못하는 상태. 너무 노이즈까지 학습을 해버린 상태 바이어스-분산 트레이드 오프: 바이어스와 분산은 둘 다 같이 좋아질 수 없다는 관계. 두 개를 보고 어떤 모델을 고를지 결정함. ex) 바이어스가 크고, 분산이 작다 → 단순한 모델일수록 이렇다. 데이터 분포와 그에 맞는 모델 사이의 차이는 크지만, 훈련 집합이 바뀌더라도 나오는 모델의 모양은 비슷하.. 20200903 머신러닝 수업 회귀: 목표값이 실수 분류: 목표값이 실수가 아닌 범주형 자료 (부류값) 훈련집합: 모델을 학습시킬 때 사용하는 데이터 집합 테스트집합: 모델의 일반화 성능을 검증할 때 사용하는 데이터 집합 모델링: 모델을 만드는 과정. 모델이란 내가 데이터를 분석해서 이 데이터에 맞는 함수, 또는 머신러닝 알고리즘을 사용하는 것. 표현 학습 (representation learning): 좋은 특징 공간, 즉 분류에 유리한 특징 공간을 자동으로 찾아주는 방법. 딥러닝이 여기에 속함. 특징 공간 (feature space): 특징 벡터가 존재하는 공간. MNIST의 경우 28*28 = 784개 화소로 표현되므로 784차원. 특징 벡터 (feature vector): 어떤 특징 숫자값을 벡터로 표기한 것. ML에서는 입력.. 이전 1 2 다음
