딥러닝 & 머신러닝/강연 & 수업 (16) 썸네일형 리스트형 20200915 머신러닝 수업 설계 행렬(design matrix): 훈련 집합의 모든 정보를 담은 행렬. 행은 sample, 열은 feature의 인덱스.ex) 붓꽃 데이터 150개 샘플, 각각 4개의 특징 → (150, 4), MNIST 데이터 60000개, 각각 784개의 픽셀(특징) → (60000, 784) 텐서: 3차원 이상의 데이터 구조 Lp 놈(norm): 샘플 간의 거리. 즉 distance. 즉 벡터의 크기를 구할 때 쓰는 것. p차원의 놈을 얘기할 때 Lp 놈이라고 한다. 즉 0이 많을수록 ||w||_0 값은 줄어든다. cos 유사도: 두 단위 벡터 간의 내적. 즉 두 벡터 사이의 각도를 이용해 두 벡터가 얼마나 상관있는지 측정하는 지표ex) 서로 90도 → 내적값 = 0 → 두 벡터는 서로 상관이 없다. 결정 .. 20200910 머신러닝 수업 일반화 성능: 테스트 데이터에 대한 모델의 성능 데이터가 많아질수록 일반화 능력이 좋아지는 이유는?: 다양한 데이터의 특징을 학습해서 다양성이 증가하므로. 즉 데이터의 샘플 포인트가 많아져 모델의 파라미터 갯수보다 많아지면 오버피팅되지 않는다. 위 목적 함수는 어떻게 규제 효과를 가지는가?: 우변의 두번째 항을 통해 파라미터(가중치) θ의 값이 커지는 걸 방지한다. (가중치 갱신때 J(θ)의 미분값이 빠지면서) 지도 학습: 데이터(특징 벡터)와 정답(목표값)이 모두 주어지는 것. 비지도 학습: 데이터만 주어지고 정답은 없는 학습 방법. 결정론적 학습: 같은 데이터를 학습시켰을 때 같은 결과가 나온다.스토캐스틱 학습: 같은 데이터를 학습시켜도 항상 다른 결과가 나온다. → 모델의 신뢰도 측정 가능. 분별 .. 20200908 머신러닝 수업 목적함수 (비용함수): 실제값과 모델의 예측값 사이의 차이를 계산해주는 함수. 모델의 오류율, 즉 성능을 보여줌. 모델이 줄여야 할 '목표' : 목적함수 J가 최소화되었을 때의 θ 과소적합: 훈련 집합 데이터에 대해 모델이 충분히 학습되지 않은 상태 과대적합: 훈련 집합 데이터에 대해 모델이 과도하게 학습되어 새로운 데이터가 들어왔을 때 목표값을 잘 예측하지 못하는 상태. 너무 노이즈까지 학습을 해버린 상태 바이어스-분산 트레이드 오프: 바이어스와 분산은 둘 다 같이 좋아질 수 없다는 관계. 두 개를 보고 어떤 모델을 고를지 결정함.ex) 바이어스가 크고, 분산이 작다 → 단순한 모델일수록 이렇다. 데이터 분포와 그에 맞는 모델 사이의 차이는 크지만, 훈련 집합이 바뀌더라도 나오는 모델의 모양은 비슷하다.. 20200903 머신러닝 수업 회귀: 목표값이 실수 분류: 목표값이 실수가 아닌 범주형 자료 (부류값) 훈련집합: 모델을 학습시킬 때 사용하는 데이터 집합 테스트집합: 모델의 일반화 성능을 검증할 때 사용하는 데이터 집합 모델링: 모델을 만드는 과정. 모델이란 내가 데이터를 분석해서 이 데이터에 맞는 함수, 또는 머신러닝 알고리즘을 사용하는 것. 표현 학습 (representation learning): 좋은 특징 공간, 즉 분류에 유리한 특징 공간을 자동으로 찾아주는 방법. 딥러닝이 여기에 속함. 특징 공간 (feature space): 특징 벡터가 존재하는 공간. MNIST의 경우 28*28 = 784개 화소로 표현되므로 784차원. 특징 벡터 (feature vector): 어떤 특징 숫자값을 벡터로 표기한 것. ML에서는 입력.. 그래비티 클래스 4주차 강의 내용 정리 오늘은 마지막 순서로 음성 관련 딥러닝 강의를 들었다. 음성 관련 딥러닝에 대해선 정말 문외한 그 자체였는데, 강사님이 너무 유쾌하고 친절하게 처음부터 차근차근 알려주셔서 없던 흥미가 막 돋아나는 강의였다! 목소리도 크시고 발성도 좋으셔서 전달력이 아주 좋았고, 어떤 질문에도 전문적으로 다 대답해주시고 하나라도 더 알려드리려고 하는 모습이 굉장히 인상적이었다. 거기다가 재미있기까지 해서 토크 콘서트 온 느낌이었다ㅋㅋㅋ but 강사님은 진짜 별 5개 중 10개지만, 내 이해력과 바탕이 조금 부족한 탓에 후반부가 약간 어려운 게 흠이었다 ㅠ 4주 동안 양질의 딥러닝 강의를 들을 수 있어서 정말로 유익한 시간이었다. 뭔가를 떠먹여 준다는 느낌보다는 '이런 저런 길이 있으니 필요하면 네가 공부를 더 해봐라'같은.. 그래비티 클래스 3주차 강의 내용 정리 3주차 강의는 자연어 처리 내용이었다. 난 자연어 처리 관련해서 하나도 몰랐고, 이쪽으로 깊게 들어갈 생각도 아니기 때문에 가볍게 들으려고 했다. 근데 생각했던 것보다 내용이 방대하고 조금 어려워서 이해하기 힘들었다. 강사님도 살짝 텐션이 떨어지시는 것 같아 살짝 아쉬웠다. 그래도 자연어 처리가 정말 많이 활용되고 있는 분야이며, 컴퓨터 사이언스 뿐만 아니라 심리학이나 언어학 등의 도움이 필요하다는 것을 깨닫게 되었다. 임베딩: 글자를 숫자로 바꾼다. text data를 numerical data로. BoW: 단순히 문장에 있는 단어가 몇 개나 있는지 센다. but 단순 빈도수로는 문맥 의미 파악못한다. N-gram: 단어 몇 개를 하나의 토큰으로 본다. tf-idf: 대표 단어를 단순히 빈도.. 그래비티 클래스 2주차 강의 내용 정리 1주차는 딥러닝과 머신러닝, 데이터 사이언스의 차이점과 딥러닝에 필요한 전반적 기초 지식을 배웠다면, 2주차부터는 본격적으로 딥러닝의 큰 분야들에 대해서 자세히 배우기 시작했다. 2주차땐 컴퓨터 비전 관련 내용들을 들을 수 있었다. 내가 관심있는 분야가 컴퓨터 비전이기에 흥미롭게, 그리고 집중해서 들었다. 아는 내용이 많긴 했지만 또 내가 모르는 부분이나 긴가민가했던 부분을 잡을 수 있었다. 그리고 Object Detection 이나 Segmentation 분야에도 관심을 가질 수 있었다. 강사님이 유쾌하고 재밌게, 친절하게 알려주셔서 더욱 좋았던 강의였다. 이미지에 미분을 적용하면 밝기값이 변한다. 필터가 인풋을 돌아다니면서 필터값에 인풋 값을 곱해준다 -> 컨볼루션 큰 이미지 중에서 줄이고 줄여서 제.. 그래비티 클래스 1주차 강의 내용 정리 고등학교 친구가 운영하는 데이터사이언스 및 딥러닝 입문 강의를 지난 3월 한 달 동안, 일주일에 한 번씩 들었습니다. 강의에서 듣고 난 후 미처 제가 몰랐던 것들 위주로 블로그에 정리하려고 합니다! 딥러닝 기초에 대해선 이제 어느 정도 안다고 생각했는데, 공부하면 할수록 제가 모르는 것은 계속 나오네요 ㅎㅎ 데이터 사이언스: 통계 관련 지식 주로 많이 필요하고, 데이터를 모았을 때 데이터를 해석할 수 있는 모델을 설정해야 한다. 데이터 엔지니어링: 코딩을 잘해야한다. 엄청나게 많은 데이터를 빠르게 처리할 수 있도록 프로그램을 만드는 것 필요한 기술: GPU와 분산처리, 컴퓨터를 최대한 부려먹을 수 있도록 연구하는 것 데이터 애널리시스: 경영 전공 중요. 데이터에 관한 지식이 많아야 한다. 데이터를 이용해.. 이전 1 2 다음
