Bow

ML & DL/CV
[CS231n] lecture 03. Loss Functions and Optimization - 2
Stanford University의 CS231n (spring 2017)을 들으며 정리했습니다. 0. SVM loss 이어서.. 위 loss function에서 W는 loss 0을 얻을 수 있는 유일한 값일까? 아니다. W에 2를 곱한 2W도 loss 0을 얻을 수 있다. 이미 정답 예측 점수가 오답 예측 점수보다 1(safety margin)이상 크다면, W가 두배가 되어도 loss 0을 얻을 수 있기 때문이다. 이처럼 우리는 학습 데이터(training data) 안에서 loss 가 0이 되는 W 값을 찾았기 때문에, W를 두배를 하는 등의 변형된 W여도 loss 가 0이 될 수 있다. 과연 이 방식이 옳은 학습이라고 할 수 있을까? 1. 과적합 (Overfitting) 우리는 전체 데이터를 학습,..
→2021.07.18
ML & DL/NLP
텍스트 벡터화 기법의 종류
본 게시물은 2021.04.11. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 모두의연구소 AIFFEL 컨텐츠를 참고하여 정리한 내용입니다. 우리는 컴퓨터가 이해하기 쉽도록 텍스트를 BOW(Bag of Words)등의 방법으로 표현해 수치화한다. 그렇다면 수치화한 것은 어떻게 활용할 수 있을까? 이전에 자연어처리와 토크나이저에 대해 공부하면서, 희소표현이 아닌 분산표현을 이용하면 좋은 점이 단어들 간의 의미적 유사도를 계산할 수 있다는 점이라고 배웠다. 단어 혹은 문장 간 의미적 유사도 계산 방법 중 하나인 코사인 유사도에 대해서 공부해보겠다! 우리는 단어를 수치화하면서 벡터화한다. 벡터 : 벡터란 방향과 크기를 나타내는 원소이다. 코사인 유사도 코사인 유사도 : 두 벡터..
→2021.07.02

• 이전
• 1
• 다음