전체 글
![[CS231n] lecture 03. Loss Functions and Optimization - 2](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Flm18F%2Fbtq9ReB4N8V%2FGXBXsGAklOfnO8wVcK8WvK%2Fimg.png)
[CS231n] lecture 03. Loss Functions and Optimization - 2
Stanford University의 CS231n (spring 2017)을 들으며 정리했습니다. 0. SVM loss 이어서.. 위 loss function에서 W는 loss 0을 얻을 수 있는 유일한 값일까? 아니다. W에 2를 곱한 2W도 loss 0을 얻을 수 있다. 이미 정답 예측 점수가 오답 예측 점수보다 1(safety margin)이상 크다면, W가 두배가 되어도 loss 0을 얻을 수 있기 때문이다. 이처럼 우리는 학습 데이터(training data) 안에서 loss 가 0이 되는 W 값을 찾았기 때문에, W를 두배를 하는 등의 변형된 W여도 loss 가 0이 될 수 있다. 과연 이 방식이 옳은 학습이라고 할 수 있을까? 1. 과적합 (Overfitting) 우리는 전체 데이터를 학습,..
![[CS231n] lecture 03. Loss Functions and Optimization - 1](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FO3qfJ%2Fbtq8HuyVrmv%2F4c4yiUKB1kk2ffuWpqX62K%2Fimg.png)
[CS231n] lecture 03. Loss Functions and Optimization - 1
Stanford University의 CS231n (spring 2017) 을 들으며 정리했습니다. 0. 지난 강의(lecture 02) 복습 linear classification : neural network 의 기본 templates of linear classifier : 클래스를 결정하는데 중요한 역할을 하는 픽셀 1. linear classifier and W 이전 강의에서는 W값을 임의로 지정했다. → [3-8] score를 보면 성능이 좋지 않아 보임 (고양이 사진에 대해 개라는 정답을 8.02로 예측했다.) 이처럼 임의로 지정하는 W는 항상 좋지만은 않다. best 행렬 W를 구해야 한다. W를 입력으로 받아서 스코어를 확인하고, 그 성능을 정량적으로 말해주는 것 ⇒ loss functi..
도예 체험
계룡산도자예술촌에 갔다. 나영이가 예약을 했고, 아침을 먹은 후 출발했다. 수강생을 위한 앞치마와 깨끗하고 시원한 작업공간을 상상했는데, 전혀 달랐다.선생님의 삶 그대로의 모습인 듯한 작업실. 자기 집인 걸 온몸으로 표현하는 듯 우리가 온지도 모르고 기절한 고양이. 양 옆으로 열려있는 문 밖으로 보이는 계룡산과 가끔 들어오는 산바람. 작업실에 들어가면서 전시된 여러 도자기를 보고 무얼 만들지 정했다. 아직 거처가 없는 나는 운반하기 쉬운 술잔으로, 성아도 나와 같은 술잔. 이왕이면 큰 게 좋은 나영이는 큰 국그릇.매끈매끈하고 촉촉하고 시원한 흙이 책상에 놓였다. 먼저 각자의 밑바닥을 동그랗게 말고 눌러서 잘랐다. 우리는 전 날 밤. 도예를 취미로 하는 선화에게 팁을 물어봤다. 반죽처럼 많이 주물러서 공기..
[논문리뷰] 한국어 기술문서 분석을 위한 BERT 기반의 분류모델
본 게시물은 2021.05.19. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 한국어 기술문서 분석을 위한 BERT 기반의 분류모델 를 공부하며, 요약 및 번역 정리한 내용입니다. 0. ABSTRACT 텍스트마이닝 기법은 문서의 특징을 직접 추출해야 하는 한계점이 있다. 딥러닝 기반의 BERT모델을 활용해 문서의 특징을 자동 추출한다. 추출한 특징은 문서 분류에 활용한다. BERT를 활용한 국가 R&D 과제의 중분류 코드 예측 모델 생성 및 성능 평가 1. TASK 1) NTIS : 국가과학기술종합정보시스템 국가연구개발사업에 대한 정보를 관리 국가 R&D 과제 현황 관리, 효율적 정보 처리를 위해 분류정보를 제공 해당 분류정보는 연구자들의 주관적인 의견이 반영된다. 연구에..
[논문리뷰] Research on Dynamic Political Sentiment Polarity Analysis of Specific Group Twitter Based on Deep Learning Method
본 게시물은 2021.05.19. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 Research on Dynamic Political Sentiment Polarity Analysis of Specific Group Twitter Based on Deep Learning Method를 공부하며, 요약 및 번역 정리한 내용입니다. 0. ABSTRACT 미국 정치인의 트윗에 대한 dynamic 정치 감성 극성 분석(다중 분류) 방법 제안 데이터 : 일정 기간, 특정 그룹에서 보낸 트위터 텍스트 비교 평가 : 20명의 미국 주지사, 상원 의원의 감성 극성 판단 정확도 80.66%, 직접 평가(사람) 성공률 75% 1. 관련 연구 감성 극성 분석은 전통적 머신러닝 알고리즘 및 신경..
가중치 초기화의 정의와 방법론
본 게시물은 2021.04.15. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 CS231n(2017) lecture 6을 공부하며 정리한 내용입니다. 확률통계학 스터디에서 분포에 대해 공부하는 도중, 가중치 초기화에서 분포를 고려했던 점에 대해서 자세히 알아보기로 했다. 가중치 초기화(Weight Initialization) 우리는 모델 안에서 가중치를 학습한다. 학습하기 전의 가중치는 어떤 모양일까? 학습하기 전 가중치를 어떤 값으로 설정(초기화)하는 것을 가중치 초기화(Weight Initialization)이라고 한다. 여러 방법을 시도(가정)하면서 어떤 방법이 가장 좋을지 찾아보도록 하겠다. 0으로 초기화하자! 만약 모든 가중치를 0으로 초기화한다면 어떻게 될까? ..
텍스트 벡터화 기법의 종류
본 게시물은 2021.04.11. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 모두의연구소 AIFFEL 컨텐츠를 참고하여 정리한 내용입니다. 우리는 컴퓨터가 이해하기 쉽도록 텍스트를 BOW(Bag of Words)등의 방법으로 표현해 수치화한다. 그렇다면 수치화한 것은 어떻게 활용할 수 있을까? 이전에 자연어처리와 토크나이저에 대해 공부하면서, 희소표현이 아닌 분산표현을 이용하면 좋은 점이 단어들 간의 의미적 유사도를 계산할 수 있다는 점이라고 배웠다. 단어 혹은 문장 간 의미적 유사도 계산 방법 중 하나인 코사인 유사도에 대해서 공부해보겠다! 우리는 단어를 수치화하면서 벡터화한다. 벡터 : 벡터란 방향과 크기를 나타내는 원소이다. 코사인 유사도 코사인 유사도 : 두 벡터..
자연어 처리와 토크나이저
본 게시물은 2021.04.08. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 모두의연구소 AIFFEL 컨텐츠를 참고하여 정리한 내용입니다. 자연어처리가 필요한 이유 "Alice drove down the street in her car." 해당 문장은 중의적인 의미로 해석할 수 있습니다. 차를 운전해서 거리를 달리고 있다. 차 안의 거리를 달리고 있다. 물론 이 글을 읽는 우리(사람)는 거리가 차 안에 있지 않다는 사실을 알고 있기 때문에, 1번의 의미로 해석을 바로 할 수 있다. 하지만, 이 글을 컴퓨터가 해석한다면 어떨까? 우리가 아는 사전 정보(거리는 차 안에 있지 않다)를 전달해 단어의 의미를 파악하게 해야 한다. 이처럼 컴퓨터가 사람처럼 자연어를 처리할 수 있도..