자연어 처리와 토크나이저

본 게시물은 2021.04.08. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 모두의연구소 AIFFEL 컨텐츠를 참고하여 정리한 내용입니다. 자연어처리가 필요한 이유 "Alice drove down the street in her car." 해당 문장은 중의적인 의미로 해석할 수 있습니다. 차를 운전해서 거리를 달리고 있다. 차 안의 거리를 달리고 있다. 물론 이 글을 읽는 우리(사람)는 거리가 차 안에 있지 않다는 사실을 알고 있기 때문에, 1번의 의미로 해석을 바로 할 수 있다. 하지만, 이 글을 컴퓨터가 해석한다면 어떨까? 우리가 아는 사전 정보(거리는 차 안에 있지 않다)를 전달해 단어의 의미를 파악하게 해야 한다. 이처럼 컴퓨터가 사람처럼 자연어를 처리할 수 있도..