자연어 처리 라이브러리인 토치텍스트를 활용해 이전 포스트의 전처리 이론을 실제로 구현해보자.

토치텍스트

: 텍스트에 대한 여러 추상화 기능을 제공하는 자연어 처리 라이브러리

다음의 책을 공부하며 정리한 내용입니다.

• https://wikidocs.net/22886

자연어 처리의 전처리

자연어 처리를 위해 자연어 데이터는 일반적으로 토큰화, 단어집합생성, 정수인코딩, 패딩, 벡터화의 과정을 거친다.