케라스 창시자에게 배우는 딥러닝 책을 참고하였습니다.

합성곱 신경망

: 텐서플로 자격증을 공부하면서 컨브넷에 대한 이론적 이해가 많이 부족하다고 느꼈다. 이론 베이스가 약하니 모델을 어떻게 변형해야 할지도 감이 안와서 책을 보면서 좀 차근차근 다시 이해해보려고 한다.

텐서플로우 공식 가이드 중 Neural machine translation with attention 문서의 실습을 참고하였습니다.

Neural machine translation with attention

• 스페인어에서 영어로 기계번역을 수행하는 seq2seq 모델을 직접 구현해본다.

다음의 책을 공부하며 정리한 내용입니다.

• https://wikidocs.net/24996 : seq2seq 정리
• https://wikidocs.net/22893 : 어텐션 모델 정리
• https://www.youtube.com/watch?v=c8y9ZAb9aks&t=1032s : seq2seq에서 attention까지(매우 좋음, 꼭 참고하세요)
• https://www.tensorflow.org/tutorials/text/nmt_with_attention : attention 실습

시퀀스-투-시퀀스(seq2seq)

: 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델.

이는 다음과 같은 분야에서 사용된다.

• 챗봇: 입력시퀀스와 출력시퀀스를 각각 질문/대답으로 구성하면 챗봇을 만들 수 있다.
• 기계번역: 입력시퀀스와 출력시퀀스를 입력/번역문장으로 구성하면 번역기를 만들 수 있다.
• Text Summerization, Speech to Text 등에 사용될 수 있다.

다음의 책을 공부하며 정리한 내용입니다.

• https://wikidocs.net/48649
• https://wikidocs.net/32105

케라스 공식문서

딥러닝 라이브러리 케라스의 사용법을 익히고 실제 RNN모델을 설계해본다. 케라스는 딥러닝을 도와주는 파이썬 라이브러리이다.

자연어 처리 라이브러리인 토치텍스트를 활용해 이전 포스트의 전처리 이론을 실제로 구현해보자.

토치텍스트

: 텍스트에 대한 여러 추상화 기능을 제공하는 자연어 처리 라이브러리

다음의 책을 공부하며 정리한 내용입니다.

• https://wikidocs.net/22886

자연어 처리의 전처리

자연어 처리를 위해 자연어 데이터는 일반적으로 토큰화, 단어집합생성, 정수인코딩, 패딩, 벡터화의 과정을 거친다.

다음의 책을 공부하며 정리한 내용입니다.

• https://wikidocs.net/22886

순환신경망(RNN : Recurrent Neural Network)

: RNN은 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델이다. 이때의 입력은 처리하고자 하는 문장, 즉 단어 시퀀스이며, 출력은 처리된 문장 단어 시퀀스이다.

다음의 책을 공부하며 정리한 내용입니다

• 한국어 임베딩 - 이기창
• https://wikidocs.net/21668
• https://wikidocs.net/21687
• https://wikidocs.net/21692

2장. 언어모델이란

: 자연어의 의미를 임베딩에 어떻게 녹여낼 수 있는가? 그 비결은 자연어의 통계적 패턴 을 통째로 임베딩에 넣는 것이다.

다음의 책을 공부하며 정리한 내용입니다

• 한국어 임베딩 - 이기창

1장. 임베딩이란

: 임베딩이란 자연어를 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 의미하는 용어이다.