Deep Learning with RNN

최근 딥러닝의 꽃으로 불리는 RNN(Recurrent Neural Network)의 개념과 그 탄생 과정을 살펴보고 구조적인 특성을 이해하면서 자연어 처리 방법과 솔루션 구현 방법을 학습합니다.

교육목표

• RNN의 구조적 특성과 LSTM 개념을 설명할 수 있습니다.
• Time Sequence 적용 분야에 적합한 입력 데이터를 구성할 수 있습니다.
• 구축한 모델을 TensorFlow 및 Keras로 구현할 수 있습니다.
• 하이퍼파라미터 튜닝으로 손실함수를 조절할 수 있습니다.
• 변형 혹은 진보된 RNN 딥러닝 모델을 설계할 수 있습니다.

​참가 대상자 ​(Python 파이썬 사용이 가능한 분)

• 딥러닝으로 Sequence Data 구현을 추진하는 분
• 딥러닝 자연어 처리에 관심 있는 개발자
• 봇 트레이딩 사업을 추진하는 경영자
• TensorFlow/Keras – RNN 개발을 추진하는 개발자

​권장 교육시간: 1일 7시간 x 5일 = 35시간

• 실습 중심으로 진행
• 개인 및 팀 협업에 의해 개발 실습

주요 내용

• RNN의 구성과 Time Series Data
• Simple RNN, LSTM, GRU구조를 이해하고 구현
• RNN구성 요소와 기능적인 메커니즘
• RNN 응용분야 – NLP/자연어처리에 대한 실습

시간표

1일차

RNN의 개념과 모델 

• RNN(Recurrent Neural Network) 모델의 컨셉과 구조
  
• RNN에 적합한Time Series문제들과 응용 분야

RNN과 Stochastic Time Series 

• Sequence Data(주가, 음악, 문장, 단어, 보이스...) - Time Series 학습을 위한 RNN설계
• 일정 주기로 나타나는 패턴 인식을 위해 순차적인 수열의 형태로 표현하는 방법
• CNN의 Forward Cell과 다른 Recurrent Cell의 구조와 구성 방법
• One-Hot-Encoding과 Word Embedding

Vanishing Gradient / Down Sampling

• TensorFlow를 이용한 RNN구성과 입력 벡터
• RNN 모델에서 자주 나타나는 Vanishing/Exploding Gradient 문제와 해법
• 신경망 내부의 가중치와 활성 함수(Activation Function)를 통합적으로 튜닝 할 수 있는 효율적인 방법

2일차

LSTM and GRU

• RNN 효율화를 위한 LSTM과 GRU 모델
• Embedding Layer, LSTM, GRU 각 레이어의 특성과 신경망 내부에 추가하는 방법
• Vanishing 문제에 효과적으로 대응 하기 위한 활성 함수 튜닝 방법

글자 및 단어의 One-Hot-Encoding 방법 

• One-Hot-Encoding 방법론
• RNN 신경망에서 역할과 일반 문제에 적용하는 방법
• Tensorflow / Keras를 이용한 RNN구현

단어 임베딩 방법 

• 자연어 처리의 근간인 Word Embedding 이해와 사용법
• 적용할 문제 특성에 따른 변화 설정
• Tensorflow / Keras를 이용한 구현
• One-Hot-Encoding과 비교

3일차

GENSIM, Word2Vec, Doc2Vec, FastText

• 밀로코프(Milokov)에 의해 시작된 Word2Vec와 스탠포드대학(Stanford Univ.)의 연구 GloVe에 대한 이해
  
• 머신러닝 기법으로 연구한 NLTK, GENSIM의 시스템과 RNN/Keras 와 비교

텐서플로우/케라스를 이용한 WORD-RNN 구현 

• Kears를 이용하여 자연어 처리의 기본인 WORD-RNN 구성
• 학습에 필요한 Hyperparameters와 Sequence Data 와 토큰 사이즈의 관계
• 이미지 처리를 위한 CNN과 비교하고 RNN 모델 구성에 응용하는 방법

4일차

MNIST 데이터를 이용한 자연어처리 실습

• MNIST 데이터를 이용해 글자 및 단어 예측 RNN구성

convnets를 이용한 시컨스 프로세싱

• CNN을 이용한 Time Series 데이터 처리 후 RNN구현과 비교하기

5일차

LSTM을 이용한 텍스트 생성

• RNN이 변형 발전된 LSTM을 이용해서 텍스트 생성 프로그램 개발하기
• Hyperparameters 튜닝을 살피면서  결과 분석

RNN을 이용한 기온 예측 모델

• NLP 데이터 보다 복잡성을 포함하는 기상온도 예측 RNN구축하기
• Dropout을 사용해 신경망의 Overfitting을 방지하는 방법
• Stacked-RNN 구현
  
• 양방향 RNN을 구축