bntree
  • 인기과정
  • 맞춤교육
  • 강사양성
  • 블로그

Deep Learning with RNN

12/20/2018

0 댓글

 
최근 딥러닝의 꽃으로 불리는 RNN(Recurrent Neural Network)의 개념과 그 탄생 과정을 살펴보고 구조적인 특성을 이해하면서 자연어 처리 방법과 솔루션 구현 방법을 학습합니다.

교육목표

  • RNN의 구조적 특성과 LSTM 개념을 설명할 수 있습니다.
  • Time Sequence 적용 분야에 적합한 입력 데이터를 구성할 수 있습니다.
  • 구축한 모델을 TensorFlow 및 Keras로 구현할 수 있습니다.
  • 하이퍼파라미터 튜닝으로 손실함수를 조절할 수 있습니다.
  • 변형 혹은 진보된 RNN 딥러닝 모델을 설계할 수 있습니다.

​참가 대상자 ​(Python 파이썬 사용이 가능한 분)

  • 딥러닝으로 Sequence Data 구현을 추진하는 분
  • 딥러닝 자연어 처리에 관심 있는 개발자
  • 봇 트레이딩 사업을 추진하는 경영자
  • TensorFlow/Keras – RNN 개발을 추진하는 개발자

​권장 교육시간: 1일 7시간 x 5일 = 35시간

  • 실습 중심으로 진행
  • 개인 및 팀 협업에 의해 개발 실습

주요 내용

  • RNN의 구성과 Time Series Data
  • Simple RNN, LSTM, GRU구조를 이해하고 구현
  • RNN구성 요소와 기능적인 메커니즘
  • RNN 응용분야 – NLP/자연어처리에 대한 실습

시간표

1일차

RNN의 개념과 모델 
  • RNN(Recurrent Neural Network) 모델의 컨셉과 구조
  • RNN에 적합한Time Series문제들과 응용 분야
RNN과 Stochastic Time Series 
  • Sequence Data(주가, 음악, 문장, 단어, 보이스...) - Time Series 학습을 위한 RNN설계
  • 일정 주기로 나타나는 패턴 인식을 위해 순차적인 수열의 형태로 표현하는 방법
  • CNN의 Forward Cell과 다른 Recurrent Cell의 구조와 구성 방법
  • One-Hot-Encoding과 Word Embedding
Vanishing Gradient / Down Sampling
  • TensorFlow를 이용한 RNN구성과 입력 벡터
  • RNN 모델에서 자주 나타나는 Vanishing/Exploding Gradient 문제와 해법
  • 신경망 내부의 가중치와 활성 함수(Activation Function)를 통합적으로 튜닝 할 수 있는 효율적인 방법

2일차

LSTM and GRU
  • RNN 효율화를 위한 LSTM과 GRU 모델
  • Embedding Layer, LSTM, GRU 각 레이어의 특성과 신경망 내부에 추가하는 방법
  • Vanishing 문제에 효과적으로 대응 하기 위한 활성 함수 튜닝 방법
글자 및 단어의 One-Hot-Encoding 방법 
  • One-Hot-Encoding 방법론
  • RNN 신경망에서 역할과 일반 문제에 적용하는 방법
  • Tensorflow / Keras를 이용한 RNN구현
단어 임베딩 방법 
  • 자연어 처리의 근간인 Word Embedding 이해와 사용법
  • 적용할 문제 특성에 따른 변화 설정
  • Tensorflow / Keras를 이용한 구현
  • One-Hot-Encoding과 비교

3일차

GENSIM, Word2Vec, Doc2Vec, FastText
  • 밀로코프(Milokov)에 의해 시작된 Word2Vec와 스탠포드대학(Stanford Univ.)의 연구 GloVe에 대한 이해
  • 머신러닝 기법으로 연구한 NLTK, GENSIM의 시스템과 RNN/Keras 와 비교
텐서플로우/케라스를 이용한 WORD-RNN 구현 
  • Kears를 이용하여 자연어 처리의 기본인 WORD-RNN 구성
  • 학습에 필요한 Hyperparameters와 Sequence Data 와 토큰 사이즈의 관계
  • 이미지 처리를 위한 CNN과 비교하고 RNN 모델 구성에 응용하는 방법

4일차

MNIST 데이터를 이용한 자연어처리 실습
  • MNIST 데이터를 이용해 글자 및 단어 예측 RNN구성
convnets를 이용한 시컨스 프로세싱
  • CNN을 이용한 Time Series 데이터 처리 후 RNN구현과 비교하기

5일차

LSTM을 이용한 텍스트 생성
  • RNN이 변형 발전된 LSTM을 이용해서 텍스트 생성 프로그램 개발하기
  • Hyperparameters 튜닝을 살피면서  결과 분석
RNN을 이용한 기온 예측 모델
그림
  • NLP 데이터 보다 복잡성을 포함하는 기상온도 예측 RNN구축하기
  • Dropout을 사용해 신경망의 Overfitting을 방지하는 방법
  • Stacked-RNN 구현
  • 양방향 RNN을 구축
0 댓글



답글을 남겨주세요.

    카테고리

    모두
    AI
    Blockchain
    Business
    Creative
    Technology

    교육문의

    교육개발운영, 강사섭외, 임원코칭에 대한 문의는 talk@bntree.com으로 연락주세요.
    ​

    RSS 피드

제공 사용자 정의할 수 있는 템플릿을 사용하여 자신만의 웹사이트를 만들어 보세요.
  • 인기과정
  • 맞춤교육
  • 강사양성
  • 블로그