Neural Network (CNN, RNN, LSTM, BiLSTM)

CNN(Convolution Neural Network), 합성곱 신경망

수면 알고리즘에 관한 논문을 검색하면, 대부분 CNN을 활용한 분류 방법이 나온다. 

 

이 신경망은 입력이 '이미지'로 구성돼 있다는 점을 활용한다.

일반 신경망과 달리 CNN의 레이어에는 너비, 높이, 깊이로 3차원 배열된 뉴런이 있다. 

"깊이" : 전체 신경망의 깊이가 아닌, 활성화 볼륨의 3차원을 의미하며, 네트워크의 총 레이어 수를 나타낼 수 있음.

한 레이어의 뉴런은 모든 뉴런이 완전히 연결된 방식이 아니라, 그 앞에 있는 레이어의 작은 영역에만 연결됨. 

처읍 입력 이미지가 32*32*3이면 -> 최종 출력 레이어의 크기는 1*1*10이 되는데,

Convent 아키텍처의 마지막에는 full image를 깊이 dimension을 따라 배열된 single vector of class scores로 변환. 

 

간단한 ConvNet -> sequence of layers임.

모든 레이어는 차별화 가능한 기능을 통해, 한 볼륨의 활성화를 다른 볼륨으로 변환함. 

세 가지 주요 유형의 주요 레이어를 사용해 아키텍쳐 구축

Convolution Layer - Pooling Layer - Fully Connected Layer

[INPUT - CONV - RELU - POOL - FC]

 

원본 픽셀 값에서 최종 클래스 scores로 원본 이미지를 레이어별로 변환하는 것.

일부 레이어에는 매개 변수가 포함돼 있고, 그렇지 않은 레이어도 존재.

특히, CONV/FC 레이어는 입력 볼륨의 활성화뿐만 아니라, 매개변수(뉴런의 weight와 biases)의 함수인 변환을 수행.

반면, RELU/POOL 레이어는 고정된 함수를 구현. CONV/FC 레이어의 파라미터는 gradient descent로 훈련되어,

ConvNet이 계산한 class scores가 각 이미지의 training set에서의 label과 일치함.

 

CNN 아키텍쳐에도 다양한 종류가 있음. ImageNet, AlexNet, VGG 16,19, GoogLeNet, ResNet, SENet

 

 

 

RNN(Recurrent Neural Network), 순환 신경망

가변 길이의 순차적 혹은 시계열 데이터를 사용하는 딥러닝 아키텍쳐 

 

순차 데이터란 : 순차적 구성 요소가 복잡한 의미와 규칙에 따라 상호 연관되는 데이터

이때, Image Caption을 하려면 Image -> Sequence of words (one to many) 방법을 취하고,

action prediction이 필요할 경우, sequence of video frames -> action class (many to one) 방법을 취함.

for video captioning, sequence of video frames -> caption (many to many) 방법. 

수면 분류 알고리즘의 경우 두번 째이지 않을까. 

 

RNN = internal state (시퀀스 진행하는 동안 업데이트)

 

몇몇 시간 단계에서 old state에 input vector값을 집어 넣어 parameters W를 사용하는 함수에 집어넣어 돌리고,

new state을 얻는 식이다. (new state = f(old state, xt)

 

 

 

LSTM(Long Short Term Memory Network) 

RNN이 가진 long-term dependencies를 해결하는 방법

 

RNN은 현재 정보에 대한 이해를 위해 이전 정보를 활용할 수 있게 한다. 

그런데 현재 단계에서 필요한 정보가 초기 단계 혹은 먼 과거의 단계에서의 정보라면? 격차가 커지면 정보 연결성이 부족하다.

그래서 그 장기 의존성 문제를 해결하기 위해 나온게 LSTM 네트워크

 

기본적인 틀 자체는 RNN처럼 순차 데이터를 연결~연결~해서 전달하는 구조인데,

[Cell State - 선형적인 상호작용만 적용하면서, 일정한 정보를 그대로 전달하는 상태] - 맨 위 라인

[Forget Gate Layer - 과거의 정보를 버릴 지 결정해서 쳐내는 부분] - 아래에서 첫번째 세로 라인

[Input Gate Layer - 현재의 cell state value에 얼마를 더할지] - 아래 두번째 세로 라인

[Update Gate - forget gate를 통과한 값 정보 & input gate를 통과한 값 정보를 활용해 update] - 아래 세번째

[Output Gate - 최종값] 구조를 추가하여, 과거 데이터를 좀 더 체계적으로 평가하고 저장하여 사용할 수 있다.

 

 

 

Bi-LSTM(Bidirectional LSTM)

정방향 학습 진행 과정에서, 마지막 노드에서 뒤to앞 (역방향)으로 실행되는 다른 LSTM을 추가한 것

 

역방향으로 정보를 전달하는 hidden layer을 추가하기 때문에, 각 시점에서 hidden state가 이전 시점 & 미래 시점의 정보를 모두 갖는 효과가 있음. 

 

---

참고

http://cs231n.stanford.edu/schedule.html

Stanford University CS231n: Deep Learning for Computer Vision

https://colah.github.io/posts/2015-08-Understanding-LSTMs/

Understanding LSTM Networks -- colah's blog

https://sirzzang.github.io/ai/AI-01-LSTM-04/

[DL] LSTM_4.양방향 모델 아키텍쳐 및 구현