Neuron Network Model

단일 입력 뉴런 (Single input neuron)

입력이 1개인 뉴런

a = f(w * p + b)

• a: 뉴런 출력 (축삭 신호)
• p: 입력 (Scala or Matrix)
• bias: 또 다른 입력의 편향
• weight: 가중치 (시냅스 강도)
• f: 전달/활성 함수

예를 들어 weight = 3, p = 2, b = -1.5 일 때, a = f(3 * 2 - 1.5) = f(4.5) 로 출력된다.

 

다중 입력 뉴런 (Multiple input neuron)

입력이 2개 이상인 뉴런

a = f(W * p + b)

• Weight: 가중치 행렬

개별 입력 p1, p2,... 에 대응하는 각각의 가중치 w 존재

일 때 

 

로 표현할 수 있다.

 

 

계층

• 출력 계층 (output layer)
• 은닉 계층 (hidden layer)

1~2번째 은닉계층과 3번째 출력계층으로 이뤄진 네트워크

• 순환 계층 (recurrent layer)

순환망 (recurrent network) 은 피드백이 있는 네트워크이므로, 피드포워드 (feedforward) 네트워크보다 강력하며 시간적 행동을 보여줄 수 있다.

 

전달함수 종류

 

1. 하드 리밋 (Hard Limit)

2. 대칭 하드 리밋 (Symmetrical Hard Limit)

3. 선형 (Linear)

4. 포화 선형 (Saturating Linear)

5. 대칭 포화 선형 (Symmetric Saturating Linear)

6. 로그-시그모이드 (Log-Sigmoid)

7. 하이퍼볼릭 탄젠트 시그모이드 (Hyperbolic Tangent Sigmoid)

8. 양의 선형 (Positive Linear)

9. 경쟁 (Competitive)

 

입력 2개의 뉴런 파라미터가 $$ b=1.2, W=\begin{bmatrix}
3 & 2 \\
\end{bmatrix}, p=\begin{bmatrix}
-5 & 6 \\
\end{bmatrix}^T $$ 인 경우 네트 입력은 $$ n=Wp+b=\begin{bmatrix}
3 & 2 \\
\end{bmatrix}\begin{bmatrix}
-5 \\ 6
\end{bmatrix}+(1.2)=-1.8 $$ 로 계산되고, 뉴런 출력은

• 대칭 하드 리밋 전달 함수: $$ a=hardlims(-1.8)=-1 $$
• 포화 선형 전달 함수: $$ a=satlin(-1.8)=0 $$
• 하이퍼볼릭 탄젠트 시그모이드 전달 함수: $$ a=tansig(-1.8)=-0.9468 $$

등으로 구할 수 있다.

 

피드포워드 네트워크의 이진 패턴 인식에는 경계 값에 따라 분류를 하는 과정에서 애매한 경우 정확도가 떨어질 수 있는 문제가 있다. 이를 보완한 것이 해밍 (hamming) 네트워크와 홉필드 (hopfield) 네트워크이다.

 

해밍 네트워크는 피드포워드 계층과 순환 계층을 모두 이용한다.

피드포워드 계층에서는 프로토타입 벡터와 입력 벡터의 닮음 정도 (내적) 에 편향 벡터를 더해 값이 절대 음수가 되지 않게 함으로써 순환 계층이 적절히 작동하도록 한다. 순환 계층은 경쟁 계층으로, 피드포워드 계층 출력에 가중 행렬을 곱하는 과정을 반복한다. 가중 행렬은 아래와 같은 형태를 갖는다.

$$ W^2=\begin{bmatrix}
1 & -\varepsilon  \\
-\varepsilon  & 1 \\
\end{bmatrix} $$ 

Epsilon은 1/(S-1)보다 작은 숫자이며, S는 순환 계층에서 뉴런의 수다.

그림과 같이 포드피워드 계층 출력과 가중 행렬의 내적을 구하게 되면, 각 요소는 다른 요소의 동일 비율만큼 감소하게 된다.

• 큰 요소는 작게 감소하고 작은 요소는 크게 감소함으로써 큰 요소와 작은 요소 간의 차이가 커질 것이다.

순환 계층의 효과는 가장 큰 값 (입력과 해밍 거리가 가장 가까운 프로토타입 패턴에 해당) 을 갖는 뉴런을 제외하고 모든 뉴런은 0을 출력한다.

 

해밍 네트워크는 선택한 프로토타입 패턴을 출력이 0이 아닌 뉴런으로 나타내는 반면, 홉필드 네트워크는 선택한 프로토타입 패턴을 출력한다.

홉필드 네트워크는 입력 벡터로 뉴런을 초기화하며 출력이 수렴될 때까지 반복한다. 해밍 네트워크는 피드포워드 계층의 가중치가 프로토타입 패턴이었던 반면, 홉필드 네트워크는 가중치 형렬과 편향 벡터를 설계해야 하기 때문에 비교적 복잡하게 느껴진다.