항상 그렇지만 방법론적으로 접근한다. 진정 자신의 것으로 하기 위해서는 이론과 원리, 그 의미를 이해하고 있어야함을 잊지말자. 이번장은 특히, 한참 잡아야할 내용을 수업 한시간으로 끝내버렸으니 이론적으로 파악이 되어있지 않다.
--------------------------------------------------------------------------
앞서 확률가우시안 글을 보고왔다는 전제하에 진행한다.
위는 RBF(Radial Basis Function)network 의 도식이다.
Radial : 방사상의.
즉, 방사형 구조를 기본으로 하는 네트워크이다. 1개의 은닉층에는 앞서 배워야 하는 확률가우시안이 적용되어 있다.
RBF는 다음과 같은 특징을 가진다.
1. 은닉층이 1개이다.
2. 유클리디안 거리를 사용한다.
3. 역전파 알고리즘을 사용한다.
4. 안정성 판별이 가능하다.
RBF 네트워크의 은닉층의 값은 아래의 식으로 정해진다.
이 값은 가우시안 확률분포의 확률함수에서 지수함수 부분이다.
이것이 어떤 의미를 갖는지는 통계관련해서 따로 공부하도록 하자(본인도 잘 기억나지 않는다.)
지수함수에 의한
출력층의 값은 아래와 같다.
여기서 c는 가중치, Φ가 비선형함수로 위의 은닉층의 값이고 b가 bias이다.
훈련과정
훈련과정에서 역전파 알고리즘을 적용하고 있다.
출력과정에서 가중치 c와 bias b는 다음층에 대해서 1:1대응이다. 무슨의미냐 하면
가중치 C와 bias는 시냅스이다.
Cjk 는 j와 k의 조합에 의해 모두 다 독립된 값을 지닌다. 값은 같을수도 있지만 공유하는것 없는 독립객체인 것이다. b또한 마찬가지이다. j와는 관계없지만 k에 대해서 1:1관계를 지닌다.
이에반해 중간값 u와 표준편차 σ는 뉴런Φ안에 있다. 즉, 하나의 뉴런이 다음층의 모든 뉴런으로 공통되게 영향을 미친다.
이 차이는 역전파 알고리즘의 훈련과정에서 가중치 갱신에 차이를 만든다.
그럼 각 요소에 따른 학습식을 살펴보자
|
|
|
|
|
정규분포의 지수함수식에 의해 ∑가 들어간 결과가 나온다.
다음은 RBF와 MLP를 비교한 그래프이다. XOR에 대한 수렴속도를 측정한 것으로 압도적인 수렴속도를 보여준다.
단지 MLP와는 다르게 RBF는 Error가 증가하는 경우도 보이는데, 예상으로는 MLP는 가중치 w와 bias가 그저 줄어들도록 훈련하는데 반해 RBF의 경우 중간값 u와 표준편차 σ를 업데이트 하는 과정에서 Error가 증가하는 경우도 있는것으로 보인다.
아래는 RBF의 Class classification이다.
MLP와 RBF의 비교
|
MLP |
RBF |
Number of Hiddenlayer |
1 or more |
1 |
Nonlinear function |
Sigmoid |
Gaussian |
Data Comparison |
Vector product |
Euclidian distance |
Mathematical analysis |
Bad |
Good |
Output |
Linear or Sigmoid |
Linear |
Learning time |
Slow |
Fast |