본문 바로가기

오류역전파

Hand-written Recognizer with BP : 도형인식 데모 BP 학습 알고리즘 테스트 용으로 만든 Hand-written Recognizer. 마우스를 사용하더라도, 붓으로 쓰는 것 처럼 획의 굵기를 조절하는 알고리즘을 구현해 봤는데 괜찮은지 모르겠다. 세모(△), 네모(□), 점(●), 곱표(X) 등 네 개의 모양에 대해 테스트 한 결과, 만족할만한 성능을 발휘. 몇몇가지 버그들을 수정한 다음 본격적으로 다양한 모양, 문자 등에 대한 학습도 진행해 보아야 겠다.
BP 학습법의 문제점과 해결 방법 [ 문제점 ] 1. 학습 알고리즘이 지역 최소점에 빠질 가능성 2. 학습 알고리즘이 포화영역에서는 잘 동작하지 않는 점(시뮬레이션 초기에는 연결강도의 값은 대개 0 부근의 값으로 초기화되지만, 시뮬레이션이 진행됨에 따라 연결강도는 점점 커져 포화형 함수 f의 입력 레벨도 크게 변화되어 사실상 계단함수로 동작. 즉, 대부분의 뉴런이 f'가 거의 0인 포화영역에서 동작) 3. 학습이 완료되기 까지 많은 횟수의 반복학습 필요 4. 응용분야에 따라 학습 파라미터의 조절이 필요 5. 추가 학습시 전체적인 재학습이 필요 6. 학습 완료시점 예측 불가능 문제점 3, 4에 대한 [ 해결방법 ] 1. 일괄수정법 Backpropagation 학습 알고리즘은 매 학습패턴 입력시 마다 오차를 계산하여 연결강도와 임계값을 수정..