1강.신경망의 개요
기호 인공지능
연결주의 인공지능 → 배울거
인공 신경망
인간과 동물의 두뇌를 구성하는 신경 시스템의 원리를 바탕으로 설계된 계산 시스템
1943년 임계치 논리 라는 알고리즘을 바탕으로 한 신경망 계산 모델
1949년 도널드 헵이 헵의 학습 이론 제시
1957년 프랭크 로젠블이 퍼셉트론 학습 모델 제안 ?
마크 1 퍼셉트론
당시에 큰 관심 끔
당시에 마빈 민스카이 는 한계를 지적함 (1969년) XOR도 해결 못한다 해서 찬물을 끼얹음
1974년 1986년 폴 워버스 , 데이비드 등에 의해 다층 퍼셉트론 구조의 학습 방법 발표됨
역전파 알고리즘 → 근간이됨
신경망의 층과 표현력
한개의 층만으로 인식할때
인식율이 떨어짐
여러개의 층으로 인식할때
중간에 있는게 뉴런역할
중간층에 있는것 덕분에 인식율이 더 높아짐
많은 층으로 구성하면 더욱 높은 차원의 표현 가능함
→ 심층 신경망
딥러닝은?
심층 신경망을 학습하기 위해 활용되는 기계학습 알고리즘
데이터가 많이 필요함
불안정한 경사 문제
과적합 문제
방대한 계산량
신경망의 기본구조
인공 뉴런 (빨간 박스가 뉴런역할)
u라는 입력을 뭔가 조건을 거쳐서 출력해줌 활성함수가
0보다 작으면 출력을 억제하고 0보다 크면 출력을 내도록 설계함
저 바이어스에 따라 활성함수를 거칠때 활성화 되는지 안되는지 조정됨
출력이 -0.5 인데 b가 1이면 0.5로 출력되니까 활성화 되겠지
계단함수
미분이 안되는 한계로 초기에나 쓰고 안쓰는 함수
시그모이드 함수
S자 형태라 미분가능함 → 미분이 가능하다는건 매우 유용함
층의 깊이가 깊어지면 경사 소멸이라는 문제가 생긴다함
대표는 로지스틱 함수
ReLU
0일때 미분불가
Dying ReLU 죽어있는 상태의 뉴런이 된다?
ReLU의 변형
Leaky ReLU
PReLU
GELU
Swish
단층 피드포워드 신경망
입력층에서 출력층 방향으로 뉴런 층의 연결이 이루어지는 구조
하나의 층으로 구성됨
지도학습 방식
입력과 레이블(출력)
학습 대상 파라미터
입력이 뉴런에 전달되는 연결의 가중치(W)
바이어스(b)
퍼셉트론의 학습
파라미터 초기화
모든 학습표본을 대상으로 파라미터 업데이트 반복
피셔의 붓꽃 데이터 집합
실습 프로그램 구성
prepare_data(target)특징 : 꽃잎의 길이와 폭
레이블 : target 에 지정된 종류의 붓꽃이면 1 그외면 0
step(x)단위 계단 함수 : 0이상이면 1 그렇지 않으면 0
visualize(...)결과의 그래프를 출력하는 시각화 함수
파라미터
net : 학습된 퍼셉트론
x,y : 특징 및 레이블의 배열
multi_class : 3개 이상의 클래스로 분류하는 경우 true
labels : 클래스 레이블 리스트
class_id : 클래스 이름을 출력할 스트링 리스트
colors : 클래스를 구분할 색상 리스트
xlabel, ylabel : x,y 축에 표시할 레이블
legend_loc : 범례를 표시할 위치
class Perceptron클래스 선언퍼셉트론 객체를 만들기 위한 클래스
인스턴스 변수
self.dim : 입력층 입력의 수
self.activation : 활성함수
self.w : 가중치
self.b : 바이어스
메서드 목록
init : 초기화
printW(self) : 가중치 및 바이어스 값 출력
predict(self,x) : 입력표본 x에 대한 퍼셉트론의 출력
fit(self, X, y, N, ephocs, eta=0.01) : 주어진 학습표본 집합을 이용해 퍼셉트론 객체를 훈련함
라이브러리
matplotlib.pyplot : 시각화를 하기위한 함수들이 제공됨
numpy : 파이썬에서 많이 사용됨 여러 수학적인 계산
sklearn.datasets : 여러 데이터 제공
3 : 0부터 3까지 있는데 2부터 끝까지(3까지) 뽑아서 슬라이스 함
5 : target 엔 0, 1, 2 값이 있음 (setosa 부터 0)
10 : 레이블값이 타겟과 같으면 1 true 틀리면 0 false
7,8 : 난수를 만들어서 초기화
활성함수식 사용함
이제 섞고 반복시켜서 학습 시킴
loss 값은 0에 가까워야 정확함
데이터의 최소 최대 범위를 좌표값으로 나타냄
가로 꽃잎길이 세로 꽃잎의 폭
어느 부분이 setosa에 포함되는지 범위를 볼수있음
이제 훈련을 시키고 시각화를 시킴
가중치의 초기값이 달라서 매번 실행할 때마다 좀 다를수 있음
분류는 잘 되는데 경계의 형태는 좀 달라짐
퍼셉트론은 단위 계단 함수를 사용하기 때문에 일반화 오류가 발생할 여지가 크다
정리하기
인공신경망은 인간과 동물의 두뇌를 구성하는 생물학적 신경 시스템의 원리를 바탕으로 설계된 계산 시스템이다
신경망을 많은 수의 층으로 구성하면 더욱 높은 차원의 표현을 할 수 있다
딥러닝은 심층 신경망을 학습하기 위해 활용되는 기계학습 알고리즘이다
기본적인 뉴런의 구조는 다수의 입력이 각각 가중치를 적용하여 전달되면 이를 합산한 후 활성함수를 거쳐 출력을 만들어 내는 형태이다
일반적인 활성함수는 비선형 특성을 갖는 함수이며 입력이 0보다 작으면 출력을 억제하고 0보다 크면 출력을 내는 역할을한다
피드포워드 신경망은 입력층에서 출력층방향으로 뉴런 층의 연결이 이루어지는 구조이다
단층 퍼셉트론은 특정 공간을 선형 결정경계로 분할할 수 있다
연습문제
아래와 같은 수학문제가 나올수도 있다
Last updated