Bonseong

Study/밑바닥부터 시작하는 딥러닝

Ch6 학습 관련 기술들

Study/밑바닥부터 시작하는 딥러닝 2021. 1. 25. 10:56

6.1 매개변수 갱신¶ 신경망 학습의 목적 : 손실 함수의 값을 가능한 낮추는 매개변수를 찾는 것 (최적화) 여태까지 미분을 통해 매개변수의 값을 갱신했음 (확률적 경사 하강법) 6.1.1 확률적 경사 하강법 (SGD)¶ In [1]: class SGD: def __init__(self, lr=0.01): self.lr = lr def update(self, params, grads): for key in params.keys(): params[key] -= self.lr*grads[key] 대부분의 딥러닝 프레임워크에서는 다양한 최적화 기법을 구현해 제공 6.1.2 SGD의 단점¶ 비등상성 함수 (방향에 따라 성질, 기울기가 달라지는 함수) 에서느 탐색 경로가 비효율적 6.1.3 모멘텀¶ 운동량을 뜻하..

Ch5 오차역전파법

Study/밑바닥부터 시작하는 딥러닝 2021. 1. 25. 08:49

5.1 계산 그래프¶ 계산 그래프 : 계산 과정을 그래프로 나타낸 것 복수의 노드와 에지로 표현 5.1.1 계산 그래프로 풀기¶ 계산 그래프를 구성 그래프에서 계산을 왼쪽에서 오른쪽으로 진행 -> 순전파 (역전파 : 오른쪽에서 왼쪽으로) 5.1.2 국소적 계산¶ 전체 계산이 아무리 복잡하더라도 각 단계에서 하는 일은 해당 노드의 국소적 계산 5.1.3 계산그래프로 푸는 이유¶ 국소적 계산 중간 계산 결과를 모두 보관할 수 있음 역전파를 통해 미분을 효율적으로 계산할 수 있음 5.2 연쇄법칙¶ 5.2.1 계산 그래프의 역전파¶ 순방향과는 반대 방향으로 국소적 미분을 곱함 5.2.2 연쇄법칙¶ 합성 함수 : 여러 함수로 구성된 함수 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수..

Ch4 신경망 학습

Study/밑바닥부터 시작하는 딥러닝 2021. 1. 19. 17:27

4.1 데이터에서의 학습¶ 학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 신경망의 특징은 데이터를 보고 학습할 수 있다는 점, 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻 4.1.1 데이터 주도 학습¶ 사람이 생각하는 알고리즘 -> 결과 사람이 생각한 특징 (SIFT, HOG 등) -> 기계학습 (SVM, KNN 등) -> 결과 신경망(딥러닝) -> 결과 4.1.2 훈련데이터와 시험 데이터¶ 훈련 데이터만 사용하여 최적의 매개변수를 찾음 시험 데이터를 통해 훈련한 모델의 실력 평가 범용적으로 사용할 수 있는 모델을 찾기 위해 오버피팅을 피해야 함 4.2 손실 함수¶ 손실 함수 : 신경망 학습에서 최적의 매개변수를 탐색하는 지표 4.2.1 오차제곱합¶ E = 1..

Ch3 신경망

Study/밑바닥부터 시작하는 딥러닝 2021. 1. 6. 15:51

퍼셉트론은 가중치를 사람이 수동으로 조정해야 함. 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력을 가짐 3.1 신경망 3.1.1 신경망의 예 구조 : 입력층, 은닉층 (사람 눈에 보이지 않음), 출력층 3.1.2 퍼셉트론 복습 y = (0 (b+w1x1+w2x20) b는 편향을 나타내는 매개변수, 뉴런이 얼마ㅏ 쉽게 활성화되느냐를 제어 w1, w2 는 신호의 가중치를 나타내는 매개변수, 각 신호의 영향력을 제어 위 식을 y=h(b+w1x1+w2x2) h(x)=0 (x0) 으로 나타낼 수 있음 입력 신호의 총 합이 h(x) 함수를 거쳐 반환되며, 그 변환된 값이 y의 출력이 됨 3.1.3 활성화 함수의 등장 활성화 함수 : 입력 신호의 총합을 출력 신호로 변환화는 함수 a=b+..

Ch2 퍼셉트론

Study/밑바닥부터 시작하는 딥러닝 2021. 1. 6. 15:44

2.1 퍼셉트론이란? 퍼셉트론 : 다수의 신호를 입력으로 받아 하나의 신호를 출력 신경망은 뉴런(Neuron)들로 이루어진 그룹을 의미 입력신호가 뉴런에 보내질 때 각각 고유한 가중치가 곱해짐 뉴런에서 보내온 신호의 총합이 정해진 한계 (임계값) 를 넘어설 때 1 출력 퍼셉트론은 각각에 고유한 가중치 부여, 가중치는 각 신호가 결과에 주는 영향을 조절하는 요소로 작용 2.2 단순한 논리 회로 2.2.1 AND 게이트 AND 게이트 : 두 입력이 모두 1일 때만 1을 출력, 그 외에는 9을 출력 2.2.2 NAND 게이트와 OR 게이트 NAND : Not AND, AND 게이트의 출력을 뒤집은 것 AND 게이트를 구현하는 매개변수의 불호를 모두 반전하면 NAND 게이트가 됨 OR 게이트 : 입력 신호 중 ..

이전 1 다음