손실함수 1
카테고리 설명
-
1. 딥러닝 학습방법각 행벡터 O를 데이터 X와 가중치 행렬 W사이의 행렬곱과 절편 b벡터의 합으로 표현해보자.화살표개수 p*d => 즉 W 벡터임을 알수 있다. 학습을 하는 경우에는 softmax가 필요하고, 추론을 할때는 softmax가 굳이 필요하지 않고 one-hot벡터가 필요. 활성 함수 : 실수위에 정의된 비선형 함수로 딥러닝에서 중요한 개념시그모이드 함수나 tanh함수는 전통적으로 많이쓰이던 활성함수지만 딥러닝에선 ReLU함수를 많이 쓰고 있다. 층을 여러개 쌓는 이유층이 깊을수록 목적함수를 근사하는데 필요한 뉴런의 숫자가 훨씬 빨리 줄어들어 좀 더 효율적으로 학습이 가능층이 얇을수록 필요한 뉴런의 기하급수적으로 늘어나 넓은 신경망이 되어야 한다. 딥러닝 학습원리: 역전파 알고리즘 2...
