전체 글

1. Introduction to PyTorch Pytorch : Dynamic Computation GraphTensorFlow: Define and Runcf) Define and Run: 그래프를 먼저 정의 -> 실행시점에 데이터 feedcf) Define by Run: 실행을 하면서 그래프를 생성하는 방식 Define by Run의 장점: 즉시 확인 가능, pythonic codeGPU support, Good API and Community, 사용하기 편함, TensorFlow는 production 과 scalability의 장점이 있다.PyTorch의 장점 (Numpy, AutoGrad, Function)numpy구조를 가지는 Tensor 객체로 array 표현, 자동미분 지원 DL연산 지원,..

5. CNN 첫걸음 Convoultion 연산  6. RNN 첫걸음 시퀀스 데이터: 소리, 문자열, 주가 등의 데이터를 시퀀스 데이터로 분류시퀀스 데이터는 독립동등분포 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 된다. 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부 확률을 이용할 수 있다. 위 조건부 확률은 과거의 모든 정보를 사용하지만 시퀀스 데이터를 분석할 때 모든 과거 정보들이 필요한 것은 아니다.고정된 길이 타우 만큼의 시퀀스를 사용하는 경우 -> 자기회귀모델 이전 직전 정보, 잠재변수 -> 고정된 길이의 모델을 사용 그렇지만 과거의 잠재변수를 어떻게 ?-> 순환신경망 RNN RNN (Recurrent Neur..

3. 통계학 맛보기 강의 목표모수의 개념과 모수를 추정하는 방법으로 최대가능도 추정법을 소개정규분포, 카테고리분포에서의 예제로 최대가능도 추정법을 설명 표본분포와 표집분포, 가능도(likelihood)와 확률 등 헷갈릴 수 있는 개념들이 많이 소개되므로 각각의 정확한 의미와 차이점 최대가능도 추정법을 통해서 정답에 해당하는 확률분포와 모델이 추정하는 확률분포의 거리를 최소화함으로써 모델을 학습시킬 수 있으며, 이 원리는 딥러닝/머신러닝에서 아주 유용하게 사용되기 때문에 확실하게 이해하셨으면 좋겠습니다. 모수데이터가 특정 확률분포를 따른다고 선험적으로 가정후 그 분포를 결정하는 모수를 추정하는 방법을 모수적 방법론특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌면 비..

1. 딥러닝 학습방법각 행벡터 O를 데이터 X와 가중치 행렬 W사이의 행렬곱과 절편 b벡터의 합으로 표현해보자.화살표개수 p*d => 즉 W 벡터임을 알수 있다.   학습을 하는 경우에는 softmax가 필요하고, 추론을 할때는 softmax가 굳이 필요하지 않고 one-hot벡터가 필요. 활성 함수 : 실수위에 정의된 비선형 함수로 딥러닝에서 중요한 개념시그모이드 함수나 tanh함수는 전통적으로 많이쓰이던 활성함수지만 딥러닝에선 ReLU함수를 많이 쓰고 있다.  층을 여러개 쌓는 이유층이 깊을수록 목적함수를 근사하는데 필요한 뉴런의 숫자가 훨씬 빨리 줄어들어 좀 더 효율적으로 학습이 가능층이 얇을수록 필요한 뉴런의 기하급수적으로 늘어나 넓은 신경망이 되어야 한다. 딥러닝 학습원리: 역전파 알고리즘 2...

접선의 기울기를 이용해 함수의 최솟값으로 점을 이동시키는 원리를 바탕으로 경사하강법의 알고리즘과 수식을 이해해보자.변수가 벡터인 경우, 편미분을 통해 구한 그래디언트 벡터를 d-차원으로 경사하강법을 확장할 수 있다는 개념을 알아보자.  접선의 기울기를 이용해 함수의 최솟값으로 점을 이동시키는 원리를 바탕으로 경사하강법의 알고리즘과 수식을 이해해보자.변수가 벡터인 경우, 편미분을 통해 구한 그래디언트 벡터를 d-차원으로 경사하강법을 확장할 수 있다는 개념을 알아보자. 미분값을 더하면 경사상승법이라 하며 함수의 극대값의 위치를 구할때 사용한다. -> 목적함수를 최대화 할때미분값을 빼면 경사하강법이라 하며 함수의 극소값의 위치를 구할때 사용한다. -> 목적함수를 최소화 할때경사상승/경사하강 방법은 극값에 도달..