1.1 인터넷이란 무엇인가?위의 질문을 답하기 위한 방법으로는 다음과 같이 두 가지로 존재한다.인터넷을 구성하는 기본적인 하드웨어 & 소프트웨어 구성요소에 대한 기술 (1.1.1)분산 애플리케이션에 서비스를 제공하는 네트워킹 인프라스트럭처 관점에서의 인터넷을 기술 (1.1.2)1.1.1 구성 요소로 본 인터넷아래의 그림은 인터넷의 구성요소를 나타낸 것이다. 인터넷(Internet)Network of Network전 세계적으로 수십억 개의 컴퓨팅 장치를 연결하는 컴퓨터 네트워크 호스트(host), 종단 시스템(end system)컴퓨터 네트워크에 연결된 컴퓨팅 장치e.g., 서버 (데스크탑 PC, 리눅스 워크스테이션, 웹페이지 등), 인터넷에 연결된 모든 인터넷 ‘사물들’ (TV, 스마트 워치 등)통신 링..
1. Introduction to PyTorch Pytorch : Dynamic Computation GraphTensorFlow: Define and Runcf) Define and Run: 그래프를 먼저 정의 -> 실행시점에 데이터 feedcf) Define by Run: 실행을 하면서 그래프를 생성하는 방식 Define by Run의 장점: 즉시 확인 가능, pythonic codeGPU support, Good API and Community, 사용하기 편함, TensorFlow는 production 과 scalability의 장점이 있다.PyTorch의 장점 (Numpy, AutoGrad, Function)numpy구조를 가지는 Tensor 객체로 array 표현, 자동미분 지원 DL연산 지원,..
5. CNN 첫걸음 Convoultion 연산 6. RNN 첫걸음 시퀀스 데이터: 소리, 문자열, 주가 등의 데이터를 시퀀스 데이터로 분류시퀀스 데이터는 독립동등분포 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 된다. 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부 확률을 이용할 수 있다. 위 조건부 확률은 과거의 모든 정보를 사용하지만 시퀀스 데이터를 분석할 때 모든 과거 정보들이 필요한 것은 아니다.고정된 길이 타우 만큼의 시퀀스를 사용하는 경우 -> 자기회귀모델 이전 직전 정보, 잠재변수 -> 고정된 길이의 모델을 사용 그렇지만 과거의 잠재변수를 어떻게 ?-> 순환신경망 RNN RNN (Recurrent Neur..
3. 통계학 맛보기 강의 목표모수의 개념과 모수를 추정하는 방법으로 최대가능도 추정법을 소개정규분포, 카테고리분포에서의 예제로 최대가능도 추정법을 설명 표본분포와 표집분포, 가능도(likelihood)와 확률 등 헷갈릴 수 있는 개념들이 많이 소개되므로 각각의 정확한 의미와 차이점 최대가능도 추정법을 통해서 정답에 해당하는 확률분포와 모델이 추정하는 확률분포의 거리를 최소화함으로써 모델을 학습시킬 수 있으며, 이 원리는 딥러닝/머신러닝에서 아주 유용하게 사용되기 때문에 확실하게 이해하셨으면 좋겠습니다. 모수데이터가 특정 확률분포를 따른다고 선험적으로 가정후 그 분포를 결정하는 모수를 추정하는 방법을 모수적 방법론특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌면 비..
1. 딥러닝 학습방법각 행벡터 O를 데이터 X와 가중치 행렬 W사이의 행렬곱과 절편 b벡터의 합으로 표현해보자.화살표개수 p*d => 즉 W 벡터임을 알수 있다. 학습을 하는 경우에는 softmax가 필요하고, 추론을 할때는 softmax가 굳이 필요하지 않고 one-hot벡터가 필요. 활성 함수 : 실수위에 정의된 비선형 함수로 딥러닝에서 중요한 개념시그모이드 함수나 tanh함수는 전통적으로 많이쓰이던 활성함수지만 딥러닝에선 ReLU함수를 많이 쓰고 있다. 층을 여러개 쌓는 이유층이 깊을수록 목적함수를 근사하는데 필요한 뉴런의 숫자가 훨씬 빨리 줄어들어 좀 더 효율적으로 학습이 가능층이 얇을수록 필요한 뉴런의 기하급수적으로 늘어나 넓은 신경망이 되어야 한다. 딥러닝 학습원리: 역전파 알고리즘 2...
접선의 기울기를 이용해 함수의 최솟값으로 점을 이동시키는 원리를 바탕으로 경사하강법의 알고리즘과 수식을 이해해보자.변수가 벡터인 경우, 편미분을 통해 구한 그래디언트 벡터를 d-차원으로 경사하강법을 확장할 수 있다는 개념을 알아보자. 접선의 기울기를 이용해 함수의 최솟값으로 점을 이동시키는 원리를 바탕으로 경사하강법의 알고리즘과 수식을 이해해보자.변수가 벡터인 경우, 편미분을 통해 구한 그래디언트 벡터를 d-차원으로 경사하강법을 확장할 수 있다는 개념을 알아보자. 미분값을 더하면 경사상승법이라 하며 함수의 극대값의 위치를 구할때 사용한다. -> 목적함수를 최대화 할때미분값을 빼면 경사하강법이라 하며 함수의 극소값의 위치를 구할때 사용한다. -> 목적함수를 최소화 할때경사상승/경사하강 방법은 극값에 도달..
https://www.boostcourse.org/ai100/lecture/739176 인공지능 기초 다지기 (부스트캠프 AI Tech 7기 프리코스)부스트코스 무료 강의www.boostcourse.org강의를 보고 정리한 내용이며, 모르는 내용을 위주로 정리하려 한다. 1. 벡터와 행렬 - 1. 벡터벡터는 숫자를 원소로 가지는 리스트, 배열이다.벡터는 공간에서의 한점, 원점에서의 상대적 위치를 나타냄벡터의 연산은 합, 차, 내적, 스칼라곱 등이 가능 벡터의 노름(norm)노름(norm)은 원점에서 부터의 거리를 나타냄L1-노름 : 각 성분의 변화량의 절대값을 모두 더함L2-노름: 피타고라스 정리를 이용해 유클리드 거리를 계산함 노름의 종류에 따라 기하학적 성질이 달라지고 머신러닝에선 각 성질들이 필요..
BFS와 DFS는 모두 그래프를 탐색하는 방법이다. 그래프는 Node와 Node를 연결하는 Edge로 이루어진 자료구조이고 그래프를 탐색하는 것은 하나의 정점으로부터 연결된 모든 정점들을 한 번씩 차례대로 방문하는 것입니다. 깊이 우선 탐색(DFS, Depth - First Search) 그림과 같이 하나의 정점에서 끝까지 탐색해 최하단의 정점까지 방문 후, 이전 갈림길로 돌아와 선택하지 않은 정점을 방문하는 식으로 탐색한다. DFS는 스택의 자료구조를 이용하고 구체적인 방문 과정은 다음과 같다. 탐색 첫 노드를 스택에 삽입후 방문 처리 스택의 최상단 노드에 방문하지 않은 인접 노드가 있으면 그 인접노드를 스택에 넣고 방문 처리, 인접 노드가 없다면 스택에서 최상단 노드를 꺼내기 2를 수행할 수 없을때까..
그래프를 탐색하는 것은 하나의 정점으로부터 연결된 모든 정점들을 한 번씩 차례대로 방문하는 것입니다.
깊이 우선 탐색(DFS, Depth - First Search)
https://developer-mac.tistory.com/64 (이미지 출처)
그림과 같이 하나의 정점에서 끝까지 탐색해 최하단의 정점까지 방문 후, 이전 갈림길로 돌아와 선택하지 않은 정점을 방문하는 식으로 탐색한다. DFS는 스택의 자료구조를 이용하고 구체적인 방문 과정은 다음과 같다.
탐색 첫 노드를 스택에 삽입후 방문 처리
스택의 최상단 노드에 방문하지 않은 인접 노드가 있으면 그 인접노드를 스택에 넣고 방문 처리, 인접 노드가 없다면 스택에서 최상단 노드를 꺼내기
2를 수행할 수 없을때까지 반복
구현 방법
스택을 이용하여 구현, 실제로는 재귀함수를 이용하여 매우 간결히 구현가능 O(N) 시간 소요 가능
def dfs(graph, v, visited):
visited[v] = True
print(v, end = '')
for i in graph[v]:
if not visited[i]:
dfs(graph, i, visited)
graph = [] # 그래프를 표현하는 인접 리스트(2차원 리스트)
visited = [] # 각 노드가 방문된 정보를 표현하는 1차원 리스트
dfs(graph, 1, visited) # dfs 함수 호출
너비 우선 탐색(BFS, Breadth - First Search)
그림에서와 같이 루트 노드와 같은 거리에 있는 노드를 우선으로 방문하며 탐색한다.
BFS는 큐(Queue) 자료구조를 이용하며 구체적인 동작 과정은 다음과 같다.
탐색 첫 노드를 큐에 삽입후 방문처리
큐에서 노드를 꺼내 인접노드중 방문하지 않은 모든 노드를 큐에 삽입하고 방문처리
2를 수행 할 수 없을때 까지 반복
구현 방법
파이썬에서 큐를 deque을 이용하여 구현하는 것이 좋고 O(N)시간이 소요된다. 실제 수행 시간은 DFS보다 나은 편
from collections import deque
def bfs(graph, start, visited):
queue = deque([start])
visited[start] = True
# 큐가 빌 때까지 반복
while queue:
v = queue.popleft()
print(v, end = '')
for i in graph[v]:
if not visited[i]:
queue.append(i)
visited[i] = True
graph = [] # 그래프를 표현하는 인접 리스트(2차원 리스트)
visited = [] # 각 노드가 방문된 정보를 표현하는 1차원 리스트
bfs(graph, 1, visited) # bfs 함수 호출
DFS와 BFS 비교
DFS
BFS
탐색 과정
현재 정점에서 갈 수 있는 끝까지 방문하며 탐색
현재 정점에 연결된 가까운 점들부터 탐색
구현 방법
스택 또는 재귀 함수로 구현
큐 자료구조 이용
문제별 DFS / BFS 활용
1. 그래프의 모든 정점을 방문하는 것이 주요한 문제
단순히 모든 정점을 방문하는 것이 중요한 문제의 경우 DFS, BFS 두 가지 방법 중 어느 것을 사용해도 상관이 없다.
2. 경로의 특징을 저장해둬야 하는 문제
예를 들어 각 정점에 숫자가 적혀있고 a부터 b까지 가는 경로를 구하는데 경로에 같은 숫자가 있으면 안 된다는 문제 등, 각각의 경로마다 특징을 저장해둬야 할 때는 DFS를 사용한다. (BFS는 경로의 특징을 가지지 못한다)
3. 최단거리를 구하는 문제
미로 찾기 등 최단 거리를 구해야 할 경우, BFS가 유리하다.
왜냐하면 DFS로 경로를 검색할 경우 처음으로 발견되는 해답이 최단거리가 아닐 수 있지만, BFS는 현재 노드부터 가까운 곳부터 찾기 때문에 경로 탐색 시 먼저 찾아지는 해답이 곧 최단거리이기 때문이다.
이외에도 검색 대상 그래프가 정말 크다면 DFS를 고려하고 검색 대상의 규모가 크지 않고, 검색 시작 지점으로부터 원하는 대상이 별로 멀지 않다면 BFS를 고려하는 등으로 더 생각해볼 수 있다.
