완전 탐색

• 알고리즘에서 사용되는 기법 중 하나로 '모든 가능한 경우의 수를 탐색'하여 '최적의 결과를 찾는 방법'을 의미합니다.

💡 미 완전 탐색은 무엇일까?
- 모든 경우의 수를 고려하지 더 이상 탐색이 필요 없는 경우 그 루트를 끊어버리는 것을 의미합니다.
- 예를 들어서 재귀함수가 함수를 모든 경우의 수를 탐색하다 결과를 찾아서 탐색을 중지하는 경우 루트를 끊는 경우를 자치기(Pruning)라고 합니다. 이를 수행하면 불필요한 탐색을 줄일 수 있습니다.

1. 브루트 포스(Brute-Force)

• 난폭한 힘, 폭력 => 무식하지만 확실한 방식을 의미
• 이는 수행하는데 오래걸리는 데다 자원이 많이 소요되지만 이론적으로 가능한 수를 모두 검색하기에 예상된 결과를 얻을 수 있습니다.
• '모든 경우를 다 탐색'하면서 결과를 얻는 알고리즘을 의미합니다.
• 해당 알고리즘은 경우의 수가 작을 때 사용하는 것이 일반적입니다. 대표적인 예시로는 자물쇠의 비밀번호를 알 수 없는 경우 모든 경우를 대입하여 비밀번호를 찾아가는 경우가 있습니다.

💡 완전 탐색에서 브루트 포스란?
모든 경우의 수를 탐색하여 최적의 결과를 찾아가는 완전탐색에서 브루트 포스는 모든 경우를 다 검사하여 원하는 값을 탐색하는 방법입니다.

💡 브루트 포스를 이용한 공격방식이란?
해커들은 이 알고리즘을 이용하여 다양한 공격을 시도합니다. 예를 들어, 로그인 페이지에서 사용자 이름과 비밀번호를 입력하여 로그인하는 경우 해커들은 브루트 포스 알고리즘을 이용하여 가능한 모든 비밀번호를 시도하면서 로그인을 시도합니다. 이러한 공격을 방지하기 위해서는 강력한 비밀번호를 사용하고 로그인 시도 횟수를 제안하는 등의 보안 조치를 취해야 합니다.

브루터 포스 사용 예시

1. 배열 탐색
   • 배열에서 특정 값을 찾는 문제에서 브루트 포스 알고리즘은 배열을 모두 탐색하여 값을 찾는 방식으로 문제를 해결합니다.
2. 문자열 비교
   • 문자열 비교 문제에서 브루트 포스 알고리즘은 가능한 모든 문자열 쌍을 비교하여 최소값 또는 최대값을 찾는 방식으로 문제를 해결합니다
     

2. 비트마스크(Bitmask)

• '이진수'를 '비트 연산'을 통해 경우의 수를 줄여가며 탐색하는 방식을 의미합니다.
• 모든 경우의 수(상태)를 이진수로 표현
• 비트 마스크를 사용하면 하나의 변수에 여러개의 상태정보를 저장할 수 있으며 이를 통해 복잡한 조건문을 간단하게 처리할 수 있습니다.
• 이 방법은 비트 연산을 사용하기 때문에 빠르게 계산할 수 있어서, 경우의 수가 많은경우에 유용합니다.
• 💡 완전 탐색에서 비트마스크란? 모든 경우의 수를 탐색하여 최적의 결과를 찾아가는 완전탐색에서 비트마스크는 모든 경우의 수를 이진수로 표현하여 빠르게 계산을 해 나아가는 방식입니다.

간단한 연산

a = 10 #1010
b = 12 #1100

result = a & b
result = a | b
result = a ^ b # XOR 연산
result = a << 1
result = a >> 1

비트마스크 사용 예시

1. 권한 관리

   PERMISSION_READ = 0b0001 << 0; # 0001
   PERMISSION_WRITE = 0b0001 << 1; # 0010
   PERMISSION_DELETE = 0b0001 << 2; # 0100
   PERMISSION_EXECUTE = 0b0001 << 3; # 1000
   
   print(PERMISSION_EXECUTE)
   userPermission = PERMISSION_READ | PERMISSION_WRITE
   print(userPermission)
   groupPermission = PERMISSION_READ | PERMISSION_EXECUTE
   
   hasReadPermission = (userPermission & PERMISSION_READ) != 0
   print(hasReadPermission)
   hasDeletePermission = groupPermission & PERMISSION_DELETE != 0
   print(hasDeletePermission)
   
   #출력문
   #8
   #3
   #True
   #False

   
   
   
2. 보통 권한은 4가지 이상으로 구분되어 있는 경우가 많습니다. 이때 각 권한을 비트로 표현하여 하나의 정수값으로 나타내면 매우 간편해집니다.
3. 집합 관리

   set = (1 << 3) | (1 << 5) | (1 << 7) #0010 1010 1000
   hasElement5 = (set & (1 << 5)) != 0; #True
   hasElement6 = (set & (1 << 6)) != 0; #False

4. 집합을 비트로 표현하여 메모리를 절약할 수 있습니다. 예를들어, 0부터 31까지의 정수 중에서 3, 5, 7번째 원소를 포함하는 집합을 나타내면 다음과 같이 표현할 수 있습니다.
5. 상태 플래그 관리

   FLAG_POWER_OF_TWO = 1 << 0; #0001
   FLAG_NEGATIVE = 1 << 1; #0010
   
   number = 8; # 2의 거듭제곱
   flags = 0;
   
   if number & (number-1) == 0 :
       flags |= FLAG_POWER_OF_TWO
   
   
   if (number < 0):
       flags |= FLAG_NEGATIVE
       print(flags)
   
   
   if ((flags & FLAG_POWER_OF_TWO) != 0):
       print(number, " is power of two") #1
   
   if ((flags & FLAG_NEGATIVE != 0)):
       print(number, "is negaive") # 2

6. 여러 상태를 하나의 정수값으로 나타내어 관리할 수 있다. 예를 들어, 주어진 수가 2의 거듭제곱인지 여부를 판단할 때 다음과 같은 방법을 사용할 수 있습니다.

3. 백트래킹(Backtracking)

• 해결책으로 가는 도중에 막히게 되면 그 지점으로 다시 돌아가서 다른 경로를 탐색하는 방식을 의미합니다. 이를 통해 모든 가능한 경우의 수를 탐색하여 해결책을 찾습니다.
• 해당 알고리즘을 사용할 때 주로 재귀함수를 사용하여 구현하며 스택을 이용하여서 사용하는 경우도 있습니다.
• 재귀함수를 이용하는 경우 해결책을 찾기 위해 생성, 검사, 선택, 이동, 되돌아가기 등 과정이 재귀적으로 수행됩니다.
• 💡완전탐색에서 백트래킹이란 - 모든 경우의 수를 탐색하여 최적의 결과를 찾아가는 완전탐색에서 백트래킹은 해결책을 찾아가는 도중에 막히게 되면 다시 돌아가서 다른 경로로 탐색을 하여 결국 모든 가능한 경우의 수를 탐색하여 해결책을 찾아가는 방식으로 사용됩니다. - 주로 재귀함수, 스택이 이용됩니다.

4. 순열 탐색

• '순열'을 이용하여 모든 경우의 수를 탐색하는 방법입니다. 순열은 서로 다른 서로 다른 n개 중에서 r개를 선택하여 숫자를 모든 순서대로 뽑는 경유를 말합나다.
• 순열의 예
  • 1, 2, 3, 세 숫자 중 '2개를 선택' 하여 숫자를 모든 순서대로 뽑는 경우입니다.

   [1,2] [1,3] [2,1] [2,3] [3.1] [3,2]

1. Swap 배열을 이용한 순열

• Swap 배열
  • 배열에서 두 요소의 위치를 바꿔가며 순열을 생성하는 방법입니다. 배열의 인덱스 0 부터 순서대로 선택하면 다음 인덱스와 위치를 바꾸고 이를 마지막 인덱스 까지 반복합나다.
  • 이 방법은 쉽게 구현할 수 있지만, 큰 데이터셋에서는 비효율적일 수 있습니다.
  • [1, 2, 3]배열에서 순열을 모두 구하는 예시입니다.
    1. 메인함수에서 permute메서드에 파라미터로 배열과 0개를 선택합니다.
    2. permute메서드는 재귀적으로 호출하면서 swap 메서드를 이용하여 배열의 원소를 순서대로 바꾸면서 모든 순열을 생성합니다.
    3. 이때, k는 순열을 생성할 위치를 의미합니다. 만약 k가 arr의 길이와 같아지면, 모든 원소에 대한 순열이 생성되었다는 것을 의미하므로 순열을 출력합니다.
• 즉, 순열에서 특정 값을 fix 시키고 이후의 값들을 swap 하면서 순열을 생성한다.
• 💡 완전 탐색에서 순열은? - 모든 경우의 수를 탐색하여 최적의 결과를 찾아가는 완전탐색에서 순열은 서로 다른 n개 중에서 r개를 선택해서 나열하면서 모든 경우의 수를 탐색하는 방식으로 사용이 됩니다. 
• 파이썬에서는 itertools의 permutation()을 사용하는 방법이 더 편하다.

2. Visited 배열을 이용한 순열

• 배열에서 '현재 인덱스의 값을 선택한 후' 해당 인덱스를 visited라는 배열에 체크합니다. 이후, 다음 인덱스로 넘어가기 전 visited 배열에서 체크되지 않은 가장 작은 인덱스를 선택합니다. 이를 마지막 인덱스까지 반복합니다.
• 이 방법은 swap을 이용한 배열보다 효율적입니다.
• 
• 즉, 한 loop내에서 해당 인덱스가 Visited이면 다음 최소 인덱스로 넘어간다.

5. 재귀 함수(Recursion Function)

• 함수 내부에서 ‘자기 자신을 호출’하는 함수를 의미합니다.
• 이를 통해서 함수가 자신을 반복적으로 호출하면서 원하는 결과를 도출할 수 있습니다.
• 💡 완전 탐색에서 재귀함수는? - 모든 경우의 수를 탐색하여 최적의 결과를 찾아가는 완전탐색에서 재귀함수는 자기 자신을 호출하며 모든 가능한 경우를 체크하면서 최적의 해답하는 방법으로 사용이 됩니다.
  💡 재귀함수는 미 완전 탐색일 수도 있다? - 재귀함수는 모든 경우의 수를 다 탐색하지 않고도 원하는 결과를 얻을 수 있는 경우도 있습니다. 따라서, 재귀함수는 미완전탐색의 일종이라고는 할 수 있지만, 항상 미완전탐색이라고 할 수는 없습니다. (뿌리 자르기)

6. 깊이 우선 탐색(DFS) / 너비 우선 탐색(BFS)

아래의 게시물을 통해 자세히 설명을 해두었으니 참조하는 것이 좋을 것 같다.

1.  이진 탐색

이진 탐색은 탐색의 범위를 절반씩 좁혀가며 데이터를 탐색하는 알고리즘입니다. 

이진탐색 알고리즘은 리스트 내 데이터가 어느 정도 정렬되어 있어야만 사용 가능하며 데이터가 무작위로 정렬되어 있다면 사용할 수 없습니다. 

이진 탐색 알고리즘은 입력 데이터가 많거나(e.g., 1,000만 개 이상) 탐색 범위의 크기가 매우 넓을 때(e.g., 1,000억 이상) 효과적으로 문제를 해결할 수 있습니다.

2.  이진 탐색의 동작 과정

이진 탐색은 특정 데이터를 찾기 위해 리스트 내 기준점으로서 시작 인덱스, 중간 인덱스, 마지막 인덱스를 사용합니다.

이진 탐색의 동작 순서는 아래와 같습니다.

1️⃣ 시작 인덱스와 마지막 인덱스 사이의 중간 값에서 소수점 이하를 버려 중간 인덱스를 정합니다.

2️⃣ 중간 인덱스에 해당하는 데이터와 현재 찾으려는 데이터가 같은지 비교합니다.

3️⃣ 중간 값이 더 크면 중간 인덱스 이후의 값은 확인하지 않고, 마지막 인덱스를 중간 인덱스로부터 한 칸 앞으로 옮깁니다.

반대로, 중간 값이 더 작다면 시작 인덱스를 중간 인덱스로부터 한 칸 뒤로 옮깁니다.

4️⃣ 중간 인덱스의 값과 찾으려는 값이 같아질 때까지 2️⃣ 과정과 3️⃣ 과정을 반복합니다.

이제 구체적인 예시를 통해 동작 과정을 알아보겠습니다. 아래와 같이 리스트 내 10개의 데이터 중에서 값이 4인 원소를 이진 탐색을 통해 찾아보겠습니다.

편의상 찾고자 하는 데이터(target data)는 파란색으로 표현하고, 탐색할 필요가 없는 데이터는 회색으로 채우겠습니다.

(1) 리스트 내 원소가 총 10개이므로 시작 인덱스는 [0]이고 마지막 인덱스는 [9]입니다. 중간 인덱스는 시작 인덱스와 마지막 인덱스의 중간 지점인 [4]가 됩니다. [4.5]에서 소수점 이하를 버리기 때문이죠.

(2) 중간 인덱스의 값인 8은 찾으려는 값 4보다 크기 때문에, 중간 인덱스 이후의 값은 이제 따로 탐색하지 않습니다. 이제 마지막 인덱스를 중간 인덱스 한 칸 앞으로 옮깁니다. 즉, 기존 중간 인덱스가 [4]였기 때문에 마지막 인덱스는 [3]이 됩니다. 중간 인덱스는 [0]과 [3] 중간 값인 [1]이 됩니다(실제 중간 값인 [1.5]에서 소수점 이하를 제거하였습니다).

(3) 중간 인덱스의 값인 2는 찾으려는 데이터 4보다 작기 때문에 2 이하의 데이터는 탐색할 필요가 없습니다. 따라서 시작 인덱스를 중간 인덱스의 한 칸 뒤인 [2]로 옮깁니다. 이제 새로운 중간 인덱스는 [2]와 [3] 사이의 [2]가 됩니다([2.5]에서 소수점 이하 절사). 중간 인덱스에 위치한 데이터 4는 찾으려는 데이터 4와 같기 때문에 이 시점에서 탐색을 종료합니다.

3.  이진 탐색의 구현(Python)

파이썬 기반에서 이진 탐색은 2가지 방법으로 구현이 가능합니다. 첫 번째는 재귀 함수를 사용하는 것이고, 다른 한 가지 방법은 반복문을 이용하는 것입니다. 각 방법별로 구현 방법을 알아보도록 하겠습니다.

3.1.  재귀 함수를 활용한 구현

# 재귀함수를 활용한 이진 탐색 구현
def binary_search (arr, target, start, end):
    
    if start > end:
        return None
    
    # 중간 인덱스는 시작 인덱스와 마지막 인덱스 사이의 중간 인덱스
    # 몫만 구하기 위해 // 연산자 활용
    mid = (start + end) // 2
    
    # 중간 인덱스의 값이 타겟 데이터와 같은 경우 탐색 종료
    if arr[mid] == target:
        return mid
        
    # 중간 인덱스의 값이 타겟 데이터보다 큰 경우
    # 마지막 인덱스를 중간 인덱스의 한 칸 앞으로 이동
    elif arr[mid] > target:
        return binary_search(arr, target, start, mid-1)
        
    # 중간 인덱스의 값이 타겟 데이터보다 작은 경우
    # 시작 인덱스를 중간 인덱스의 한 칸 뒤로 이동
    else:
        return binary_search(arr, target, mid+1, end)

arr = [0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
n = len(arr)
# 찾으려는 값으로서 임의로 4로 설정
target = 4

# 시작 인덱스 및 마지막 인덱스를 전달인자로 할당
res = binary_search(arr, target, 0, n-1)
print("{}번째에서 타겟 확인.".format(res + 1))

3.2.  반복문을 활용한 구현

# 반복문을 활용한 이진 탐색 구현
def binary_search (arr, target, start, end):
    while start <= end:
        # 중간 인덱스는 시작 인덱스와 마지막 인덱스 사이의 중간 인덱스
        # 몫만 구하기 위해 // 연산자 활용
        mid = (start + end) // 2
    
        # 중간 인덱스의 값이 타겟 데이터와 같은 경우 탐색 종료
        if arr[mid] == target:
            return mid
        
        # 중간 인덱스의 값이 타겟 데이터보다 큰 경우
        # 마지막 인덱스를 중간 인덱스의 한 칸 앞으로 이동
        elif arr[mid] > target:
            end = mid - 1
        
        # 중간 인덱스의 값이 타겟 데이터보다 작은 경우
        # 시작 인덱스를 중간 인덱스의 한 칸 뒤로 이동
        else:
            start = mid + 1
            
    return None

arr = [0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
n = len(arr)
# 찾으려는 값으로서 임의로 4로 설정
target = 4

# 시작 인덱스 및 마지막 인덱스를 전달인자로 할당
res = binary_search(arr, target, 0, n-1)
print("{}번째에서 타겟 확인.".format(res + 1))

4.  이진 탐색의 시간 복잡도

앞서 살펴본 예시에서는 리스트 내 데이터가 총 10개였지만, 이진 탐색을 이용하면 총 3회의 탐색을 통해 원하는 데이터를 찾을 수 있었습니다. 이진 탐색은 탐색 횟수별로 확인하는 데이터의 개수가 절반씩 줄어들기 때문에 시간 복잡도가 O(log N) 입니다. 이처럼 확인하는 데이터의 개수가 절반씩 줄어드는 특징은 퀵 정렬과 동일합니다.

그렇다면 이진 탐색은 언제 사용하면 좋을까요?

탐색해야 하는 데이터의 개수나 값이 1,000만 단위 이상일 경우 이진 탐색과 같이 시간 복잡도가 O(log N) 수준으로 빠른 속도를 낼 수 있는 알고리즘을 활용하는 것이 좋습니다.

플로이드 워셜

플로이드 워셜 알고리즘을 쓰는 문제의 경우, 노드의 개수가 500개 이하일 경우가 많다.
하지만 노드가 500개라고 해도 500 * 500 * 500 은 1억이 넘어가기 때문에 시간제한이 넉넉하지 않다면 시간초과에 걸릴 수도 있다.

1. 플로이드 워셜 알고리즘 개요

• 모든 노드에서 다른 모든 노드까지의 최단 경로를 모두 계산한다.
• 플로이드 워셜(Floyd-Warshall) 알고리즘은 다익스트라 알고리즘과 마찬가지로 단계별로 거쳐 가는 노드를 기준으로 알고리즘을 수행한다.
  • 다만 매 단계마다 방문하지 않은 노드 중에 최단 거리를 갖는 노드를 찾는 과정이 필요하지 않다.
• 플로이드 워셜은 2차원 테이블에 최단 거리 정보를 저장한다.
• 플로이드 워셜 알고리즘은 다이나믹 프로그래밍 유형에 속한다.

2. 플로이드 워셜 알고리즘

• 각 단계마다 특정한 노드 k를 거쳐 가는 경우를 확인한다.
  • a에서 b로 가는 최단 거리보다 a에서 k를 거쳐 b로 가는 거리가 더 짧은지 검사한다.
• 점화식은 다음과 같다.

3. 플로이드 워셜 알고리즘: 동작 과정 살펴보기

4. 플로이드 워셜 알고리즘 구현 (Python)

INF = int(1e9)  # 무한을 의미하는 값으로 10억을 설정

# 노드의 개수 및 간선의 개수를 입력받기
n = int(input())
m = int(input())
# 2차원 리스트(그래프 표현)를 만들고, 무한으로 초기화
graph = [[INF] * (n + 1) for _ in range(n + 1)]

# 자기 자신에게 자기 자신으로 가는 비용은 0으로 초기화
for a in range(1, n + 1):
	for b in range(1, n + 1):
		if a == b:
			graph[a][b] = 0

# 각 간선에 대한 정보를 입력 받아, 그 값으로 초기화
for _ in range(m):
	# A에서 B로 가는 비용은 C라고 설정
	a, b, c = map(int, input().split())
	graph[a][b] = c

# 점화식에 따라 플로이드 워셜 알고리즘을 수행
for k in range(1, n + 1):
	for a in range(1, n + 1):
		for b in range(1, n + 1):
			graph[a][b] = min(graph[a][b], graph[a][k] + graph[k][b])

# 수행된 결과를 출력
for a in range(1, n + 1):
	for b in range(1, n + 1):
		# 도달할 수 없는 경우, 무한(INFINITY)이라고 출력
		if graph[a][b] == INF:
			print("INFINITY", end=" ")
		# 도달할 수 있는 경우 거리를 출력
		else:
			print(graph[a][b], end=" ")
    print()

5. 플로이드 워셜 알고리즘 성능 분석

• 노드의 개수가 N개일 때 알고리즘 상으로 N번의 단계를 수행한다.
  • 각 단계마다 O(N^2)의 연산을 통해 현재 노드를 거쳐 가는 모든 경로를 고려한다.
• 따라서 플로디으 워셜 알고리즘의 총 시간 복잡도는 O(N^3)이다.

최단 경로 문제 (이코테 ch7. 최단 경로 알고리즘 예시)

1.  <문제> 전보: 문제 설명

2.  <문제> 전보: 문제 조건

3. <문제> 전보: 문제 해결 아이디어

4. <문제> 전보: 답안 예시(Python)

import heapq
import sys
input = sys.stdin.readline
INF = int(1e9)  # 무한을 의미하는 값으로 10억을 설정

# 노드의 개수, 간선의 개수, 시작 노드를 입력받기
n, m, start = map(int, input().split())
# 각 노드에 연결되어 있는 노드에 대한 정보를 담는 리스트를 만들기
graph = [[] for i in range(n + 1)]
# 최단 거리 테이블을 모두 무한으로 초기화
distance = [INF] * (n + 1)

# 모든 간선 정보를 입력받기
for _ in range(m):
	x, y, z = map(int, input().split())
	# X번 노드에서 Y번 노드로 가는 비용이 Z라는 의미
	graph[x].append((y, z))

def dijkstra(start):
	q = []
	# 시작 노드로 가기 위한 최단 거리는 0으로 설정하여, 큐에 삽입
	heapq.heappush(q, (0, start))
	distance[start] = 0
	while q:  # 큐가 비어있지 않다면
		# 가장 최단 거리가 짧은 노드에 대한 정보를 꺼내기
		dist, now = heapq.heappop(q)
		if distance[now] < dist:
			continue
		# 현재 노드와 연결된 다른 인접한 노드들을 확인
		for i in graph[now]:
			cost = dist + i[1]
			# 현재 노드를 거쳐서, 다른 노드로 이동하는 거리가 더 짧은 경우
			if cost < distance[i[0]]:
				distance[i[0]] = cost
				heapq.heappush(q, (cost, i[0]))

# 다익스트라 알고리즘을 수행
dijkstra(start)

# 도달할 수 있는 노드의 개수
count = 0
# 도달할 수 있는 노드 중에서, 가장 멀리 있는 노드와의 최단 거리
max_distance = 0
for d in distance:
	# 도달할 수 있는 노드인 경우
	if d != INF:
		count += 1
		max_distance = max(max_distance, d)

# 시작 노드는 제외해야 하므로 count - 1을 출력
print(count - 1, max_distance)

최단 경로 문제

최단 경로 알고리즘은 가장 짧은 경로를 찾는 알고리즘을 의미한다.

cf. 다양한 문제 상황

1. 한 지점에서 다른 한 지점까지의 최단 경로
2. 한 지점에서 다른 모든 지점까지의 최단 경로
3. 모든 지점에서 다른 모든 지점까지의 최단 경로

각 지점은 그래프에서 노드로 표현한다.

지점 간 연결된 도로는 그래프에서 간선으로 표현한다.

방향그래프 예시

1. 다익스트라 최단 경로 알고리즘 개요

• 특정한 노드에서 출발하여 다른 모든 노드로 가는 최단 경로를 계산한다.
• 다익스트라 최단 경로 알고리즘은 음의 간선이 없을 때 정상적으로 동작한다.
  • 현실 세계의 도로(간선)은 음의 간선으로 표현되지 않는다.
• 다익스트라 최단 경로 알고리즘은 그리디 알고리즘으로 분류된다.
  • 매 상황에서 가장 비용이 적은 노드를 선택해 임의의 과정을 반복한다.

2. 다익스트라 최단 경로 알고리즘

알고리즘의 동작 과정은 다음과 같다.

1. 출발 노드를 설정한다.
2. 최단 거리 테이블을 초기화한다. (cf. 모든 노드까지 가기 위한 비용을 무한으로 설정하고 자기 자신에 대한 노드는 0으로 설정한다.)
3. 방문하지 않은 노드 중에서 최단 거리가 가장 짧은 노드를 선택한다.
4. 해당 노드를 거쳐 다른 노드로 가는 비용을 계산하여 최단 거리 테이블을 갱신한다.
5. 위 과정에서 3번과 4번을 반복한다.

알고리즘 동작 과정에서 최단 거리 테이블은 각 노드에 대한 현재까지의 최단 거리 정보를 가지고 있다.

처리 과정에서 더 짧은 경로를 찾으면 '이제부터는 이 경로가 제일 짧은 경로야'라고 갱신한다.

3. 다익스트라 알고리즘: 동작 과정 살펴보기

cf) 이미 방문처리된 노드라면, 그 노드까지 최단거리값이 결정되어 바뀌지 않기 때문에 무시하는 방법을 사용할 수도 있다.
여기에서 4번 노드는 이미 방문했기 때문에 무시할 수도 있다.

앞서 확인했던 다른 노드까지의 최단 경로는 바뀌지 않기때문에 마지막 노드에 대해선 처리하지 않아도 된다.

4. 다익스트라 알고리즘의 특징

• 그리디 알고리즘: 매 상황에서 방문하지 않은 가장 비용이 적은 노드를 선택해 임의의 과정을 반복한다.
• 단계를 거치며 한 번 처리된 노드의 최단 거리는 고정되어 더 이상 바뀌지 않는다.
  • 한 단계당 하나의 노드에 대한 최단 거리를 확실히 찾는 것으로 이해할 수 있다.
• 다익스트라 알고리즘을 수행한 뒤에 테이블에 각 노드까지의 최단 거리 정보가 저장된다.
  • 완벽한 형태의 최단 경로를 구하려면 소스코드에 추가적인 기능을 더 넣어야 한다.

다익스트라 알고리즘 구현(Python) - 개선 전

1. 다익스트라 알고리즘: 간단한 구현 방법(Python)

• 단계마다 방문하지 않은 노드 중에서 최단 거리가 가장 짧은 노드를 선택하기 위해 매 단계마다 1차원 테이블의 모든 원소를 확인(순차 탐색)한다.

import sys
input = sys.stdin.readline
INF = int(1e9)  # 무한을 의미하는 값으로 10억을 설정

# 노드의 개수, 간선의 개수를 입력받기
n , m = map(int, input().split())
# 시작 노드 번호를 입력받기
start = int(input())
# 각 노드에 연결되어 있는 노드에 대한 정보를 담는 리스트를 만들기
graph = [[] for i in range(n + 1)]
# 방문한 적이 있는지 체크하는 목적의 리스트를 만들기
visited = [False] * (n + 1)
# 최단 거리 테이블을 모두 무한으로 초기화
distance = [INF] * (n + 1)

# 모든 간선 정보를 입력받기
for _ in range(m):
	a, b, c = map(int, input().split())
	# a번 노드에서 b번 노드로 가는 비용이 c라는 의미
	graph[a].append((b, c))

# 방문하지 않은 노드 중에서, 가장 최단 거리가 짧은 노드의 번호를 반환
def get_smallest_node():
	min_value = INF
	index = 0  # 가장 최단 거리가 짧은 노드(인덱스)
	for i in range(1, n + 1):
		if distance[i] < min_value and not visited[i]:
			min_value = distance[i]
			index = i
	return index

def dijkstra(start):
	# 시작 노드에 대해서 초기화
	distance[start] = 0
	visited[start] = True
	for j in graph[start]:
		distance[j[0]] = j[1]
	# 시작 노드를 제외한 전체 n - 1개의 노드에 대해 반복
	for i in range(n - 1):
		# 현재 최단 거리가 가장 짧은 노드를 꺼내서, 방문처리
		now = get_smallest_node()
		visited[now] = True
		# 현재 노드와 연결된 다른 노드를 확인
		for j in graph[now]:
			cost = distance[now] + j[1]
			# 현재 노드를 거쳐서 다른 노드로 이동하는 거리가 더 짧은 경우
			if cost < distance[j[0]]:
				distance[j[0]] = cost

# 다익스트라 알고리즘을 수행
dijkstra(start)

# 모든 노드로 가기 위한 최단 거리를 출력
for i in range(1, n + 1):
	# 도달할 수 없는 경우, 무한(INFINITY)이라고 출력
	if distance[i] == INF:
		print("INFINITY")
	# 도달할 수 있는 경우 거리를 출력
	else:
		print(distance[i])

2. 다익스트라 알고리즘: 간단한 구현 방법 성능 분석

• 총 O(V)번에 걸쳐서 최단 거리가 가장 짧은 노드를 매번 선형 탐색해야 한다.
• 따라서 전체 시간 복잡도는 O(V^2)이다.
• 일반적으로 코딩 테스트의 최단 경로 문제에서 전체 노드의 개수가 5,000개 이하라면 이 코드로 문제를 해결할 수 있다.
  • 하지만 노드의 개수가 10,000개를 넘어가는 문제라면 어떻게 해야할까?
    • 따라서 우선순위 큐(Priority Queue) 자료구조를 알아야할 필요가 있다.

다익스트라 알고리즘 구현(Python) - 개선한 버전 (우선순위 큐)

1. 우선순위 큐(Priority Queue)

우선순위가 가장 높은 데이터를 가장 먼저 삭제하는 자료구조이다.

예를 들어 여러 개의 물건 데이터를 자료구조에 넣었다가 가치가 높은 물건 데이터부터 꺼내서 확인해야하는 경우 우선순위 큐를 이용할 수 있다.

Python, C++, Java를 포함한 대부분의 프로그래밍 언어에서 표준 라이브러리 형태로 지원한다.

1-1. 힙(Heap)

우선순위 큐(Priority Queue)를 구현하기 위해 사용하는 자료구조 중 하나이다.

최소 힙(Min Heap)과 최대 힙(Max Heap)이 있다.

(cf. 최소 힙은 값이 낮은 값부터 꺼내는 방식, 최대 힙은 높은 값부터 꺼내는 방식으로 동작)

다익스트라 최단 경로 알고리즘을 포함해 다향한 알고리즘에서 사용된다.

1-1-1. 힙 라이브러리 사용 예제: 최소 힙

heapq 라이브러리는 데이터를 꺼낼 때 우선순위가 높은 데이터부터 차례대로 나온다는 특징때문에, 이러한 heapq 자료구조의 특성을 이용해서 정렬을 수행할 수 있다.

기본적으로 파이썬은 heapq 라이브러리를 그대로 사용하게 되면 최소 힙(min heap)으로 구현되어있다.

즉, 우선순위가 낮은 데이터부터 차례대로 꺼내지게 된다(오름차순 정렬).

import heapq

# 오른차순 힙 정렬(Heap Sort)
def heapsort(iterable):
	h = []
	result = []
	# 모든 원소를 차례대로 힙에 삽입
	for value in iterable:
		heapq.heappush(h, value)
	# 힙에 삽입된 모든 원소를 차례대로 꺼내어 담기
	for i in range(len(h)):
		result.append(heapq.heappop(h))
	return result

result = heapsort([1, 3, 5, 7, 9, 2, 4, 6, 8, 0])

1-1-2. 힙 라이브러리 사용 예제: 최대 힙

파이썬에서는 별도로 최대 힙을 지원해주지 않는다.

따라서 데이터를 힙에 넣을 때 마이너스(-)를 붙여서 넣고 데이터를 꺼낼 때 마이너스(-)를 붙여서 꺼내면 최대 힙과 같은 효과를 볼 수 있다(내림차순 정렬).

import heapq

# 내림차순 힙 정렬(Heap Sort)
def heapsort(iterable):
	h = []
	result = []
	# 모든 원소를 차례대로 힙에 삽입
	for value in iterable:
		heapq.heappush(h, -value)
	# 힙에 삽입된 모든 원소를 차례대로 꺼내어 담기
	for i in range(len(h)):
		result.append(-heapq.heappop(h))
	return result

result = heapsort([1, 3, 5, 7, 9, 2, 4, 6, 8, 0])
print(result)  # [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

2. 다익스트라 알고리즘: 개선된 구현 방법

• 단계마다 방문하지 않은 노드 중에서 최단 거리가 가장 짧은 노드를 선택하기 위해 힙(Heap) 자료구조를 이용한다.
• 다익스트라 알고리즘이 동작하는 기본 원리는 동일하다.
  • 현재 가장 가까운 노드를 저장해놓기 위해서 힙 자료구조를 추가적으로 이용한다는 점이 다른다.
  • 현재의 최단 거리가 가장 짧은 노드를 선택해야 하므로 최소 힙을 사용한다.

3. 다익스트라 알고리즘: 동작 과정 살펴보기 (우선순위 큐)

4. 다익스트라 알고리즘: 개선된 구현 방법(Python)

import heapq
import sys
input = sys.stdin.readline
INF = int(1e9)  # 무한을 의미하는 값으로 10억을 설정

# 노드의 개수, 간선의 개수를 입력받기
n, m = map(int, input().split())
# 시작 노드 번호를 입력받기
start = int(input())
# 각 노드에 연결되어 있는 노드에 대한 정보를 담는 리스트 만들기
graph = [[] for i in range(n + 1)]
# 최단 거리 테이블을 모두 무한으로 초기화
distance = [INF] * (n + 1)

# 모든 간선 정보를 입력받기
for _ in range(m):
	a, b, c = map(int, input().split())
	# a번 노드에서 b번 노드로 가는 비용이 c라는 의미
	graph[a].append((b, c))

def dijkstra(start):
	q = []
	# 시작 노드로 가기 위한 최단 경로는 0으로 설정하여, 큐에 삽입
	heapq.heappush(q, (0, start))
	distance[start] = 0
	while q:  # 큐가 비어있지 않다면
		# 가장 최단 거리가 짧은 노드에 대한 정보 꺼내기
		dist, now = heapq.heappop(q)
		# 현재 노드가 이미 처리된 적이 있는 노드라면 무시
		if distance[now] < dist:
			continue
		# 현재 노드와 연결된 다른 인접한 노드들을 확인
		for i in graph[now]:
			cost = dist + i[1]
			# 현재 노드를 거쳐서, 다른 노드로 이동하는 거리가 더 짧은 경우
			if cost < distance[i[0]]:
				distance[i[0]] = cost
				heapq.heappush(q, (cost, i[0]))

# 다익스트라 알고리즘을 수행
dijkstra(start)

# 모든 노드로 가기 위한 최단 거리를 출력
for i in range(1, n + 1):
	# 도달할 수 없는 경우, 무한(INFINITY)이라고 출력
	if distance[i] == INF:
		print("INFINITY")
	# 도달할 수 ㅇ있는 경우 거리를 출력
	else:
		print(distance[i])

5. 다익스트라 알고리즘: 개선된 구현 방법 성능 분석

• 힙 자료구조를 이용하는 다익스트라 알고리즘의 시간 복잡도는 O(ElogV)이다.
• 노드를 하나씩 꺼내 검사하는 반복문(while문)은 노드의 개수 V 이상의 횟수로는 처리되지 않는다.
  • 결과적으로 현재 우선순위 큐에서 꺼낸 노드와 연결된 다른 노드들을 확인하는 총횟수는 최대 간선의 개수(E)만큼 연산이 수행될 수 있다.
• 직관적으로 전체 과정은 E개의 원소를 우선순위 큐에 넣었다가 모두 빼내는 연산과 매우 유사하다.
  • 시간 복잡도를 O(ElogE)로 판단할 수 있다.
  • 중복 간선을 포함하지 않는 경우에 이를 O(ElogV)로 정리할 수 있다.
    • O(ElogE) → O(ElogV^2) → O(2ElogV) → O(ElogV)

DP 

다이나믹 프로그래밍은 다음 조건을 만족할 때 사용할 수 있다.

1. 최적 부분 구조(Optimal Substructure): 큰 문제를 작은 문제로 나눌 수 있다.
2. 중복되는 부분 문제(Overlapping Subproblem): 동일한 작은 문제를 반복적으로 해결한다.

DP 예시

대표적인 문제로는 피보나치 수열이 있다.

(cf. 점화식: 인접항들의 관계식을 의미한다.)

// 피보나치 수열
1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89 ...

* 피보나치 수열의 점화식

단순 재귀를 통한 피보나치 수열 구현

* [Python] 단순 재귀를 통한 피보나치 수열

# 피보나치 함수를 재귀함수로 구현
def fibo(x):
	if x == 1 or x == 2:
    	return 1
    return fibo(x-1) + fibo(x-2)
    
print(fibo(4))  # 3

단순 재귀함수로 피보나치 수열을 해결하면 지수 시간 복잡도를 가지게 된다.

아래 이미지와 같이 f(2)가 중복 호출되는 문제가 발생한다.

(cf. 빅오표기법 기준으로 f(30)을 계산하기 위해 약 10억 가량 연산을 수행해야한다.)

메모이제이션(Memoization) - 하향식(Top Down) 방식

• 메모이제이션은 DP를 구현하는 방법 중 하나이다.
• 한 번 계산한 결과를 메모리 공간에 메모하는 기법이다.
  • 같은 문제를 다시 호출하면 메모했던 결과를 그대로 가져온다.
  • 값을 기록해놓는다는 점에서 캐싱(Caching)이라고도 한다.

 [Python] Top-Down DP

# 한 번 계산된 결과를 메모이제이션하기 위한 리스트 초기화
d = [0] * 100

# 피보나치 함수를 재귀함수로 구현(탑다운 DP)
def fibo(x):
	# 종료 조건
    if x == 1 or x == 2:
    	return 1
    # 이미 계산한 적 있는 문제라면 그대로 반환
    if d[x] != 0:
    	return d[x]
    # 아직 계산하지 않은 문제라면 점화식에 따라서 피보나치 결과 반환
    d[x] = fibo(x-1) + fibo(x-2)
    return d[x]
    
print(fibo(99))  # 218922995834555169026

[Python] Bottom-UP DP

# 앞서 계산된 결과를 저장하기 위한 DP 테이블 초기화
d = [0] * 100

# 첫번째 피보나치 수와 두번째 피보나치 수는 1
d[1] = 1
d[2] = 1
n = 99

# 피보나치 함수 반복문으로 구현(바텀업 다이나믹 프로그래밍)
for i in range(3, n+1):
	d[i] = d[i-1] + d[i-2]
    
print(d[n])  # 218922995834555169026

DP vs 분할정복

• DP와 분할정복은 모두 최적 부분 구조를 가질 때 사용할 수 있다.
  • 즉, 큰 문제를 작은 문제로 나눌 수 있으며 작은 문제의 답을 모아서 큰 문제를 해결할 수 있는 상황

• DP와 분할정복의 차이점은 부분 문제의 중복이다.
  • DP 문제에서는 각 부분 문제들이 서로 영향을 미치며 부분 문제가 중복된다.
  • 분할 정복 문제에서는 동일한 부분 문제가 반복적으로 계산되지 않는다.

DP 문제 접근방법

• 주어진 문제가 DP 유형임을  파악하는 것이 중요하다.
• 가장 먼저 그리디, 구현, 완전 탐색 등의 아이디어로 문제를 해결할 수 있는지 검토할 수 있다.
  • 다른 알고리즘으로 풀이방법이 떠오르지 않는다면 DP를 고려해보자.
• 일단 재귀함수로 비효율적인 완전 탐색 프로그램을 작성한 뒤에 (탑다운) 작은 문제에서 구한 답이 큰 문제에서 그대로 사용될 수 있으면 코드를 개선하는 방법을 사용할 수 있다.
• 일반적인 코테 수준에서는 기본 유형의 DP 문제가 출제되는 경우가 많다.

DP 구현 예시

개미전사: 문제설명 (이코테 2021 ch 6. DP 문제 예시)

개미전사는 부족한 식량을 충당하고자 메뚜기 마을의 식량창고를 몰래 공격하려고 한다. 메뚜기 마을에는 여러 개의 식량창고가 있는데 식량창고는 일직선으로 이어져있다.

각 식량창고에는 정해진 수의 식량을 저장하고 있으며 개미전사는 식량창고를 선택적으로 약탈하여 식량을 빼앗을 예정이다.

이때 메뚜기 정찰병들은 일직선상에 존재하는 식량창고 중에서 서로 인접한 식량창고가 공격받으면 바로 알아챌 수 있다.

따라서 개미전사가 정찰병에게 들키지않고 식량창고를 약탈하기 위해서는 최소한 한 칸 이상 떨어진 식량창고를 약탈해야한다. 

개미전사: 문제해결 아이디어

• 예시를 확인해 보자. N = 4일때, 다음과 같은 경우들이 존재할 수 있다.
  • 식량을 선택할 수 있는 경우의 수는 다음과 같이 8가지다.
  • 7번째 경우에서 8만큼의 식량을 얻을 수 있으므로 최적의 해는 8이다.

[Python] 답안예시

import sys

input = sys.stdin.readline
# 정수 N을 입력받기
n = int(input())
# 모든 식량 정보 입력받기
array = list(map(int, input().split()))

# 앞서 계산된 결과를 저장하기 위한 DP 테이블 초기화
d = [0] * 100

# DP 진행(바텀업)
d[0] = array[0]
d[1] = max(array[0], array[1])
for i in range(2, n):
	d[i] = max(d[i-1], d[i-2] + array[i])
    
# 계산된 결과 출력
print(d[n-1])

알고리즘을 풀면서 문제를 맞추어도 효율이 안좋은 경우가 종종 있다.

시간복잡도를 최대한 줄여 효율을 끌어올려야 겠다고 생각이 들어 시간복잡도를 정리해본다.

삽입(insert,pop), 제거(delete, remove) , 탐색(check ==,≠) 포함여부 확인( containment(in, not in))의 경우 List는 전부 O(N)이다. Set,Dict은 O(1)혹은 O(len)의 시간을 가지고 있다.

-> 삽입,삭제,탐색,포함여부 확인등의 문제는 list보다 set,dict을 사용하는게 효율면에서 뛰어나다고 생각한다.

List

Set

Dictionary

보안

• 비인가자가 데이터베이스에 침입하여 데이터를 유출하거나 손상한다면 조직에 치명적인 손실이 발생함
  인가자만 데이터베이스에 접근할 수 있도록 통제하여 보안을 유지하는 일이 무척 중요

보안의 유형

• 물리적 환경에 대한 보안 - 자연 재해 등으로부터 보호
• 권한 관리를 통한 보안 - 권한이 없는 사용자로부터 보호
• 운영 관리를 통한 보안 - 권한이 있는 사용자로부터 보호

권한 관리

• DBMS는 보안을 유지하기 위해, 계정이 발급된 사용자가 로그인에 성공했을 경우에만 데이터베이스에 접근이 가능하도록 하는 접근 제어(access control)기능을 기본으로 제공
  계정을 생성, 변경, 제거하는 사용자 계정 관리는 DBA가 담당
• 데이터베이스에 존재하는 모든 객체는 기본적으로 해당 객체를 생성한 사용자만 사용 권한을 지님
  필요에 따라 공유할 목적으로 다른 사용자에게 권한을 부여, 취소할 수 있음

권한의 부여

GRANT 권한 ON 객체 TO 사용자 [WITH GRANT OPTION];

• 일반적으로 테이블에 권한을 부여하는 경우가 많음
  주요 권한으로 INSERT, DELETE, UPDATE, SELECT, REFERENCES 가 존재
• REFERENCES 권한을 부여 받은 사용자는 대상 테이블의 기본키를 참조하는 외래키를 자신의 테이블에 포함할 수 있음
• UPDATE, SELECT는 일부 속성에 대한 권한 부여 가능
  모든 사용자들에게 똑같이 부여하고 싶다면 PUBLIC 키워드 이용

※ WITH GRANT OPTION을 포함하여 부여 받은 사용자는 다른 사용자에게도 권한 부여 가능

보안을 강화하기 위해 뷰를 이용할 수 있음
테이블 일부분을 뷰로 생성한 후, 사용자에게 이 뷰에 대한 권한을 부여하는 것도 보안을 유지하는 데 도움이 됨

• 객체에 대한 권한과 달리 시스템 권한은 DBA가 부여
  시스템 권한은 데이터베이스 관리와 관련된 작업 대한 권한, DDL과 관련된 작업에 대한 권한
  (객체를 지정할 필요가 없음) - ex) GRANT CREATE TABLE TO mhgo;

권한의 취소

REVOKE 권한 ON 객체 FROM 사용자 CASCADE : RESTRICT;

• 사용자가 WITH GRANT OPTION으로 인한 추가적인 권한 부여가 되었다면 이를 처리하는 방법이 필요 → 연쇄적으로 취소하고자 하면 CASCADE, 취소하지 않도록 하려면 RESTRICT를 사용
• DBA는 각 테이블의 소유주가 사용자들에게 어떤 권한을 부여했는지, WITH GRANT OPTION을 포함하여 권한을 부여했는지 등 권한 목록을 작성해두고 관리하는 것이 필요
• DBA가 시스템 권한을 취소할 때도 REVOKE문을 이용
  ex)REVOKE CREATE TABLE FROM mhgo;

역할(role)

• 여러 사용자에게 동일한 권한들을 부여하고 취소하는 번거로운 작업을 편리하게 수행할 수 있도록 도움을 주는 것
• 새로운 역할을 생성하는 기능은 DBA가 담당 / CREATE ROLE 롤이름;
• 역할에 필요한 권한들을 넣을 떄는 GRANT 이용 - 테이블 소유자가 수행
• 역할에 사용자에게 부여, 취소하는 것은 DBA가 담당 / GRANT/REVOKE 롤이름 TO/FROM 사용자;
• 역할 제거는 DBA가 담당 / DROP ROLE 롤이름;

회복과 병행 제어

• DBMS는 데이터베이스가 항상 정확하고 일관된 상태를 유지할 수 있도록 하는데, 그 중심에는 트랜잭션이 있음
  트랜잭션을 관리함으로써 데이터베이스의 회복과 병행 제어가 가능

트랜잭션(transaction)

• 하나의 작업을 수행하는 데 필요한 데이터베이스의 연산들을 모아놓은 것
  데이터베이스에서 논리적인 작업의 단위 (데이터베이스에 장애가 발생했을 때 데이터를 복구하는 작업의 단위)
  트랜잭션의 모든 명령문이 완벽하게 처리되거나 하나도 처리되지 않아야 데이터베이스가 모순이 없는 일관된 상태를 유지할 수 있음
• 데이터베이스의 무결성과 일관성을 보장하려면 필요한 연산들을 하나의 트랜잭션으로 제대로 정의하고 관리해야 함
• 일반적으로 데이터베이스를 변경하는 INSERT문, DELETE문, UPDATE문의 실행을 트랜잭션으로 관리

트랜잭션의 4가지 특성

• ACID - 원자성, 일관성, 격리성, 지속성

원자성(atomicity)

• 트랜잭션을 구성하는 연산들이 모두 정상적으로 실행되거나 하나도 실행되지 않아야 함
  (all or nothing)
  원자성을 보장하면 트랜잭션을 구성하는 연산 중 일부만 처리한 결과를 데이터베이스에 반영하는 일이 없게 됨

일관성(consistency)

• 트랜잭션이 성공적으로 수행된 후에도 데이터베이스가 일관된 상태를 유지해야 함

격리성(isolation) / 고립성

• 수행 중인 트랜잭션이 완료될 때까지 트랜잭션이 생성한 중간 연산 결과에 다른 트랜잭션들이 접근할 수 없음을 의미함

지속성(durability) / 영속성

• 트랜잭션이 성공적으로 완료된 후 반영한 수행 결과는 어떠한 경우에도 손실되지 않고 영구적이어야 함을 의미함
  시스템에 장애가 발생하더라도 트랜잭션 작업 결과는 없어지지 않고 데이터베이스에 그대로 남아 있어야 한다는 의미

트랜잭션의 특성을 지원하는 DBMS의 기능

• 트랜잭션의 연산
  commit 연산 - 트랜잭션이 성공적으로 수행되었음을 선언 (작업 완료)
  rollback 연산 - 트랜잭션을 수행하는 데 실패했음을 선언 (작업 취소)

트랜잭션의 상태

• 트랜잭션은 다섯 가지 상태 중 하나에 속하게 됨
  활동 상태, 부분 완료 상태, 완료 상태, 실패 상태, 철회 상태
  

  

활동 상태

• 트랜잭션이 수행되기 시작하여 현재 수행 중인 상태, 상황에 따라 부분 완료 상태나 실패 상태가 됨

부분 완료 상태

• 트랜잭션의 마지막 연산이 실행된 직후의 상태, 이는 트랜잭션의 모든 연산을 처리한 상태이며 아직 최종 결과를 데이터베이스에 반영하지 않은 상태, 상황에 따라 완료 상태나 실패 상태가 됨

완료 상태

• 트랜잭션이 성공적으로 완료되어 commit 연산을 실행한 상태, 트랜잭션이 수행한 최종 결과를 데이터베이스에 반영하고, 데이터베이스가 새로운 일관된 상태가 되면서 트랜잭션이 종료

실패 상태

• 하드웨어나 소프트웨어의 문제, 트랜잭션 내부의 오류 등 여러 이유로 인해 장해가 발생하여 트랜잭션의 수행이 중단된 상태, 트랜잭션을 더는 정상적으로 수행할 수 없을때 실패 상태가 됨

철회 상태

• 트랜잭션을 수행하는 데 실패하여 rollback 연산을 실행한 상태, 트랜잭션의 연산을 모두 취소하고 트랜잭션이 수행되기 전의 데이터베이스 상태로 되돌리면서 트랜잭션이 종료, 철회 상태로 종료된 트랜잭션은 상황에 따라 다시 수행되거나 폐기

장애와 회복

• 데이터베이스가 조직의 주요한 데이터를 저장하고 있는 만큼 데이터베이스 관리 시스템의 회복 기능은 매우 중요
  회복은 장애가 발생했을 때 데이터베이스를 장애가 발생하기 전의 일관된 상태로 복구시키는 것장애
  시스템이 제대로 동작하지 않는 상태

장애의 유형

트랜잭션 장애

의미 - 트랜잭션 수행 중 오류가 발생하여 정상적으로 수행을 계속할 수 없는 상태
원인 - 트랜잭션의 논리적 오류, 잘못된 데이터 입력,시스템 자원의 과다 사용 요구, 처리 대상 데이터의 부재 등

시스템 장애

의미 - 하드웨어 결함으로 정상적으로 수행을 계속할 수 없는 상태
원인 - 하드웨어 이상으로 메인 메모리에 저장된 정보가 손실되거나 교착 상태가 발생한 경우

미디어 장애

의미 - 디스크 장치의 결합으로 디스크에 저장된 데이터베이스의 일부 혹은 전체가 손상된 상태
원인 - 디스크 헤드의 손상이나 고장 등

데이터베이스의 저장 연산

• 데이터베이스는 기본적으로 비휘발성 저장 장치인 디스크에 상주
  트랜잭션이 데이터베이스의 데이터를 처리하려면, 데이터를 디스크에서 휘발성 저장 장치인 메인 메모리로 가져와 이를 처리한 후 그 결과를 다시 디스크로 보내는 작업이 필요
• 디스크와 메인 메모리 간의 데이터 이동은 대개 블록(block) 단위로 수행
  디스크 블록(디스크), 버퍼 블록(메인 메모리)
• 디스크와 메인 메모리 간의 데이터 이동은 input(X)(디스크 블록 > 버퍼 블록), output(X)(버퍼 블록 > 디스크 블록) 두 연산으로 수행
• 메인 메모리와 응용 프로그램 간의 데이터 이동은 read(X)(버퍼 블록 > 변수), write(X)(변수 > 버퍼 블록) 두 연산으로 수행

회복 기법

회복

• 데이터베이스에 장애가 발생했을 때 장애가 발생하기 전의 모순이 없고 일관된 상태로 복구시키는 것이며, DBMS의 회복관리자가 담당
• 장애가 일어난 데이터베이스를 복구하는 동안에는 데이터베이스에 접근하여 업무를 처리할 수 없으므로, 회복시키는 작업은 빠른 시간 내에 이루어져야 함

회복을 위한 연산

• 데이터베이스 회복의 핵심 원리는 데이터 중복
  데이터를 별도의 장소에 미리 복사해두고, 장애로 문제가 발생했을 때 복사본을 이용해 원래의 상태로 복원하는 것
  덤프나 로그 방법을 사용해 데이터를 복사해두었다가 회복시킬 때 사용
• 덤프(dump) - 데이터베이스 전체를 다른 저장 장치에 주기적으로 복사하는 방법
  로그(log) - 데이터베이스에서 변경 연산이 실행될 때마다 데이터를 변경하기 이전 값과 변경한 이후의 값을 별도의 파일에 기록하는 방법
• 장애가 발생했을 때, 덤프나 로그 방법으로 데이터베이스를 복구하는 가장 기본적인 방법은 redo나 undo 연산을 실행하는 것
• redo(재실행) - 가장 최근에 저장한 데이터베이스 복사본을 가져온 후 로그를 이용해 복사본이 만들어진 이후에 실행된 모든 변경 연산을 재실행 > 장애 발생 직전까지 복구, 전반적으로 손상된 경우에 주로 사용
  undo(취소) - 로그를 이용해 지금까지 실행된 모든 변경 연산을 취소하여 데이터베이스 복구, 변경 중이었거나 이미 변경된 내용만 신뢰성을 잃은 경우에 주로 사용
• redo와 undo를 실행하는 데는 로그가 중요하게 사용됨
  로그를 저장한 파일을 로그 파일이라 하며 로그 파일은 레코드 단위로 기록됨

데이터베이스 회복 기법

• 로그 회복 기법, 검사 시점 회복 기법, 미디어 회복 기법이 존재

로그 회복 기법

• 데이터를 변경한 연산 결과를 데이터베이스에 반영하는 시점에 따라 즉시 갱신 회복 기법과 지연 갱신 회복 기법으로 나눔

즉시 갱신 회복 기법 (immediate update)

• 트랜잭션 수행 중에 데이터를 변경한 연산의 결과를 데이터베이스에 즉시 반영하고 데이터 변경에 대한 내용을 로그 파일에도 기록
  데이터베이스 회복 시 로그를 정상적으로 사용하려면, 트랜잭션에서 데이터 변경 연산이 실행되었을 때 로그 파일에 로그 레코드를 먼저 기록한 후 데이터베이스 변경 연산을 반영
  로그 파일에 기록된 내용을 참조하여, 장애 발생 시점에 따라 redo나 undo 연산을 실행하여 데이터베이스를 복구
• commit 이전 > undo연산 / commit 이후 > redo연산
• redo와 undo가 모두 필요할 때는 undo를 먼저 실행한 후 redo를 실행

지연 갱신 회복 기법 (deferred update)

• 트랜잭션이 수행되는 동안에는 데이터 변경 연산의 결과를 데이터베이스에 즉시 반영하지 않고 로그 파일에만 기록해두었다가, 트랜잭션이 부분 완료된 후에 로그에 기록된 내용을 이용해 데이터베이스에 한 번에 반영
  트랜잭션이 수행되는 동안 장애가 발생할 경우 로그에 기록된 내용을 버리기만 하면 됨
  undo연산은 필요 없고 redo연산만 필요하므로 로그 레코드에 변경 이전 값을 기록할 필요가 없음

• 검사 시점 회복 기법의 등장 배경
  로그 회복 기법은 로그 전체를 분석하여 로그에 기록된 모든 트랜잭션을 대상으로 적용할 회복 연산을 결정
  데이터베이스 회복에 많은 시간이 걸리고 redo를 수행할 필요가 없는 트랜잭션에도 redo를 실행하는 일이 발생
  이런 비효율성을 해결하기 위해 제안된 방법 > 검사 시점 회복 기법

검사 시점 회복 기법

• 로그 회복 기법과 같은 방법으로 로그 기록을 이용하되, 일정 시간 간격으로 검사 시점(check point)을 제작, 장애가 발생하면 가장 최근 검사 시점 이후의 트랜잭션만 회복 작업을 수행
  회복 작업의 범위가 검사 시점으로 정해지므로 데이터베이스 회복 시간이 단축된다는 장점 존재
  검사 시점을 표시하는 <checkpoint L> 형식의 로그 레코드를 기록하고 이를 이용해 회복 작업의 범위가 정해지면 즉시 갱신 회복 기법이나 지연 갱신 회복 기법을 이용해 회복 작업 수행

미디어 회복 기법

• 데이터베이스는 디스크에 저장되는데 디스크 헤더의 고장과 같은 원인으로 장애가 발생할 수 있음
  이에 대비한 회복 기법이 미디어 회복 기법
  전체 데이터베이스의 내용을 일정 주기마다 다른 안전한 저장 장치에 복사해두는 덤프를 이용, 장애가 발생하면 가장 최근에 복사해둔 덤프를 이용해 복구
  전체 데이터베이스를 다른 저장 장치에 복사하는 것은 비용이 많이 들고, 복사하는 동안 트랜잭션 수행이 중단되기에 CPU가 낭비된다는 단점 존재

병행 수행(concurrency)

• 여러 개의 트랜잭션이 동시에 수행되는 것, 인터리빙(interleaving) 방식으로 진행
• 인터리빙 - 트랜잭션이 번갈아가며 조금씩 처리를 수행하는 것
• 병행 수행되는 트랜잭션들이 동시에 같은 데이터에 접근하여 변경 연산을 실행하려고 하면 예상치 못한 결과가 발생 가능
  병행 수행을 하더라도 각 트랜잭션이 다른 트랜잭션의 방해를 받지 않고 정확한 수행 결과를 얻을 수 있도록 제어해야 함

병행 수행의 문제

• 병행 수행을 특별한 제어 없이 진행하면 갱신 분실, 모순성, 연쇄 복귀의 문제가 발생할 수 있음

갱신분실(lost update)

• 하나의 트랜잭션이 수행한 데이터 변경 연산의 결과를 다른 트랜잭션이 덮어써 변경 연산이 무효화되는 것

모순성(inconsistency)

• 하나의 트랜잭션이 여러 개의 데이터 변경 연산을 수행할 때 일관성 없는 상태의 데이터베이스에서 데이터를 가져와 연산을 실행함으로써 모순된 결과가 발생하는 것

연쇄 복귀(cascading rollback)

• 트랜잭션이 완료되기 전에 장애가 발생하여 rollback연산을 수행하면, 이 트랜잭션이 장애 발생 전에 변경한 데이터를 가져가 사용한 다른 트랜잭션에도 rollback연산을 연쇄적으로 실행해야 한다는 것

트랜잭션 스케줄

• 트랜잭션이 인터리빙 방식으로 진행되는데 이는 트랜잭션에 있는 연산을 실행하는 순서에 따라 트랜잭션들의 수행 결과가 달라지기도 하고, 병행 수행에 따른 문제가 발생하기도 하기에 트랜잭션 스케줄이 필요트랜잭션 스케줄 - 트랜잭션에 포함되어 있는 연산들을 수행하는 순서

트랜잭션 스케줄의 유형

• 직렬 스케줄 - 인터리빙 방식을 이용하지 않고 각 트랜잭션별로 연산을 순차적으로 실행
• 비직렬 스케줄 - 인터리빙 방식을 이용하여 트랜잭션들을 병행해서 수행
• 직렬 가능 스케줄 - 직렬 스케줄과 같이 정확한 결과를 생성하는 비직렬 스케줄

직렬 스케줄

• 직렬 스케줄의 수행 순서에 따라 최종 수행 결과가 달라질 수 있음
  모든 트랜잭션이 완료될 때까지 다른 트랜잭션의 방해를 받지 않고 독립적으로 수행, 모순이 없는 정확한 결과
  트랜잭션을 독립적으로 수행하기 때문에 병행 수행이라 할 수 없고 일반적으로 잘 사용하지 않음

비직렬 스케줄

• 트랜잭션이 돌아가면서 연산을 실행, 여러 트랜잭션을 병행 수행하기에 최종 수행 결과의 정확성을 보장할 수 없음
  어떤 비직렬 스케줄을 선택하여 트랜잭션들을 수행하느냐가 중요

직렬 가능 스케줄

• 비직렬 스케줄 중에서 결과가 동일한 직렬 스케줄이 없는 것은 결과의 정확성을 보장할 수 없기에 직렬 가능 스케줄이 아님
  직렬 가능 스케줄인지 여부를 판단하는 일은 쉽지 않기에 대부분 DBMS에서는 직렬 가능성을 보장하는 병행 제어 기법을 사용

병행 제어(concurrency control), 동시성 제어

• 여러 개의 트랜잭션이 병행 수행되더라도, 문제 없이 정확한 수행 결과를 얻을 수 있도록 트랜잭션의 수행을 제어하는 것

병행 제어 기법

• 여러 트랜잭션을 병행 수행하면서도 정확한 결과를 얻을 수 있는 직렬 가능성을 보장받기 위해 사용
  모든 트랜잭션이 원리를 따르면 직렬 가능성이 보장되는 규약을 정의하고 트랜잭션들이 이 규약을 따르도록 하는 것병행 제어 기법 중 로킹 기법이 가장 많이 사용된다

로킹 기법(locking)

• 병행 수행되는 트랜잭션들이 동일한 데이터에 동시에 접근하지 못하도록 lock과 unlock이라는 연산을 이용해 제어
  트랜잭션 간 상호 배제하여 직렬 가능성을 보장하는 것
• 사용하는 연산
  • lock - 데이터에 대한 독점권 보장
  • unlock - 데이터에 대한 독점권 포기

기본 로킹 규약

• 반드시 read 또는 write 연산을 실행하기 전에 lock 연산을 실행해야 함
• 다른 트랜잭션이 이미 lock 연산을 실행한 데이터에는 다시 lock 연산이 실행될 수 없음
• 모든 연산을 수행하고 나면 unlock 연산을 실행해서 독점권을 반납해야 함

lock 연산은 다양한 크기의 데이터를 대상으로 실행할 수 있음
전체 데이터베이스에 lock 연산을 실행하면 제어가 간단하지만 하나의 트랜잭션만 수행되므로 병행 수행이라 할 수 없음
속성에 lock 연산을 하면 많은 수의 트랜잭션이 병행 수행할 수 있지만 제어가 복잡함
즉, 시스템에 따라 적절한 로킹 단위를 선택하는 것이 중요

기본 로킹 기법

• 병행 수행을 제어, 엄격한 제약으로 어떤 순간이든 데이터 독점을 하나의 트랜잭션만 가능
  write는 엄격해야 함, read는 동시에 실행해도 문제가 없음 -> 공용, 전용 lock
  • 공용 lock – read는 가능하지만 write는 불가(데이터에 대한 사용권을 여러 트랜잭션이 지님)
  • 전용 lock – read, write 가능, 다른 트랜잭션은 접근 불가
• 하지만 이러한 기본 로킹 규약만으로는 트랜잭션 스케쥴의 직렬 가능성을 완벽히 보장할 수 없음

2단계 로킹 규약(2PLP)

• 트랜잭션 스케줄의 모든 트랜잭션이 2단계 로킹 규약을 준수하면 해당 스케줄은 직렬 가능성이 보장됨
  확장단계(lock만 가능), 축소단계(unlock만 가능)로 나누어 실행
• 교착 상태(deadlock)가 발생할 수 있음
  교착 상태는 처음부터 발생하지 않도록 사용자가 예방하거나, 발생했을 때 빨리 탐지하여 필요한 조치를 취하는 방법으로 해결해야 함