taewan-study-record 님의 블로그

[확률과 통계] 3.1 Discrete Random Variables

taewan-study-record — Tue, 25 Mar 2025 04:05:24 +0900

- 본 내용은 "Introduction to Probability, Statistics, and Random Processes" 책 내용을 통해 작성 되었고 [인프런] 확률과 통계 기초(조범희) 강의를 참고해서 작성 되었습니다.

3장에서는 위와 같은 것에 대해서 공부하였고 이 글에서는 Part1 부분을 정리할 것이다.

우선 함수의 표기법은 위와같다. A를 domain 이라고하고 B를 codomain이라고 한다.

여기서 A -> B 일때 x가 f(x)에 2개이상 대응되선 안된다.

f(x)를 range 혹은 image라고 한다.

Discrete Random Variables

예시를 통해서 random variable에 대해서 설명하고자 한다.

위와같이 동전을 3번 던지는 경우를 생각해보면 앞면이 나오는 숫자는 0,1,2,3 이 있다. 이를 random variable이라고 한다.

random variable은 sample space 에서 real number 로 대응되는 함수를 뜻한다.

X = x_k 로 쓸수 있고 공평한 주사위를 2번 던지는 걸로 예를 들면 X=3 이 나올 확률은 {1,2} {2,1} 이고 전체 sample space가 36이므로

P(X = 3) = 1/18이 된다.

위에서 말했던 range는 Range(x), R_x 로 표기할 수 있으며 X가 될수있는 값의 집합을 의미한다.

Range에 익숙해지기 위한 예제는 아래와 같다.

a번은 동전 100번을 던졌을때의 Range는 100개의 elements를 가지는 set이 되고 countable하고 finite set이다.

b번은 동전의 앞면이 나올때까지의 Range이고 이는 자연수 N을 뜻하고 countable 하지만 infinite set이다.

마지막으로 c번은 운석이 지구에 충돌할 시간을 뜻하는데 이는 0이 될수도있고 무한대가 될수 있기때문에 uncountable한 Range를 가진다.

random variable 에는 discrete random variable 과 continuous random variable이 있다.

이 장에서는 discrete random variable을 다루고 뒤에서 continuous random variable을 다룰 것이다.

discrete random variable은 range와 sample space가 countable 한 경우를 뜻한다.

앞에 ex1에서 예로 들었던 것중에 a,b번은 discrete random variable이지만 c번은 아니라고 할 수 있다.

위와 같이 R_x 와 Sample space가 countable 한 경우가 discrete random variable 이고

표기법으론 P(X=x_k) 로 쓸 수 있다.

discrete한 random variable과 range가 있을때 위와 같이 표기하고 Probability Mass Function(확률 질량 함수) 라고 부른다.

PMF 를 통한 풀이를 보면 위와 같이 풀 수 있고 그래프로도 그릴 수 가 있다.

그래프의 전체의 합은 1이 되고 구간으로도 값을 구할 수 있다.

PMF의 특징으로는

1. 모든 값은 0과 1 사이이다.

2. 전체 합은 1이다.

3,4번 특징은 수식과 그림을 보면 이해할 수 있다.

unfair한 동전을 던졌을때 앞면이 나올 확률을 p라고 하면 Range는 자연수가 되고 PMF는 위와같이 나온다.

위와같은 분포를 geometric distribution(기하 분포) 라고 한다.

Random Variable 도 Independent 할 경우에 위의 Two events 의 경우와 똑같이 계산 할 수 있다.

그에 대한 증명은 위의 풀이를 통해서 이해할 수 있다.

여러개의 random variable에 대해서도 마찬가지 이다.

성공 혹은 실패 2개의 결과가 나오는 경우의 분포를 Bernoulli Distribution이라고 한다.

위는 베르누이 분포의 예를 보여준다.

기하 분포는 앞에서도 언급했듯이 파라미터 p와 위와같은 PMF를 가진다.

기하 분포는 x가 커질수록 확률이 낮아진다.

주사위가 1이 나올 확률을 생각해보자. 많이 던지다보면 안나올 확률이 굉장이 적다는것을 알 수 있다.

기하분포의 예이다. 이런 문제가 나오면 기하 분포를 생각하여 쉽게 풀이 할 수 있다.

[확률과 통계] 2.2 Counting Methods : Part II

taewan-study-record — Mon, 24 Mar 2025 02:39:45 +0900

Unordered 하고 without Replacement (비복원 추출) 인 Sampling 을 우리는 Combination(조합) 이라고한다

Combination의 경우 순서가 없기에 (1,2,3) = (3,2,1) 로 생각한다.

위의 예 처럼 4개의 element 중에 3개의 sample을 draw 할때 아래와 같이 4개의 경우만 나오는걸 알 수 있다.

Combination을 Permutation을 통해 나타내보면 4P3을 3!로 나눈걸로 생각 할 수있다.

K- Combinations of n-element set 을 (n, k) 로 나타낼 수 있다.

또한 이는 n! / k!(n-k)! 으로 나타낼 수 도 있다.

special한 케이스로 nC0 = 1 이고 permutation과 마찬가지고 k > n 이면 0이다.

예로 7개의 상자에 3개의 검은 바둑돌을 배치하는 경우 7C3을 통해서 35가지 경우의 수가 있다는 것을 알 수 있다.

이는 잘 생각해보면 4개의 흰색돌을 나머지 공간에 배치하는것과 같다고 생각할 수 있다.

nCk = nCn-k 인데 이는 combinatorial interpretation 이라고 불린다.

또 다른 예로 2개의 버스가 있고 이를 5명 7명으로 나눠서 타게할 가지수는 12C5 혹은 12C7로 구할 수 있다.

이처럼 그룹을 나눌때 Combination을 사용한다.

위에서 언급했던 Combinatorial Interpretation의 유용한 예이다.

A라는 n개의 원소를 가진 set에서 Subset의 갯수를 구하려고 하면 2^n개가 나오게 된다.

이는 nC0 + nC1 + ... + nCn 이 된다.

또한 n명 중 대표 한명을 정하고 그를 제외하고 K-1 명을 선택하는 경우의수 n(n-1, k-1) 은 n명중 k명을 뽑ㅂ느데 그 중 대표 한명을 정하는 경우의수 인 k(n,k)와 같음을 알 수 있다.

이건 조금 어려운 개념인데 n+1개의 set에서 k+1개를 뽑는 경우에 수는 n개에서 k+1을 뽑는것과 n개에서 k개를 뽑는것과 경우의 수 가 같다. 위의 예시를 보면 이해할 수 있다.

Vandermonde's idntity는 m+n 개의 set에서 k개를 뽑는 것을

아래의 식으로 바꿔서 쓸수 있다는 방법이다. m개중에 i개를 뽑고 n개중에 k-i개를 뽑은 경우를 i가 0부터 k가 될때까지의 경우를 모두 더해준 것과 같다.

binomial theorem 은 (a+b)^n을 전개할때 각 항의 차수를 알 수 있는 정리이다. 여기서 nCk를 binomial coefficient라고 한다.

이 예제는 Matching Problem이라는 유명한 문제이다. N 명의 사람이 모자를 쓰고 있을때 모든 모자를 모은다음에 다시 분배했을때 적어도 한명이 자신의 모자를 다시 받을 확률에 대해서 묻는 문제이다.

이 문제는 inclusion-exclusion principle을 통해서 이해할 수 있다.

위의 식을 따라 계산을 해보면

이러한 결과가 나옴을 알 수 있다. n이 충분히 커지면 1-e-1에 수렴함을 알 수 있다.

그룹을 나눠서 3개의 버스에 타야될때도 먼저 2명 8명으로 나누고 8명을 다시 5명 3명으로 나눠서 구하면

10C8 x 8C5로 계산하면 구할 수 있다. 이는 결국 10 C 2,5,3 으로 표현 할 수 있다.

이 같은 경우를 muiltimial theorem 이라고 하고 combination한 값은 multimial coefficient 라고 한다.

위의 예로 18 명이 주사위를 던질때 각면이 3번씩 동일하게 나올 확률을 볼 수 있다.

sample space는 6^18 이고 주사위의 각 면이 모두 동일하게 3번 나올 확률은 위의 multinomial theorem을 통해 구하면

18 C 3,3,3,3,3,3 이 되어 계산하여 구할 수 있다.

마지막으로 unordered 하면서 with replacement 인 sampling에 대해서 알아보겟다.

예를 보면 A = {6,7,8} 일때를 2개의 sample을 draw 해야한다.

이는 x1 + x2 + x3 = 2 로 볼 수 있다.

이 경우에는 n개중 k개를 뽑을때 (k+n-1, k) 로 계산을 하면 나오게 된다.

n+k-1 C k 는 n+k-1 C n-1 과 같음을 알 수 있고 계산 결과와 직접 5개중에 3개를 뽑앗을때의 수를 비교해보면 일치함을 볼 수 있다.

아래의 예제를 풀어보자

5개의 방에 20명이 들어가야된다고 할 때

위와같이 풀수 있다.

event A를 정의해서 각 방에 들어갈 사람의 수를 정해주면 위에서 공부했던 multinomial theorem으로도 풀 수 있다.

2장 내용 전체를 요약하면 아래와 같다.

[확률과 통계] 2.1 Counting Methods: Part I

taewan-study-record — Sun, 23 Mar 2025 22:58:48 +0900

Counting Method 파트에서는 위와 같은 내용에 대해서 공부하였다. 그중 PART I 부분을 먼저 정리 할 것이다.

유한한 sample space에서 모든 sample의 확률이 동등할때 P(A)는 위와 같이 구할 수 있고 |A| 는 A의 cardinality를 의미하기 때문에 단순히 개수를 세는 Couting Problem 이라고 할 수 있다.

위와 같은 주사위 문제가 있을때 Sample space는 구할 수 있지만 A는 counting method를 통해서 구할 수 있다.

n개의 가능한 결과가 있는 r번의 실험을 할때의는 n^r 의 경우의 수가 나오는데 이러한 경우를 Multiplication Principle 이라고 한다.

이를 적용하 예를 보자.

위와 같은 문제가 있을때 전체 경우의 수 N은 26^3 x 10^2 가 되고 10^8번 수행한다고 했을때

비밀번호가 맞을 확률은 전체 1 에서 모두 틀릴경우를 빼주면 된다.

따라서 1 - (1-1/N)^10^8 이 되게 된다.

또다른 예로 A가 있을때 A의 Subset의 갯수를 구할때도 각각의 원소가 존재하거나 존재하지 않거나를 따질경우

2^n 이 되게 된다. (공집합을 포함한다.)

용어

이렇게 하나의 set에서 element를 고르는 것을 Sampling 이라고 한다.

그중에서 한번 나온게 다시 나오는 경우를 with replacement(복원 추출) 이라고 하고 다시 나오지 않는 경우를 without replacement(비복원 추출) 이라고 한다.

또, 순서가 있는 경우는 ordered, 없는 경우는 unordered라고 한다. 위의 예시를 보면 쉽게 이해 할 수 있다.

위의 예시는 순서가 있는 복원 추출의 경우 예시이다. 이 경우에는 n개의 원소가 있으면 k번의 draw를 할때 n^K의 경우의수가 나오게된다.

순서가 있지만 복원추출이 아닌경우 without Replacement인 경우는 우리는 Permutation(순열) 이라고 한다.

이경우에는 복원추출이 아니기 때문에 다음 draw 때마다 선택할 수 있는 원소의 개수가 1개씩 줄어들게 된다.

Permutation의 notation은 오른쪽과 같이 4개정도 있는데 첫번째 notation을 주로 사용한다.

p_k^n 은 분자 분모에 (n-k)(n-k-1)...2x1 을 곱해주면 n! / (n-k)! 으로 쓸수 있다.

0!은 1을 의미하고 p_n^n 은 n!을 k가 n보다 클경우의 permutation은 0 k가 0일때는 1이 된다.

위 example3은 permutation의 예를 보여준다. 쉽게 풀 수 있다.

위의 예제는 birthday paradox라는 유명한 문제이다.

50명의 사람이 있을때 적어도 2명의 생일이 같은 확률을 구하는 문제이다.

A가 at least two people have the same birthday의 경우 일때 permutation을 통해서 p(A) = 1 - p(A^c) 로 위와 같이 구할 수 있다

K에 50을 대입하게 되면 97%의 확률이 나온다. 보통 사람들의 생각보다 높은 확률이 나오게 되는데 이는 365일중에 하루를 잡아두고 그것과 같은 날일 확률을 구하는게 아니기 때문에 그렇다. 하루를 잡아놓고 그날일 확률을 구하면 모두가 생각햇던것처럼 더 낮은 확률이 나오게 된다.

[논문 리뷰] Deep Residual Learning for Image Recognition (ResNet)

taewan-study-record — Sun, 23 Mar 2025 02:02:35 +0900

Abstract

깊은 neural network는 훈련하기 어렵다. 우리는 훨씬 더 깊은 netrworks의 훈련을 쉽게 하기 위해 Residual Learning(잔차 학습)을 제안한다.

우리는 참조되지 않은 함수를 학습하는 대신 레이어 입력을 참조하여 학습 잔차 함수로 레이어를 명시적으로 재구성한다.

=> 기존의 함수로 학습하기 보다 전의 입력값을 참조하여 학습에 활용하는것으로 대신한다.

결과 : ImageNet dataset에서 VGGNet 보다 8배 깊은 152개의 layer를 쌓을 수 있었고 더 적은 복잡도를 가진다.

1. Introduction

Deep convolutional neural network가 image classification에서 획기적인 성과를 이루었고, layer 가 증가할 수록 feature의 level이 더 풍부해질 수 있다.

=> 하지만, Figure 1에서 볼 수 있듯이 깊이가 깊어질수록 training err 와 test err 또한 높아짐을 알 수 있다.

vanishing/ exploding gradients(기울기 소실/폭주) 가 원인이다.

이러한 문제는 normalized initialization, intermediate normalization layers 에 의해 대체로 해결되었고 이를 통해 수십 개의 layer가 있는 network가 역전파를 사용하여 SGD를 위해 수렴을 시작할 수 있다.

하지만 networks가 깊어지면서 정확도가 포화하거나 급속도로 저하하는 문제가 발생하였고 이러한 문제점을 해결하기 위해서 residual learning(잔차학습) framework 를 도입하였다.

기존 매핑을 H(x) 라고하면 stacked nonlinear layers가 F(x) = H(x) - x 의 다른 매핑에 맞도록 한다.

원래 매핑은 H(x) = F(x) + x 로 다시 캐스팅 된다.

=> H(x) = F(x) + x 를 하게되면 F'(x) 가 0으로 수렴하더라도 x의 미분값인 1이 더해지기 때문에 기울기 소실과 정확도를 잡을 수 있다?

F(x) + x공식은 shortcut(skip) connections을 가진 feedforward neural network로 구현할수 있다.

이러한 실험의 결론은 아래와 같다

1. 엄청 깊은 networks는 최적화하기 쉽지만, residual learning을 활용하지 않고 단순히 layer를 쌓기만한 일반 netwokrs는 깊이가

증가할수록 더 많은 error를 보인다.

2. 본 논문의 residual learning network는 크게 증가한 깊이에서도 정확도 향상을 쉽게 얻을수 있고, 결과도 크게 개선되었다.

2. Related work

Residual Representation

vector quantization에서 residual vector를 인코딩하는 것이 original vector를 인코딩하는 것보다 효과적임
good reformulation이나 preconditioning은 optimization을 간소화할 수 있음

Shortcut Connection

"highway network"가 gating function과 함께 shortcut connection을 다룸
highway network의 gate는 data-dependent하고 parameter가 있음
- 이와 다르게 parameter free
gated shortcut이 닫히면(zero에 가까워지면) layer들은 non-residual function이 됨
- 이와 다르게 항상 residual하며, shortcut이 닫히는 일 없음

Inception layer

shortcut branch와 몇 개의 deeper branch로 구성

3. Deep Residual Learning

3.1 Residual Learning

H(x)를 few stacked layer의 underlying mapping이라고 하면 F(x) = H(x) - x를 H(x) = F(x) + x라 생각해보면 학습하기가 더 쉽다.

residual learning reformulation으로, identity mapping이 optimal하다면, solver는 weight를 얻기가 더 쉬울 것

-> 실제로 identity mapping이 optimal할 것 같진 않지만, 우리의 reformulation은 problem을 precondition하는 데 도움이 됨

3.2 Identity Mapping by Shortcuts

모든 few stacked layers에 residual mapping을 적용한다.

Fig2에서 building lock을 보여준다.

Equation(1)

F(x,{W_i}) 는 학습될 residual mapping을 의미하고, F = W_2σ(W_1 x) 에서 σ는 ReLu를 의미한다

F + x 가 shortcut connection을 의미하고 element-wise addition 이다.

x와 F의 차원은 같고 parameter도 없고 계산 복잡도도 없다.

Equation(2)

F와 X의 차원이 같지 않을 경우 차원을 맞추기 위해, shortcut connection에 linear projection W_s를 적용할 수 있다.

3.3 Network Architectures

plain / residual network 모두 실험을 진행하였다.

Plain Networks

VGG net 에 영감을 받았다.

Residual Network

plain network 에 shorcut connection을 삽입함

위에서 말한것과 같이 input 과 output 차원이 같을땐 Eq(1)을 사용한다

output dimension이 증가한 경우 2가지 방법이 있다.

1. zero padding을 적용하여 shortcut은 identity mapping을 수행한다.

2. 차원을 맞추기 위해 Eq(2)의 projection shortcut을 사용한다.

VGG/ Plain / Residual

3.4 Implementation

image는 더 짧은 쪽의 길이로 resize가 되고 224 x 224 크기로 random 하게 sample 된다.

standard color augmentation이 사용된다.

각 conv 이후와 activation 전에 Batch normalization 을 적용한다.

256사이즈의 mini-batch로 SGD를 사용하고 learning rate 는 0.1로 시작하여 error가 안정되면 10으로 나눠준다.

iter는 60만번, 0.0001의 weight decay와 0.9의 momentum 사용, dropout은 사용하지 않았다.

테스트에서 비교 연구를 위해 standard 10-crop testing을 적용하였고

가장 좋은 결과를 위해 fully-convolutional form을 채택하였고 multiple scale에서 score를 평균 낸다.

4. Experiments

4.1 ImageNet Classification

ResNet의 성능이 더 좋았고, ResNet 중에서도 깊이가 깊은 Network가 더 좋은 성능을 보였다.

Plain Networks

34-layer plain net이 가장 높은 train err 를 보였다.

-> BN을 적용했기때문에, vanishing gradient에서의 optimization difficulty는 아니고 깊은 plain ent이 exponentially low convergence rate를 가질거라고 추측한다.

Residual Networks

모든 shortcut에 identity mapping을 사용하고, 증가한 차원에 대해서는 zero-padding을 적용하였다.

-> 따라서 plain net와 비교했을 때 extra parameter가 없음

18-layer 보다 34-layer ResNet이 성능이 더 좋았다.

가장 중요하게, 34-layer ResNet은 training error도 더 낮았다.

-> 이는 degradation problem이 잘 다뤄졌다는 것을 의미한다.

-> extreme deep system에서 Residual Learning의 효과를 알 수 있음

18-layer도 accuracy는 꽤 좋지만, 18-layer ResNet이 더 빠르게 수렴하였다.

network가 너무 깊지 않으면 (여기선 18 layer), SGD가 여전히 plain net에서 잘 동작한다는걸 볼 수 있다.

-> 이 경우, ResNet 은 초기 단계에서 convergence를 더 빠르게 해서 optimization을 더 쉽게 한다.

Identity vs Projection Shortcuts

paramter free 와 identity shortcut이 training 을 돕는 것은 이미 앞에서 보았다.

다음으로 Projection Shortcut 에 대해서 알아보겠다. (Eq(2) 를 말함.)

세 가지 옵션을 비교하였다.

(A) 증가하는 차원에 대해 zero-padding shortcut, 모든 shortcut은 parameter free

(B) 증가하는 차원에 대해 Projection shortcut 적용, 그렇지 않으면 identity shortcut 적용

C > B > A 의 결과가 나왔다.

Deep Bottleneck Architectures

training 하는 시간을 줄이기 위해서 building block을 bottleneck 구조로 변경하였다.

residual function에서 3개의 layer stack을 사용한다.

3개는 각각 1x1, 3x3, 1,1 conv 이다.

1 x 1 conv : 차원을 줄이고 늘리는 역할

3 x 3 conv : input / output 차원의 bottleneck

그림의 두 구조는 시간 복잡도가 유사하다. parameter-free identity shortcut은 bottleneck 구조에서 중요하게 작용한다.

-> 만약 projection shortcut이면, shortcut이 두 고차원에 연결되어 있기 때문에, 시간 복잡도와 모델 사이즈가 두 배가 됨

실험 결과 152 layer 까지도 34 layer보다 더 정확한걸 볼 수 있었다.

이후 4.2, 4.3 장 에서는 CIFAR-10, MS COCO 에서 다른 network들 간의 비교를 보여준다.

뒤에서 또한 ResNet의 성능이 더 뛰어나다는 것을 보인다.

학교 인공지능 시간에도 다뤘던 내용인데 논문리딩을 통해서 다시 ResNet에 대해서 복습을 해보았다.

앞으로 4-1 캡스톤2에서 ResNet을 활용한 Classification을 직접 경험 해 볼 예정이다.

다음에는 ResNet 코드로 글을 적을 예정이다.

[확률과 통계] 1.3 Conditional Probability

taewan-study-record — Sat, 22 Mar 2025 03:43:10 +0900

오늘 비가올 확률이 0.1 이고 구름이 낄 확률이 0.3 이라고 할때

구름이 꼈을때 비가올 확률을 우리는 P(R | C) 를R given C 라고 읽고 이 같은 경우를 Conditional Probability(조건부 확률) 이라고 한다.

Conditional Probability 의 예로는 주사위를 던지는 경우를 생각해볼 수 있다.

위의 주사위 던지기 예에서도 알 수 있듯이 P(A|B) 는 A,B의 Intersection 의 확률을 B의 확률을 나눠 계산 할 수 있다.

또한 앞에서 말했던 Axiom 3개 모두 Conditional Probability에 적용 가능하다.

따라서 이 또한 성립한다.

예제 1,2의 풀이는 위와 같다.

Conditional Probability에는 Chain Rule(연쇄 법칙)이 존재한다.

위와같이 여러 집합의 확률의 Intersection을 Conditional Probability 로 나타낼 수 있다.

예제 3을 Conditional Probability의 Chain rule을 활용하여 푼 풀이있다.

두 사건이 있을때 Intersection의 확률이 각 확률의 곱과 같으면 두 사건은 Independent 하다고 할 수 있다.

Conditional Probability 또한 위와 같은 결과가 나온다.

Independent를 확인할떄는 벤 다이어그램이 도움이 되지 않는다.

앞에서 말했던 정의를 통해 값을 확인해 봐야 한다.

위는 예제 4번의 풀이이다.

Theorem 1.4 는 A와 B가 독립이면 그들의 Complement 들과도 서로 독립이라는 정리이다.

Theorem 1.5는 드모르간 법칙에 의해서 저러한 결과가 나오게 된다.

위는 예제 5의 풀이이다.

Independent와 disjoint는 다른 개념이다.

disjoint의 경우에 Intersection은 0이 되기 때문에 성립할 수 없다.

Law of Total Probability

전체 확률의 법칙은 위와같이 Bn 이 Sample space의 partition 일때 A와의 교집합을 통해 P(A)를 구하는 방법이다.

예제 6을 Law of Total Probability를 통해 위와 같이 풀이 할 수 있다.

Conditional Probability를 통해 Bayes' Theorem을 유도할 수 있다.

Bayes' Theorem을 사용한 예제8의 풀이이다.

사건 C가 일어날때 A와 B가 Conditional Independence 하면 위와같은 식이 유도된다.

하지만 Conditional Independence 는 Independence를 내포하지 않고 그 역 또한 아니다.

위에서 말한 내용을 정리하면 아래와같다.

Summary

[확률과 통계] 1.2 Random Experiments and Probabilities

taewan-study-record — Sat, 22 Mar 2025 03:06:38 +0900

Random Experiments(무작위 실험)이란 우리가 확실히 예측할 수 없는 결과의 과정이다.

모든 가능한 결과의 집합을 우리는 Sample space라고 부른다.

아래의 예를 보면 이해가 갈 것이다.

확률에서 Axiom은 위의 3개가 존재한다.

event A가 일어날 확률을 P(A) 라고 할때

1. 모든 이벤트 A에 대해서 P(A)는 0보다 크다.

2. Sample space의 확률은 1이다, P(S) = 1

3. A1, A2, A3 등의 set들이 disjoint event들일때, A1, A2, A3 등의 union의 확률은 각 p(An) 의 합과 같다.

편리한 표기를 위해서 Union을 or 라고 표기하고

Intersection을 and 나 , 또는 생략하여 표기 할 수 있다.

위에서 배웠던 inclusion-exclusion principle에 의해 A와 B의 Union의 확률은 각자의 확률에서 Intersection의 확률을 뺀 확률과 같다.

2개 이상의 Set의 Union을 구할때는 위와같은 principle을 따른다.

위는 예제의 풀이이다.

Sample space가 Countable 할때 discrete probability model을 고려할 필요가 있다.

예제 2의 풀이이다.

유한한 Sample Space에서 동등한 결과가 나올때 P(A) = |A|/|S| 로 표현할 수 있다.

주사위를 던지는 경우, 동전을 던지는 경우를 예로 들 수 있다.

예제 3번의 풀이이다.

Continuous 한 확률 모델의 예로는 원을 굴리는경우, 시간의 확률 등이 있다.

P({pi/2}) 는 0 이지만 위의 예처럼 구간으로 보면 확률을 구할수 있다.

Continuous 한 확률 모델은 뒤에서 더 자세하게 다룰 것이다.

위에서 정리한 내용은 아래와 같다.

Summary

[확률과 통계] 1.1 Probability Language : Sets

taewan-study-record — Sat, 22 Mar 2025 02:12:04 +0900

무작위성이란 어디에나 존재하고 이러한 현상을 분석하고 설명하기위한 mathmetical framework 를 확률 이론이라고 한다.

1장에서는 고등학교 수준의 확률과 통계의 기초에 대해서 다루게 되기 때문에 빠르게 정리하고 넘어 갈 예정이다.

set은 집합으로 elements 의 모임을 뜻한다. set은 중복이 없고, 순서가 중요하지 않다.

set의 예이다. 우선 annotation 으로 자연수는 N, 정수는 Z, 유리수는 Q, 실수는 R 이다.

Q는 위와 같이 N 과 Z의 집합 연산으로 표현할 수 있고 "|" 는 such that을 의미한다.

"[ a, b ]" 대괄호의 경우에는 closed interval로 a와 b를 포함하는 것을 의미하고 "(a, b)" 소괄호의 경우 a,b를 포함하지 않는 것을 의미한다. "[ a, b )" 처럼 한쪽만 포함하는것도 표현 할 수 있다.

Subset은 위의 예제와 같이 A의 모든 element가 B에 포함되면 B는 A의 Subset이라고 한다.

phi 기호는 empty set (공집합)을 의미한다.

위의 벤 다이어그램을 통해서 Subset에 대해서 쉽게 이해할 수 있다.

집합의 연산에는 Union(합집합), Intersection(교집합), Complement(여집합), Difference(substraction, 차집합) 이 있다.

disjoint는 위와 같이 A 와 B의 Intersection이 empty set 일떄를 뜻한다.

A1, A2,... 의 여러 set이 있을때 이들이 서로 disjoint 하면서 union이 A 일때 A1,A2,... 의 set을 A의 partition 이라고 한다.

드모르간 법칙인 Set A1과 A2 가 있을때 그들의 Union을 Complement 할때 A1 complement 와 A2 complement의 Intersection과 같다는 법칙이다. 벤 다이어그램을 통해 쉽게 이해 할 수 있다.

Distributive Law(분배 법칙)은 위와같이 Union과 Intersection 연산을 나눠서 할 수 있다는 법칙이다.

두 Set의 곱을 우리는 Cartesion product 라고 하고 A x B 라고 쓴다. 예는 위와같다.

Set의 Cardinality는 set의 element 갯수를 의미한다.

infinite set의 경우에는 countable 한 set과 Uncountable한 set으로 나눌수 있다.

자연수, 정수, 유리수의 경우 Countable set이지만 실수(R)은 Uncountable하다.

countable한 infinite set들은 모두 같은 cardinality를 가진다.

countable한 set의 경우 위의 Def중에 하나 이상이 참이여아한다.

Theorem 1.3 에서는 countable한 set의 subset도 무조건 countable하다는 정리이다.

Theorem 1.4는 A의 partition들이 모두 Countable하면 A 또한 Countable하다는 정리이다.

Theorem 1.5는 A와 B 모두 Countable하면 A 와 B 의 Cartesian product 또한 Countable 하다는 정리이다.

inclusion-exclusion principle은 유한한 set에서 A 와 B의 union의 Cardinality는 A 와 B의 Cardinality 합에서 A와 B의 Intersection의 Cardinality를 뺀것과 같다는 원칙이다.

위에서 Set에 대해 다룬 내용에 대해서 정리하면 아래와 같다.

Summary

[확률과 통계] 공부계획

taewan-study-record — Sat, 22 Mar 2025 00:58:19 +0900

Introduction to Probability, Statistics, and Random Processes 라는 책을 통해서 공부를 진행할 예정이다.

이 책과 함께 인프런에 있는 조범희 선생님의 확률과 통계 기초를 참고하여 정리 할 것이다.

[PS] BFS 개념 및 파이썬 코드

taewan-study-record — Wed, 19 Mar 2025 00:32:52 +0900

그래프는 노드(Node) 와 간선(Edge)로 표현되며 노드를 정점(Vertex) 라고 말한다.

그래프 탐색은 하나의 노드를 시작으로 모든 노드를 방문하는 것을 말하고, 두 노드가 간선으로 연결 되어 있다면, 두 노드는 인접(Adjacent)하다고 한다.

너비 우선 탐색(BFS)

너비 우선 탐색은 Breadth First Search 로 루트 노드에서 시작하여 인접한 노드를 먼저 탐색하는 방법이다.

BFS 에서 노드 탐색 순서는 아래와 같다.

BFS

이름에서도 알 수 있듯이 깊이가 얕은 노드부터 모두 탐색한뒤 깊이가 깊은 노드를 탐색하는 방법이다.

특징

- 두 노드 사이의 최단경로(Shortest Path)를 탐색할 때 활용하기 좋은 방식이다.

- 선입선출의 특징을 가지고 있는 자료구조인 큐를 활용하여 탐색할 노드의 순서를 저장하고 큐에 저장된 순서대로 탐색을 진행한다.

구현 알고리즘

1. 루트노드에서 탐색을 시작한다.

2. 루트노드와 인접하고 방문하지 않았고, 큐에 저장되지 않은 노드를 Queue에 넣는다.

3. Queue에서 pop하여 가장 먼저 큐에 저장한 노드를 방문한다.

순서는 아래와 같다.

(출처 : https://gmlwjd9405.github.io/2018/08/15/algorithm-bfs.html)

BFS 알고리즘

위의 설명과 같이 루트노드에 먼저 방문하고(1), 인접하고 방문된적 없으며 큐에 저장되지 않은 노드를 큐에 저장하고 가장 먼저 큐에 저장된 노드로 이동해서 인접노드들의 조건을 확인한다. 이 방식을 큐에 저장된 노드가 모두 사라질때까지 반복한다.

그래프 구현 방식

코드로 이를 구현 하기 위해서는 DFS와 마찬가지로 2가지 방법이 있다.

1. 인접 행렬

2. 인접 리스트

위와 같은 그래프를 인접행렬과 인접 리스트로 표현해보자.

인접행렬

인접행렬은 2차원 배열에 각 노드가 연결된 형태를 boolean 값(true, false)을 이용하여 기록하는 방식이다.

인접행렬

인접리스트

인접리스트 방식은 모든 노드에 연결된 노드에 대한 정보를 차례대로 연결하여 저장하는 방식이다.

파이썬 에서는 기본 자료형은 리스트 자료형에 append()를 통해서 구현 할 수 있다.

인접리스트

구현코드

인접행렬

from collections import deque

def bfs(node):
    global is_visited, visit_arr, queue, graph, node_num
    
    # 노드 방문 처리
    is_visited[node] = True
    visit_arr.append(node)
    
    # 모든 인접 노드 검사 (1부터 node_num까지)
    for i in range(1, node_num + 1):
        # 인접하고, 방문하지 않았고, 큐에 없는 경우
        if graph[node][i] == 1 and not is_visited[i] and i not in queue:
            queue.append(i)
    
    # 큐에 남은 노드 처리
    if queue:
        next_node = queue.popleft()
        bfs(next_node)

인접행렬 배열을 graph, 방문여부 배열을 is_visited, 방문한 노드를 순서대로 저장하는 배열을 visit_arr 이라고 하면 위와 같이 코드를 작성 할 수 있고 시간 복잡도는 O(N^2) 가 된다.

# 예제 데이터 초기화
node_num = 5  # 총 노드 수 (예시)
graph = [      # 인접 행렬 (1-based)
    [0, 0, 0, 0, 0, 0],  # 0번 인덱스 더미
    [0, 0, 1, 1, 0, 0],  # 1번 노드
    [0, 1, 0, 0, 1, 0],  # 2번 노드
    [0, 1, 0, 0, 1, 1],  # 3번 노드
    [0, 0, 1, 1, 0, 1],  # 4번 노드
    [0, 0, 0, 1, 1, 0]   # 5번 노드
]
is_visited = [False] * (node_num + 1)  # 방문 여부
visit_arr = []                         # 방문 순서 기록
queue = deque()                            # BFS 큐

# BFS 실행 (시작 노드: 1)
bfs(1)
print("BFS 방문 순서:", BFS_visit_arr)

사용 예시는 위와 같다.

인접리스트

from collections import deque

def bfs(node):
    global is_visited, visit_arr, queue, graph
    
    # 현재 노드 방문 처리
    is_visited[node] = True
    visit_arr.append(node)
    
    # 인접 노드 순회
    for adj_node in graph[node]:
        # 방문하지 않았고, 큐에 없는 노드만 추가
        if not is_visited[adj_node] and adj_node not in queue:
            queue.append(adj_node)
    
    # 큐에 남은 노드 처리 (BFS 순서 유지)
    if queue:
        next_node = queue.popleft()
        bfs(next_node)

인접 행렬과 똑같이 인접리스트 배열을 graph, 방문여부 배열을 is_visited, 방문한 노드를 순서대로 저장하는 배열을 visit_arr 이라고 하면 위와 같이 구현할 수 있고 시간 복잡도는 O(N + E) 가 된다.

# 예제 데이터 초기화
graph = {
    1: [2, 3],    # 노드 1의 인접 노드
    2: [4],       # 노드 2의 인접 노드
    3: [5],       # 노드 3의 인접 노드
    4: [],        # 노드 4의 인접 노드
    5: []         # 노드 5의 인접 노드
}

is_visited = [False] * 6  # 노드 개수 + 1 (1-based)
visit_arr = []
queue = deque()  # BFS 큐

# BFS 실행 (시작 노드: 1)
bfs(1)
print("BFS 방문 순서:", BFS_visit_arr)  # 출력: [1, 2, 3, 4, 5]

예시는 위와 같다.

[PS] DFS 개념 및 파이썬 코드

taewan-study-record — Tue, 18 Mar 2025 21:12:54 +0900

그래프는 노드(Node) 와 간선(Edge)로 표현되며 노드를 정점(Vertex) 라고 말한다.

깊이 우선 탐색(DFS)

깊이 우선 탐색은 Depth First Search 로 루트 노드에서 시작하여 다음 branch 로 넘어가기 전에 해당 branch를 완벽하게 탐색하는 방법이다.

DFS 에서 노드 탐색 순서는 아래와 같다.

DFS

특징

- 모든 노드를 탐색해야 할 때 활용하기 좋은 방식이다.

- BFS(깊이 우선 탐색) 보다 간단하지만 속도가 느리다.

구현 알고리즘

1. 루트노드에서 탐색을 시작한다.

2. 현재 노드에서 인접하고 방문하지 않은 노드를 방문한다.

3. 현재 노드에 인접하거나 방문하지 않은 노드가 없을 경우 갈림길로 돌아와 다른 방향의 노드를 방문한다.

순서는 아래와 같다.

(출처 : https://gmlwjd9405.github.io/2018/08/15/algorithm-bfs.html)

DFS 알고리즘

그래프 구현방식

코드로 이를 구현 하기 위헤서는 2가지 방법이 있다.

1. 인접 행렬

2. 인접 리스트

위와 같은 그래프를 인접행렬과 인접 리스트로 표현 해보자.

인접행렬

인접행렬은 2차원 배열에 각 노드가 연결된 형태를 boolean 값(true, false)을 이용하여 기록하는 방식이다.

인접행렬

인접 리스트

인접리스트 방식은 모든 노드에 연결된 노드에 대한 정보를 차례대로 연결하여 저장하는 방식이다.

파이썬 에서는 기본 자료형은 리스트 자료형에 append()를 통해서 구현 할 수 있다.

인접 리스트

구현 코드

인접 행렬

def dfs(node):
    # 현재 노드를 방문 처리
    is_visited[node] = True
    visit_arr.append(node)  # 방문한 노드 리스트에 추가

    # 인접 노드 탐색
    for i in range(1, node_num + 1):  # 노드 번호는 1부터 시작한다고 가정
        if graph[node][i] == 1 and not is_visited[i]:  # 인접 노드이고 방문하지 않았으면
            dfs(i)  # 재귀 호출로 다음 노드 방문

# 예제 데이터 초기화
node_num = 5  # 노드 개수 (예시)
graph = [      # 인접 행렬 (예시)
    [0, 0, 0, 0, 0, 0],
    [0, 0, 1, 1, 0, 0],
    [0, 1, 0, 0, 1, 0],
    [0, 1, 0, 0, 1, 1],
    [0, 0, 1, 1, 0, 1],
    [0, 0, 0, 1, 1, 0]
]
is_visited = [False] * (node_num + 1)  # 방문 여부를 저장하는 리스트
visit_arr = []                         # 방문 순서를 저장하는 리스트

# DFS 실행
dfs(1)  # 시작 노드는 예시로 '1'
print("방문 순서:", visit_arr)

인접행렬이 주어졌을때 예시는 위와 같다.

인접 리스트

def dfs(node):
    is_visited[node] = True  # 노드 방문 여부를 True로 저장
    visit_arr.append(node)   # 방문한 노드를 순서대로 저장하는 리스트에 해당 노드 추가
    
    for adj_node in graph[node]:  # 현재 노드의 인접 노드들을 순회
        if not DFS_is_visited[adj_node]:  # 방문되지 않은 인접 노드라면
            dfs(adj_node)  # 재귀적으로 DFS 수행

# 그래프 초기화 (예시)
graph = {
    1: [2, 3],
    2: [1, 4],
    3: [1, 4, 5],
    4: [2, 3],
    5: [3]
}

# 방문 여부를 저장할 딕셔너리 초기화
DFS_is_visited = {node: False for node in graph}

# 방문 순서를 저장할 리스트 초기화
DFS_visit_arr = []

# DFS 실행 (시작 노드: 1)
dfs(1)

print("DFS 방문 순서:", DFS_visit_arr)

예시는 위와 같다.

요즘 알고리즘 문제 풀이에 재미가 들려서 solved.ac 문제를 풀고 있는데 정리를 한번 해두면 좋을것 같아서 글을 적었다.

DFS는 그래프 탐색 문제의 기본이 되는 알고리즘 중 하나여서 알아둘 필요가 있다.