1.6 Linear Independent

- 본 내용은 "Linear Algebra and Its Applications, 3rd Ed., D. C. Lay" 책 내용을 통해 작성 되었고 [인프런] 선형대수학 개론(조범희) 강의를 참고해서 작성 되었습니다.

---

Linearly independent(선형독립)하다 라는 말은 Rn space 에 있는 vectors {v1, ..., vp} 들이 있을때 vector equation

x1v1 + ... + xpvp = 0 이 trivial solution만 가진다는 뜻이다. trivial solution 이란 vector 앞에 있는 coef 들이 다 0인 solution을 뜻한다.

반대로 Linearly dependnet(선형 종속)하다 라는 말은 c1v1 + ... + cpvp = 0 의 vector equation에서 weight cp가 최소한 한개 이상Non Zero 라는 말이다. 여기서 임의의 벡터 vj 를 잡았을때 이 벡터가 다른 벡터들의 linear combination으로 표현이 될까? 항상 그렇지는 않다. 왜냐하면 Non trivial solution이라고 해도 최소한 하나가 non zero인것 이기 때문에 vj의 coef가 0이 될수 있기 때문이다.

 

첫번째 예제를 아래와 같다.

 

vector 1,2,3 가 위와 같을때 Linearly dependent한지 independent한지 알아보려면 결국에는 오른쪽 항이 0인 vector equation이 solution이 있는지 알아보면 되기 때문에 augmented matrix를 만들고 row reduction을 통해 reduced echelon form을 만들어 준다. 3번째 과정에서 이미 linearly dependnet 하다는 것을 알 수 있다. 왜냐하면 변수는 3개인데 pivot position이 이미 2개 밖에 없고 free variable이 하나 있기 때문에 non-trivial solution(해가 무수히 존재한다) 이라는 뜻이다. 따라서 정의에 따라서 linearly dependent 하다. 결국에는 Ax = 0 의 homogeneous equation을 푸는것과 같다!!

 

 

 

위에서 봤던 vector들은 특정 matrix의 column들 이다. matrix columns의 Linear independence를 살펴보면 A matrix는 a1부터 an까지의 vector들로 column이 채워져있다고 할 수 있고 homogeneous matrix equation을 푸는것과 아래의 vector equation을 푸는 것과 같다. 따라서 matrix A 가 linearly independent 하다는 말은 AX = 0 의 homogeneous equation이 trivial solution 밖에 없다는 말과 같다.

 

Matrix 의 선형 독립 여부를 판별하는 문제를 살펴보자.

 matrix A 를 homogeneous equation으로 풀면 모든 row에 pivot position이 있고 free variable이 없기 때문에 trivial solution 이라고 볼 수 있고 linearly independent 하다고 할 수 있다.

 

 

어떤 vector set이 있을때 vector가 한개나 두개일때 linearly dependency에 대해서 재미있는 성질이 나온다.

어떠한 vector가 하나만 있을때를 생각해보자. vector가 하나만 있어도 set이라고 불릴 수 있다.

set이 하나의 vector v만 포함할때 v가 0벡터가 아닐때 그 set은 linearly independent 하다고 할 수 있다.

만약 v가 0이면 coef가 0이 아닐수도 있기 때문에 non-trivial solution이 있을수 있기 때문이다.

(non-trivial solution이 있다는 말은 linearly dependent 하다는 말과 같다.)

 

다음은 vector set이 2개의 vector를 가지고 있을 때를 생각해보자.

2개의 vector가 있을때 최소한 하나의 벡터가 다른 벡터의 곱으로 표현이 되면 linearly dependent하다.

여기서 최소한 하나 라고 한 이유는 하나의 vector가 0일때 0이 아닌 vector는 0인 vector로 표현 할 수 없기 때문에 at least one of the vector is a multiple of the other 라고 표현한 것이다.

v1 = cv2 처럼 특정 스칼라 c의 multiple로 표현이 되면 v1 앞에 coef는 -1로 0이 아니게 되기 때문에 non-zero term이 하나이상 되기 때문에 linearly dependent 하다고 볼 수 있다.

반대로 2개의 vector가 있을때 하나의 벡터가 다른 벡터의 곱으로 표현되지 않으면 linearly independent 하다.

왜냐하면 x1v1 + x2v2 = 0 이 있을때 서로의 multiple이 될수 없기 때문에 trivial solution만 가질수 밖에 없기 때문에 linearly independent하다.

 

예제를 살펴보자

예제의 첫번째는 당연하게도 두 벡터가 multiple로 표현 될 수 있기 때문에 Linearly dependent 하고

두번째는 두 벡터가 multiple로 표현 될 수 없기 때문에 Linearly independent하다.

우리는 위에서 성질을 공부하였기 때문에 이 vector set을 직접 homogeneous equation으로 바꾸어 풀 필요가 없이 바로 Linearly dependency를 알 수 있다.

 

Theorem 7. Characterization of Linearly Dependent sets

 

vector들의 set이 있을때 최소한 하나의 벡터가 나머지 벡터의 Linear combination으로 표현이 될때 이 set은 Linearly dependent 하다고 할 수 있다.

위에서 말했던것처럼 최소 하나의 항이 non zero 이기 때문이다.

 

다음은 더 재미있는 사실이 나오는데 이 set이 linearly dependent 하면 첫번째 벡터가 0이 아닌 벡터 일때 index j 가 1보다 큰 어떤 벡터 vj는 반드시 vj 벡터의 앞에 있는 벡터들의 linear combination으로 표현이 된다!!

R3 space 에 있는 u,v,w에 대해서 생각을 해보자.

u와 v가 linearly independent 하다는 조건이 있다. 이 뜻한 서로가 스칼라 곱의 형태로 표현되지 않는다는 말이다.

이때, w vector가 span{u, v}에 있으면 {u,v,w}는 linearly dependent하다. 다르게 말하면 {u,v,w}가 linearly dependent 하면 w는 반드시 span{u,v} 안에 있어야한다!! 이는 앞의 Theorem 7에 의해서 설명할 수 있다.

1. w는 span {u,v} 에 있기 때문에 w = cu + dv . 로 표현 될 수 있다.

2. u와 v는 linearly independent 하기 때문에 u,v 는 0이 될 수 없고 서로의 스칼라배가 되지 않는다.

 

u,v는 0이 아니기 때문에 Theorem 7에 의해서 v1을 여기선 u(혹은 v도 상관없음) 으로 두면 vj를 w 라고 두면 위의 정리에 의해서 

vj는 반드시 vj 벡터의 앞에 있는 벡터들의 linear combinationd으로 표현 되기 때문에 u,v의 linear combination으로 표현된다!!

 

Theorem 8

Theorm8

vector 의 사이즈(space)가 vector 갯수보다 적은 경우 이 matrix는 당연히 free variable을 가질 수 밖에 없기 때문에

AX = 0 이 homogeneous equation이 non-trivial solution을 가진다는 말이기 때문에 linearly dependent 하다고 할 수 있다.

 

Theorem 9

 

Theorem9

어떤 set이 zero vector를 포함하고 있으면 이 set은 반드시 linearly dependent하다.

 

 

1.6장 Linearly Independence 에서는 앞에 내용보다 조금 어려웠지만 재미있는 챕터였다.

정리해보면 아래와 같다.