Basic Mathematics for Artificial Intelligence
Part I 행렬과 데이터분석
http://matrix.skku.ac.kr/math4ai/part1/
[명령어 모음] http://matrix.skku.ac.kr/Lab-Book/Sage-Lab-Manual-2.htm
[연 습 문 제] http://matrix.skku.ac.kr/LA-Lab/
[디지털교과서] http://matrix.skku.ac.kr/LA-K/
0. Big Picture
1. 벡터
2. 선형연립방정식
3. 행렬과 행렬식
4. 일차독립과 기저 및 차원
5. 선형변환
6. 고윳값, 고유벡터, 대각화
7. SVD (특이값 분해)
8. 이차형식(quadratic form)
0. Big Picture (기초 선형대수학 개념의 구성)
2강 동영상, 선형대수학 Big Picture https://youtu.be/UdCJCk2MWDU (52:42) 중 10분~30분
▪벡터 :
예를 들어 힘, 속도, 가속도 등 방향과 크기를 모두 포함하는 물리량을 벡터(vector)라 하고, 일반적으로 
개 실수의 순서조 (순서쌍)
로 
차원 공간의 벡터를 나타낸다.
▪벡터 
의 노름(norm, length, magnitude), 
▪벡터 
, 
의 내적(Euclidean inner product, dot product)
= 
=
▪벡터공간 :
임의의 집합 
에 두 연산, 덧셈(vector addition, 
)과 스칼라 배(scalar multiplication, 
) 가 정의되고, 2개의 기본성질 (두 연산에 대하여 닫혀있다-closed )과 8개의 연산 성질을 만족하면 ‘
가 벡터공간(vector space))을 이룬다’ 고 한다. 예, 
, 
, 
, 행렬공간 등
▪부분공간 :
가 
의 부분공간(subspace)이라는 것은 벡터공간의 부분집합이면서 동시에 그 자체로 벡터공간이 되는 경우를 말한다.
▪2 step 부분공간 test :
가 
의 부분공간이 되는지 확인하려면 다음의 두 가지를 보이면 된다.
(1) 
(2) 
▪일차결합 :
의 한 일차결합(linear combination)이란 적당한 스칼라 
가 존재하여 다음을 만족하는 경우를 말한다.;
▪Span(일차결합들의 전체집합) :
의 일차결합 전체를 모은 집합을 
에 의하여 생성된(spanned) 부분공간이라 하고 다음과 같이 표기한다.
의 span
▪일차독립 :
에 대하여
을 만족하면 
는 일차독립(linearly independent)이라 한다.
▪일차종속 :
가 일차독립이 아니면 일차종속(linearly dependent)이라 한다. 
가 일차종속이면 모두는 영은 아닌 스칼라 
(즉, 
중 적어도 하나는 영이 아닌) 가 존재하여 다음을 만족한다.
▪벡터공간의 기저 :
다음을 만족하는 
를 
의 기저(basis)라 한다.
(1) 
가 일차독립이다. (2) 
▪벡터공간의 차원 :
가 
의 기저라 할 때 
의 차원(dimension)은 다음과 같이 정의된다.
▪행공간 :
행렬 
의 행벡터들의 일차결합 전체의 집합을 행공간(row space)이라 한다. 즉, Row(
) 
▪열공간 :
행렬 
의 열벡터들의 일차결합 전체의 집합을 열공간(column space)이라 한다. 즉, Col(
) 
▪계수 :
행공간(열공간)의 차원을 행렬의 계수(rank)라 한다. 즉
rank(
)
Row(
)
Col(
).
▪벡터공간의 기저는 다음을 만족한다.
(http://matrix.skku.ac.kr/mt-04/chp3/3p.html 의 Lemma 3.9 참조)
(1) 기저는 maximal linearly independent subset 이다.
(2) 기저는 minimal spanning subset 이다.
▪초평면(hyperplane) :
에 대하여 
를 
의 초평면(hyperplane)이라 한다.
http://matrix.skku.ac.kr/knou-knowls/cla-week-9-sec-7-3.html
▪정사영 :
에서 
벡터를 
의 
상의 정사영(또는 직교사영, orthogonal projection)이라 하고, 
를 
의 
상의 직교성분(orthogonal component)이라 한다.
http://matrix.skku.ac.kr/knou-knowls/cla-week-10-sec-7-5.html
▪행렬의 고윳값과 고유벡터 :
가 
차의 정사각행렬일 때, 
을 만족하는 스칼라 
를 
의 고윳값(eigenvalue)이라 하고, 
을 만족하는 
아닌 벡터 
를 고윳값 
에 대응하는 
의 고유벡터(eigenvector)라고 한다.
http://matrix.skku.ac.kr/knou-knowls/cla-week-6.html
▪행렬의 대각화 :
가 어떤 대각선행렬과 닮음행렬일 때, 즉 적당한 가역행렬 
가 존재하여 
가 대각선행렬일 때 
를 대각화가능한(diagonalizable) 행렬이라 하며, 이때 행렬 
를 
를 대각화하는(diagonalizing) 행렬이라고 한다.
http://matrix.skku.ac.kr/knou-knowls/cla-week-11-sec-8-2.html
▪SVD(특이값분해, singular value decomposition), 일반화된 역행렬, 최소제곱해, 선형회귀 :
행렬 
는 
로 분해될 수 있다는 이론을 행렬의 특이값분해(SVD) 또는 간단히 행렬 
의 SVD라 부른다. http://matrix.skku.ac.kr/2018-album/SVD.html
▪차원축소(dimension reduction)와 변수추출(feature extraction) :
어떤 목적에 따라서 <주요 성질을 대부분 보존하면서도> 데이터(행렬)의 크기(차원)를 크게 줄이는 다양한 방법
▪주축정리(主軸定理, 영어: principal axis theorem) :
이차 형식을 기술하는 문제에서, 어떤 이차 형식이든 적절한 변수 변환을 통해 혼합항이 없는 행렬 형태로 표현할 수 있음을 보장하는 정리
http://matrix.skku.ac.kr/knou-knowls/CLA-Week-12.html
▪고윳값 분해(eigen decomposition) :
고윳값 과 고유벡터을 이용하여 주어진 행렬을 고윳값 행렬과 고유벡터 행렬의 곱으로 분해하는 표현
▪PCA (주성분분석, Principal Component Analysis) :
PCA는 데이터의 분산(variance)을 최대한 보존하면서 서로 직교하는 새 기저(축)를 찾아, 고차원 공간의 표본들을 선형 연관성이 없는 저차원 공간으로 변환하는 기법
https://youtu.be/0IKbslNH7xk
▪서포트 벡터 머신(support vector machine, SVM) :
https://www.youtube.com/watch?v=eHsErlPJWUU&hd=1
데이터를 분류하는 것은 기계학습에 있어서 일반적인 작업이다. 주어진 데이터 점들이 두 개의 클래스 안에 각각 속해 있다고 가정할 때, 새로운 데이터 점이 두 클래스 중 어느 곳에 속하는지 결정하는 것은 중요한 과제이다. SVM에서 풀고자 하는 문제는 "How do we divide the space with decision boundaries?" 이다. SVM은 텍스트와 하이퍼텍스트를 분류하는 과정에서, 학습 데이터를 상당히 줄일 수 있게 해준다. ■
1. 벡터
http://matrix.skku.ac.kr/math4ai/part1/
2강 동영상, 벡터, 정사영, 최단거리 https://youtu.be/UdCJCk2MWDU (52:42) 중 30분~52분
1.1 벡터 (Vector)
참고 동영상: http://youtu.be/aeLVQoPQMpE http://youtu.be/85kGK6bJLns
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-1-Sec-1-1.html
▪스칼라(scalar) :
길이, 넓이, 질량, 온도 - 크기만 주어지만 완전히 표시되는 양
▪벡터(vector) :
속도, 위치이동, 힘 - 크기뿐만 아니라 방향까지 지정하지 않으면 완전히 표현할 수 없는 양
▪벡터는 크기와 방향을 갖는 유향선분 - 2차원, 3차원 공간의 벡터는 화살표로 표현 가능
▪시작점과 끝점이 같아서 크기가 
인 벡터를 영벡터라 한다(영벡터는 크기가 
이므로 방향은 임의의 방향으로 한다).
|
정의. |
[ |
개의 실수의 순서조
을 
차원 벡터(
-dimensional vector)라 하고
로 나타낸다. 이때 실수 
, 
, 
, 
을 
의 성분이라 한다.
|
정의. |
[벡터의 상등] |
, 
에 대하여 
(
)이면 
라고 한다.
|
정의. |
[벡터 합과 스칼라배] |
의 벡터
, 
와 스칼라 
에 대하여 두 벡터의 합 
와 
에 의한 
의 스칼라배 
를 각각 다음과 같이 정의한다.
(i) 
(ii) 
또한 
에서 모든 성분이 
인 벡터를 영벡터 또는 원점이라 하고 
으로 나타낸다. 그러면 임의의 벡터 
에 대하여
, 
이 성립함을 쉽게 알 수 있다. 여기서 
로 정의하며 
를 
의 음벡터라 한다.
모든 
차원 벡터 전체의 집합을 
-공간 (
차원 공간) 
으로 나타낸다. 즉
의 벡터 
, 
에 대하여 
, 
, 
를 구하여라.
= (-1, 6, -2, 4)
= (3, -2, -4, 4)
= (-2, -4, 6, -8) ■
[ 실습 : http://sage.skku.edu/ ]
http://matrix.skku.ac.kr/2018-album/LA-Sec-1-1-lab.html
1.2 내적
참고 동영상: http://youtu.be/g55dfkmlTHE
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-1-Sec-1-2.html
|
정의. |
|
의 벡터 
에 대하여
을 
의 노름(norm, length, magnitude)이라 한다.
위의 정의에서 
는 원점에서 점 
에 이르는 거리로 정의됨을 의미한다. 따라서 
의 두 벡터 
, 
에 대하여 
는 두 점 
와 
사이의 거리(distance)로 정의한다. 즉,
의 벡터 
, 
에 대하여 
, 
, 
를 구하여라.
= 3*sqrt(2)
= sqrt(30)
= 5*sqrt(2) ■
|
정의. |
[내적(Euclidean inner product, dot product)] |
의 벡터 
, 
에 대하여 실수
을 
와 
의 내적(Euclidean inner product, dot product)이라 하고 
로 나타낸다. 즉
= 
=
▪ 
|
정리. |
코시-슈바르츠 부등식 |
의 임의의 벡터 
, 
에 대하여 다음 부등식이 성립한다.
단, 등호는 
, 
중 하나가 다른 것의 실수배일 때만 성립한다.
의 벡터 
, 
에 대하여 내적 
를 구하여라.
답: 
= -1
http://matrix.skku.ac.kr/2018-album/LA-Sec-1-2-lab.html
1.3 정사영
참고 동영상: http://youtu.be/4UGACWyWOgA http://youtu.be/YB976T1w0kE
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-1-Sec-1-3.html
|
정의. |
|
벡터 
와 
가 
에 있고, 
라 하자. 그러면 점 
에서 
에 내린 수선의 발을 
라 할 때, 벡터 
를 
위로의 
의 정사영(projection of 
onto 
)이라 하고 
=
로 나타낸다. 이때 벡터 
를 
에 직교인 
의 벡터성분(vector component)이라 한다. 따라서 
는 두 벡터의 합 
로 나타내진다.
▪ 
가 
에 평행이므로, 
이다. 그리고 
는 
에 직교(orthogonal)이므로,
.
따라서 
이고
. ■
|
정리. |
정사영 |
의 벡터 
, 
에 대하여 다음이 성립한다.
여기서 
. ■
, 
에 대하여 
위로의 
의 정사영 
와 
에 직교인 
의 벡터성분 
를 구하여라.
(
, 
)
풀이 
이므로
= (15/7, -15/14, 45/14),
=(13/7, 1/14, -17/14) ■
[ 실습 : http://sage.skku.edu/ ]
|
정리. |
점과 평면사이의 (최단) 거리 |
점 
와 평면 
사이의 거리 
는 다음과 같다.
점 
에서 평면 
에 이르는 거리 
를 구하여라.
(
= vector([1, 3, -2]) 위로의 
= vector([3, -1, 2])의 정사영(projection of 
onto 
)의 노름)
따라서 점 
에서 평면 
에 이르는 거리는 
이다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-1-3-lab.html (여기서 실습하세요!)
2. 선형연립방정식
2.1 선형연립방정식 (Linear System of Equations)
참고 동영상: http://youtu.be/CiLn1F2pmvY http://youtu.be/AAUQvdjQ-qk
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-2-Sec-2-1.html
3강 동영상, 선형연립방정식, 행렬과 행렬식 https://youtu.be/qwQX_zPIlCU (47:45)
|
정의. |
선형연립방정식(system of linear equations) |
(1) 일반적으로, 미지수 
에 관한 유한개의 선형방정식의 모임
을 선형연립방정식(system of linear equations)이라고 한다. 만일 상수항 
이 모두 0일 경우를 동차선형연립방정식(homogeneous system of linear equations, 동차선형방정식시스템)이라 한다.
(2) 선형연립방정식의 미지수 
에 어떤 수 
을 각각 대입하였을 때, 각 방정식이 모두 성립하면 (
)을 이 선형연립방정식의 해(solution)라고 한다. 예를 들어, 선형연립방정식
|
|
(1) |
의 
에 각각 
을 대입하면 두 방정식이 모두 성립하므로 
은 선형연립방정식 (1)의 해이다. 일반적으로 선형연립방정식의 해가 존재하는 경우를 consistent(일관된)한 연립방정식이라 하고, 해가 존재하지 않는 연립방정식은 inconsistent 한 연립방정식이라 한다.
▪ (미지수가 2개인 선형연립방정식의) 해집합의 다양한 모습
(1) 
(2) 
(3) 
일반적으로, 주어진 선형연립방정식은 다음 중 하나만(one and only)을 만족한다.
(1) 유일한 해를 갖는다.
(2) 무수히 많은 해를 갖는다.
(3) 해를 갖지 않는다. (inconsistent 한 선형연립방정식)
|
정의. |
첨가행렬(augmented matrix) |
개의 미지수를 갖는 
개의 일차방정식으로 이루어진 선형연립방정식
(3)
에 대하여
이라 하면 선형연립방정식 (3)은 행렬의 곱을 이용하여 다음과 같이 간단히 쓸 수 있다.
이때 행렬 
를 선형연립방정식 (3)의 계수행렬(coefficient matrix)이라 하며, 
에 
를 붙여서 만든 행렬
을 선형연립방정식 (3)의 첨가행렬(augmented matrix)이라고 한다.
다음 선형연립방정식을 행렬의 곱을 이용하여 나타내고, 첨가행렬을 구하여라.
풀이 
이라 할 때 
이다. 그리고 첨가행렬은
■
[ 실습 : http://sage.skku.edu/ ]
http://matrix.skku.ac.kr/2018-album/LA-Sec-2-1-lab.html
2.2 Gauss 소거법과 Gauss-Jordan 소거법
참고 동영상: http://youtu.be/jnC66zvqHJI http://youtu.be/HSm69YigRr4
▪ 선형연립방정식의 풀이: 소거법
▪ 위의 소거법에서 행한 연산: 선형연립방정식의 해집합을 바꾸지 않는다.
(1) 두 식을 교환한다. 
(2) 한 식에 0 아닌 실수를 곱한다. 
(3) 한 식에 0 아닌 실수배를 하여 다른 식에 더한다. 
이를 기본행 연산(ERO, Elementary Row Operations)이라 한다.
|
정의. |
기본행 연산(elementary row operation, ERO) |
행렬 
에 관한 다음의 연산을 기본행 연산(elementary row operation, ERO)이라고 한다.
E1: 
의 두 행 
행과 
행을 서로 바꾼다. 
E2: 
의 
행에 
이 아닌 상수 
를 곱한다. 
E3: 
의 
행을 
배 하여 
행에 더한다. 
|
정의. |
행 사다리꼴(row echelon form, REF) |
행렬 
가 다음 3가지 성질을 만족할 때, 행 사다리꼴(row echelon form, REF)이라고 한다.
(1) 성분이 모두 0인 행이 존재하면 그 행은 행렬의 맨 아래에 위치한다.
(2) 각 행에서 처음으로 나타나는 0이 아닌 성분은 1이다. 이때 이 1을 그 행의 선행성분(leading entry, leading 1)이라고 한다.
(3) 
행과 
행 모두에 선행성분이 존재하면 (
)행의 선행성분은 
행의 선행성분보다 오른쪽에 위치한다.
또 행 사다리꼴 행렬 
가 다음 4번째 성질을 추가로 만족하면 
를 기약 행 사다리꼴(reduced row echelon form, RREF)이라고 한다.
(4) 선행성분(leading entry in row)을 포함하는 열의 선행선분 외의 성분은 모두 0이다.
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-2-Sec-2-2.html (실습하세요!)
행렬 
의 기약 행 사다리꼴(reduced row echelon form, RREF)를 구하시오.
[ 실습 : http://sage.skku.edu/ ]
|
정리. |
행동치인 선형연립방정식은 해집합이 같다 |
첨가행렬이 행동치인 두 선형연립방정식은 동치이다(즉, 해집합이 같다).
▪ Gauss 소거법: 선형연립방정식의 첨가행렬을 REF로 변형하여 푸는 방법이다.
▪ Gauss-Jordan 소거법: 선형연립방정식의 첨가행렬을 RREF로 변형하여 푸는 방법이다.
Gauss-Jordan 소거법을 이용하여 다음 연립방정식의 해를 구하여라.
따라서 주어진 선형연립방정식의 해는 
, 
, 
이다. 또한, A.solve_right(b) 명령어를 이용하여 해를 구할 수도 있다.
Gauss-Jordan 소거법을 이용하여 다음 연립방정식의 해를 하나 구하여라.
따라서 주어진 선형연립방정식의 해는 자유변수 
, 
, 
에 대하여 
, 
, 
, 
, 
, 
이다. 이와 같이 무수히 많은 해를 갖는 선형연립방정식인 경우에, A.solve_right(b) 명령어는 모든 자유변수에 0을 대입한 해를 찾아준다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-2-2-lab.html (실습하세요!)
3. 행렬과 행렬식
3.1 행렬 연산
참고 동영상: http://youtu.be/jnC66zvqHJI http://youtu.be/HSm69YigRr4
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-2-Sec-2-2.html
|
정의. |
합(vector sum), 스칼라배(scalar multiple) |
두 행렬 
, 
와 실수 
에 대하여 
와 
의 합(vector sum) 
와 
의 스칼라배(scalar multiple) 
를 다음과 같이 정의한다.
, 
▪ 행렬 덧셈이 정의되려면 두 행렬의 크기가 같아야 한다.
일 때, 
, 
, 
는?
[ 실습 : http://sage.skku.edu/ ]
|
정의. |
행렬의 곱(product), |
두 행렬 
, 
에 대하여 
와 
의 곱(product) 
를 다음과 같이 정의한다.
여기서, 
▪ 
라 하고, 
의 
번째 행을 
, 
의 
번째 열을 
로 표기하자. 그러면
즉, 
▪ 앞 행렬 
의 행벡터와 뒤 행렬 
의 열벡터의 내적(inner product)이 
행렬의 해당 위치에 대응하는 성분과 일치한다. [King Sejong's ㄱ 법칙, 세종대왕의 기역 법칙]
행렬 
, 
에 대하여 
를 구하여라.
행렬의 곱을 이용하면 선형연립방정식을 쉽게 표현할 수 있다. 아래 선형연립방정식
에서 계수와 미지수, 상수항을 각각 
, 
, 
이라 하면, 다음과 같이 나타낼 수 있다.
선형연립방정식의 일반적 형식 선형연립방정식의 벡터 형식
|
정의. |
영행렬(zero matrix) |
(1) 영행렬(zero matrix)은 성분이 모두 0인 행렬로 
(또는 
)로 나타낸다.
(2) 주대각선성분이 모두 1이고 나머지 성분은 모두 0인 
차의 정사각행렬을 단위행렬(identity matrix)이라 하고, 
으로 나타낸다.
(3) 
가 
차의 정사각행렬일 때, 
의 거듭제곱을 다음과 같이 정의한다.
(
개)
(4) 행렬 
에 대하여 
의 전치행렬(transpose)을 
로 나타내고 다음과 같이 정의한다.
, 
▪ 전치행렬은 원 행렬의 행과 열을 바꾸어 얻어진 행렬이다.
다음 행렬들의 전치행렬을 각각 구하여라.
SageMath cell 서버 http://sage.skku.edu/ 에서 임의로 행렬을 하나 생성하고, 그 행렬의 전치행렬을 구하라.
|
정리. |
전치행렬의 성질 |
두 행렬 
와 임의의 스칼라 
에 대하여 다음이 성립한다.
(1) 
(2) 
(3) 
(4) 
|
정의. |
대각합(trace) |
행렬 
의 대각합(trace)은 
이다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-3-1-lab.html (실습하세요!)
3.2 역행렬
참고 동영상: http://youtu.be/GCKM2VlU7bw http://youtu.be/yeCUPdRx7Bk
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-3-Sec-3-2.html
|
정의. |
역행렬 |
차의 정사각행렬 
에 대하여 다음을 만족하는 행렬 
가 존재하면 
는 가역(invertible, nonsingular)이라고 한다.
이때 
를 
의 역행렬(inverse matrix)이라고 하며, 이러한 
가 존재하지 않으면 
는 비가역(noninvertible, singular)이라고 한다.
행렬 
는 가역인가 비가역인가?
[ 실습 : http://sage.skku.edu/ ]
따라서 행렬 
는 비가역행렬이다.
|
정리. |
가역행렬(invertible matrix)의 성질 1 |
차의 정사각행렬 
가 가역이고 
가 
이 아닌 스칼라일 때, 다음이 성립한다.
(1) 
은 가역이고, 
이다.
(2) 
는 가역이고, 
이다.
(3) 
는 가역이고, 
이다.
(4) 
도 가역이고, 
|
정리. |
가역행렬(invertible matrix)의 성질 2 |
만일 
가 가역행렬이면, 
도 가역행렬이고 다음이 성립한다.
행렬 
의 역행렬을 구하여라.
풀이 
http://matrix.skku.ac.kr/2018-album/LA-Sec-3-2-lab.html (실습하세요!)
3.3 기본행렬
참고 동영상: http://youtu.be/GCKM2VlU7bw http://youtu.be/oQ2m6SSSquc
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-3-Sec-3-3.html
|
정의. |
기본행연산(elementary row operation, ERO) |
에 기본행연산(elementary row operation, ERO)을 한 번 적용해서 얻은 행렬을 기본행렬(elementary matrices)이라 한다. 그리고 치환(permutation)행렬은 
의 행들을 교환하여 얻어진 행렬이다.
▪세 가지 기본행 연산에 대응하는 기본행렬들은 다음과 같다.
(1) 
: 두 행을 교환한다. 
(2) 
: 한 행에 영 아닌 상수배를 해서 다른 행에 더한다. 
(3) 
: 한 행에 영 아닌 상수배를 한다. 
|
정리. |
역행렬 구하는 방법 1 |
[단계 1] 주어진 행렬 
에 단위행렬 
을 첨가하여 
행렬 
을 만든다.
[단계 2] 단계 1에서 만든 행렬 
의 RREF를 구한다.
[단계 3] 단계 2에서 얻어진 RREF를 
라고 하면 다음이 성립한다.
(1) 
이면 
이다.
(2) 
이면 
는 비가역이고 
은 존재하지 않는다.
첨가행렬 
의 RREF를 이용하여 행렬 
의 역행렬을 구하여라.
http://matrix.skku.ac.kr/2018-album/LA-Sec-3-3-lab.html
http://matrix.skku.ac.kr/2014-Album/MC-2.html (실습하세요!)
3.4 선형연립방정식의 해집합, 특수행렬
참고 동영상: http://youtu.be/daIxHJBHL_g http://youtu.be/O0TPCpKW_eY
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-4-Sec-3-5.html
http://matrix.skku.ac.kr/knou-knowls/CLA-Week-4-Sec-3-6.html
|
정리. |
행렬의 가역성과 선형연립방정식의 해 사이의 관계 |
차의 정사각행렬 
가 가역이고 
가 
의 벡터일 때, 연립방정식 
는 유일한 해 
를 갖는다.
역행렬을 이용하여 다음 연립방정식 
의 해를 구하여라.
따라서 주어진 선형연립방정식의 해는 
, 
, 
이다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-3-5-lab.html (실습하세요!)
|
정의. |
대각선행렬(diagonal matrix), 스칼라행렬(scalar matrix) |
(1) 대각선행렬(diagonal matrix): 주대각선성분 이외의 모든 성분이 
인 정사각행렬. 주대각선성분이 
인 대각선행렬 diag
은 다음과 같이 쓴다.
diag
(2) 단위행렬(identity matrix): 주대각선성분이 모두 1인 행렬 
(3) 스칼라행렬(scalar matrix): 
, 
다음 대각선행렬 
와 단위행렬 
, 영행렬 
를 구하여라.
, 
, 
|
정의. |
대칭행렬(symmetric matrix) |
(1) 정사각행렬 
가 
를 만족하면 
를 대칭행렬(symmetric matrix)이라 하고, 
를 만족하면 반대칭행렬(skew-symmetric matrix)이라고 한다.
(2) 하삼각행렬(lower triangular matrix): 주대각선 위의 모든 성분이 
인 정사각행렬
(3) 상삼각행렬(upper triangular matrix): 주대각선 아래의 모든 성분이 
인 정사각행렬
일반적인 
삼각행렬은 다음과 같은 형태이다.
행렬 
는 대칭행렬이고, 행렬 
는 반대칭행렬임을 보여라.
따라서 
이므로 
는 대칭행렬이고, 
이므로 
는 반대칭행렬이다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-3-6-lab.html (실습하세요!)
3.5 행렬식
참고 동영상: http://youtu.be/DM-q2ZuQtI0 http://youtu.be/Vf8LlkKKHgg
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-5-Sec-4-1.html
|
정의. |
치환(permutation, 순열) |
(1) 자연수의 집합 
의 치환(permutation, 순열)이란 
에서 
로의 일대일 대응함수이다.
▪ 앞으로 치환을 간단히 
로 나타낸다. 치환 
는 일대일대응이므로 치역 
은 
의 숫자를 일렬로 배열하는 것에 지나지 않는다. 따라서 
의 치환은 모두 
개이다. 집합 
의 모든 치환의 집합을 
으로 표시한다.
(2) 치환 
에서 반전(inversion)이란 큰 자연수가 작은 자연수보다 더 왼쪽에 먼저 나타나는 경우를 말한다. 예를 들어 아래 그림의 치환 
에서 
는 
보다 더 왼쪽에 있으므로 
에서 반전이 일어났다. 마찬가지로 
에서도 반전이 일어났다.
(3) 치환이 가진 반전의 총 개수가 짝수이면 이 치환은 짝치환(even permutation), 홀수이면 홀치환(odd permutation)이라고 한다.
의 치환 
의 반전의 총수를 구하여 짝치환인지 홀치환인지 결정하여라.
[ 실습 : http://sage.skku.edu/ ]
따라서 
의 치환 
은 짝치환이 아니므로 홀치환이다.
|
정의. |
치환(permutation, 순열), 행렬식 |
(1) 
의 각 치환을 
또는 
이라는 수에 대응시키는 부호화 함수(signature function) 
을 다음과 같이 정의한다.
(2) 행렬 
가 
차의 정사각행렬일 때, 
의 행렬식을 
또는 
로 나타내고 다음과 같이 정의한다.
▪ 정의에 의하여 1차 정사각행렬 
의 행렬식은 
이다.
▪ 행렬식의 각 항 
은 행렬 
의 행과 열에서 중복됨 없이 하나씩 뽑아서 곱한 후 대응되는 치환의 부호를 붙인 것이다.
행렬 
의 행렬식을 구하여라.
|
정리. |
가역행렬 |
(1) 
가 가역행렬일 필요충분조건은 
이다.
(2) 두 행렬 
, 
가 
차의 정사각행렬일 때, 
이 성립한다.
(3) 행렬 
가 가역이면 
이고, 
이 성립한다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-4-1-lab.html (실습하세요!)
|
정의. |
수반행렬(adjugate, adjunct 또는 classical adjoint matrix) |
차의 정사각행렬 
의 성분 
에 대한 여인자를 
라 할 때, 행렬 
를 
의 수반행렬(adjugate, adjunct 또는 classical adjoint matrix)이라 하고, adj
로 나타낸다. 즉,
|
정리. |
수반행렬을 이용한 가역행렬의 역행렬 |
차의 정사각행렬 
가 가역일 때, 
의 역행렬은 
이다.
행렬식과 수반행렬을 이용하여 행렬 
의 역행렬을 구하여라.
http://matrix.skku.ac.kr/2018-album/LA-Sec-4-2-lab.html (실습하세요!)
4. 일차독립과 기저(basis) 및 차원(Dimension)
4강 동영상, 기저, 차원 https://youtu.be/UHqhruN38ps (30:12)
4.1 일차독립과 부분공간
참고 동영상: http://youtu.be/HFq_-8B47xM http://youtu.be/UTTUg6JUFQM
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-4-Sec-3-4.html
|
정의. |
일차독립(linearly independent) |
(1) 
의 부분집합 
에 대하여, 벡터 
가
의 꼴로 표시되면, 
를 벡터 
의 일차결합(linear combination)이라고 한다.
(2) 
에 대하여
이면, 벡터 
(또는 집합 
)는 일차독립(linearly independent)이라고 하고, 벡터 
(또는 집합 
)가 일차독립이 아니면 일차종속(linearly dependent)이라고 한다.
▪ 집합 
가 일차종속이면 
을 만족하는 모두는 영이 아닌 스칼라 
가 존재한다.
|
정리. |
일차종속 |
집합 
에 대하여, 다음이 성립한다.
(1) 집합 
가 일차종속일 필요충분조건은 
에 속하는 한 벡터가 나머지 벡터들의 일차결합으로 표시되는 것이다.
(2) 집합 
가 영벡터를 포함하면 
는 일차종속이다.
(3) 집합 
의 부분집합 
이 일차종속이면 
도 일차종속이고, 
가 일차독립이면 
도 일차독립이다.
▪
는 
들을 열벡터(column vector)로 가지는 행렬, 
라 하자. 그렇다면 벡터들이 일차독립임을 보이기 위해서는 동차연립방정식 
이 유일한 해 
을 가져야 한다. 특히 
일 경우 
이면 유일해를 갖는다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-3-4-lab.html (실습하세요!)
|
정리. |
일차독립(L.I.) 판정법 |
벡터공간 
에서 
개의 (열)벡터
이 일차독립(L.I.)일 필요충분조건은 다음과 같다.
행렬식을 이용한 일차독립 판정법을 이용하여, 
의 세 벡터
에 대하여 
은 일차독립임을 확인하여라.
[ 실습 : http://sage.skku.edu/ ]
따라서 det
이므로 
은 일차독립이다.
|
정의. |
2 Step 부분공간(subspace) 판정법 |
(1) 집합 
가 
의 부분집합이라 하자. 이때 다음 두 조건을 만족하면
는 
의 부분공간(subspace)이다.
(덧셈에 닫혀 있다.)
(스칼라배에 닫혀 있다.)
(2) 행렬 
에 대하여 집합 
은 
의 부분공간이다. 이러한 
를 
의 해공간(solution space) 또는 
의 영공간(null space)이라 하며 기호로 Null
로 나타낸다.
(3) 
의 부분집합 
에 대하여 
에 있는 
개 벡터들의 일차결합 전체의 집합, 즉 
는 
의 부분공간이다.. 이러한 
를 
에 의하여 생성된(spanned) 
의 부분공간이라 한다. 집합 
는 
를 생성(span)한다고 하고, 
를 
의 생성집합(spanning set)이라고 하며 기호로는 다음과 같이 나타낸다.
또는 
특히, 
에 있는 모든 벡터가 
에 있는 
개 벡터들의 일차결합이면 집합 
는 
을 생성한다. 즉
이면, 
는 
을 생성한다고 한다.
다음 동차연립방정식의 해공간(solution space) 을 구하여라.
풀이: 해공간(solution space) = < (1, 3, 4, -2), (0, 5, 6,-3) > 
,
4.2 기저와 차원
참고 동영상: http://youtu.be/or9c97J3Uk0 http://youtu.be/172stJmormk
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-9-sec-7-1.html
|
정의. |
기저(basis) |
의 부분집합 
가 아래 두 조건을 만족하면 
를 
의 기저(basis)라 한다.
(1) 
가 일차독립
(2) 
|
정리. |
일차독립, 일차종속, 각 기저에 속하는 벡터의 개수 |
(1) 집합 
이 
의 기저일 때, 
의 
개의 벡터들의 집합 
은 항상 일차종속이다. 그러므로 
가 일차독립이면 언제나 
이다.
(2) 집합 
과 
이 
의 기저이면 
이다.
▪ 
의 기저는 무수히 많다. 그러나 각 기저에 속하는 벡터의 개수는 항상 같다.
|
정의. |
차원(dimension) |
집합 
가 
의 한 기저일 때, 
에 속하는 벡터의 개수를 
의 차원(dimension)이라 하며 
로 나타낸다.
|
정리. |
|
을 
의 부분공간 
의 기저라 하면, 
의 모든 벡터 
는 기저 벡터들의 유일한 일차결합으로 표현된다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-7-1-lab.html (실습하세요!)
▪ 
의 
개의 일차독립인 벡터들은 임의의 벡터 
를 일차결합으로 유일하게 표현하므로 기저이다!
|
정의. |
nullity( |
행렬 
에 대하여 
의 해공간, 즉 
의 영공간의 차원을 nullity(
)라고 나타낸다. 즉, dim Null(
)
nullity(
)이다.
▪ Gauss-Jordan 소거법을 이용하여 행렬 
을 선형연립방정식의 첨가행렬 
의 RREF라 하고 행렬 
는 첫 행부터 
개의 영이 아닌 행을 갖는다고 하자.
(1) 
이면 
의 해는 
만을 갖는다. 따라서 해공간의 차원은 
이다.
(2) 
이면 (필요한 경우 열을 교환하면—변수의 위치만 변경하면 되므로) 일반성을 잃지 않고
라고 할 수 있다. 그러면, 선형연립방정식은 다음과 동치이다.
즉, 
은 
개의 자유변수이다. 따라서 임의의 실수 
에 대하여 
이라 하면, 연립방정식의 일반해는 다음과 같이 
개 벡터들의 일차결합으로 표현이 가능하다.
여기서, 
이 임의의 실수이므로
도 연립방정식의 해이다. 따라서 위의 모든 
개의 벡터들의 일차결합 해는
로 표현되므로 
는 
의 해공간을 생성한다. 또, 
가 일차독립임을 쉽게 알 수 있다. 따라서 
는 이 해공간 
의 기저이고 이 해공간의 차원은 
이다.
|
정의. |
열공간(column space) Col |
행렬 
에 대하여 
의 각 행으로 이루어진 
개의 벡터
과 
의 각 열로 이루어진 
개의 벡터
을 각각 
의 행벡터(row vector), 열벡터(column vector)라고 한다. 이 행벡터 
들에 의해서 생성된 
의 부분공간 즉,
을 
의 행공간(row space), Row
로 나타내고, 열벡터 
에 의해 생성된 
의 부분공간 즉,
을 
의 열공간(column space)이라 하고, Col
로 나타낸다. 그리고 행공간의 차원을 
의 행계수(row rank), 열공간의 차원을 
의 열계수(column rank)라 하고, 각각 
, 
로 나타낸다. 즉,
dim Row
,
dim Col
|
정리. |
계수(rank), Rank-Nullity 정리 |
(1) 임의의 행렬 
에 대하여 
의 행계수와 열계수는 같다.
▪ 이 계수를 행렬 
의 계수(rank)라 하고 아래와 같이 쓴다.
(2) 임의의 행렬 
에 대하여 다음이 성립한다. [Rank-Nullity 정리]
rank(
) 
nullity(
)
(column 의 개수)
http://matrix.skku.ac.kr/2018-album/LA-Sec-7-2-lab.html (실습하세요!)
행렬 
의 rank와 nullity를 구하여라.
[ 실습 : http://sage.skku.edu/ ]
▪ 주어진 행렬의 기본 공간들 사이의 관계
(1) 
Col(
), Col(
)
Row(
,
(2) Row(
)
Null(
), Null(
)
Row(
),
(3) Col(
)
Null(
), Null(
)
Col(
)
http://matrix.skku.ac.kr/2018-album/LA-Sec-7-3-lab.html (실습하세요!)
4.3 정사영과 최소제곱해(least square solution), QR 분해
참고 동영상: http://youtu.be/Rv1rd3u-oYg https://youtu.be/BC9qeR0JWis
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-10-sec-7-5.html
http://matrix.skku.ac.kr/knou-knowls/cla-week-10-sec-7-6.html
QR 분해 http://matrix.skku.ac.kr/2018-album/LS-QR-decom.html (실습하세요!)
5강 동영상, 최소제곱해, QR분해 https://youtu.be/5r2KghYFw2w (40:49)
|
정리. |
|
(1) 
를 
의 부분공간이라 하면 
의 모든 벡터 
는
로 유일하게 표현된다. 여기서 
는 
에 직교(orthogonal)인 벡터들의 집합이다.
, 
(2) 
를 
의 부분공간이라 하고, 
의 열벡터들이 
의 기저(따라서 일차독립)를 이룰 때 모든 
에 대하여
이다.
|
|
최소제곱해(least square solution) |
다음과 같이 
와 
에 관한 2차원 데이터가 주어져 있다고 하자.
, ..., 
이를 좌표평면에 나타내면 다음과 같다.
[그림 출처] https://en.wikipedia.org/wiki/Linear_least_squares
이제 이 데이터로부터 
와 
의 관계를 가장 잘 보여주는 선형모델(방정식) 
을 찾아보자. 이상적인 상황은 모든 데이터 
에 대해서 모델 
이 만족되는 것, 즉
을 만족하는 경우이다. 그리고 이를 행렬로 나타내면 다음과 같다.
, 
, 
라 할 때, 
그러나 측정에서 생기는 오차의 영향을 줄이기 위하여, 대개 미지수의 개수보다 많은 데이터의 개수를 사용하므로, 방정식의 개수가 미지수의 개수보다 많은 (over-determined인) 선형연립방정식이 생긴다. 이런 경우, 일반적으로 선형연립방정식 
를 만족하는 유일한 해는 물론 단 하나의 해도 없는 경우가 대부분이므로 대신 
를 만족하는 근사해를 찾는다. 즉 오차 
을 최소화하는 근사해를 찾는 이 문제를 최소제곱문제(least squares problem)라 한다.
▶ 최소제곱문제(least squares problem):
Find 
such that 
다시 위의 데이터로부터 선형모델을 찾는 문제를 생각해보자. 
를 모델 
에 
를 대입하여 얻은 값이라고 하면, (즉 
) 최소제곱문제는 결국 오차 
이 최소가 되는 
, 
를 구하는 것과 같다.
▶ Normal equation (정규방정식)
최소제곱문제는 결국 
와 
사이의 거리(distance)를 가장 짧게 만드는 
를 찾는 것이다.
|
정의. |
Normal equation(정규방정식) |
가 최소제곱문제 
의 해가 될 필요충분조건은 
을 만족하는 것이다.
[이때 선형연립방정식 
을 normal equation(정규방정식)이라 한다.]
(Sketch) 일단 선형연립방정식 
의 해가 존재하지 않으므로 
Col(
)이 성립한다. 
의 Col(
) 위로의 정사영을 
이라 하면, 
의 해가 존재한다. 이 해를 
이라 하면, 
이 바로 최소제곱문제 
의 최소제곱해(least squares solution)가 된다. 다음 그림에서
, 
라 하면 
Col(
)이므로 
와 
의 열벡터들이 각각 직교이므로 
이 성립한다. 따라서 
, 즉 
이 성립한다.
의 열벡터들이 일차독립(이를 
가 full column rank를 갖는다고 한다)이면, 
가 가역이고, 
의 열벡터들이 Col(
)의 기저가 된다. 따라서 최소제곱문제의 최소제곱해(least squares solution)는
이고, 
를 만족한다.
다음 네 점 
를 지나는 least square line 
을 구하여라.
풀이 위의 네점은 
, 
, 
, 
의 해이다. 위의 연립방정식을 행렬을 이용하여 쓰면 
가 된다. 따라서
, 
이고, 
와 
를 계산하면,
, 
이다.
정규방정식을 이용하여 
를 구하면 다음과 같다.
따라서 위의 점들에 가장 근접하는 최소제곱직선(least square line)은 
이다.
따라서 최소제곱해를 구해 찾은 least square line은 
이다.
■
Normal equation(정규방정식)은 오차에 매우 민감하므로, 최소제곱문제 
를 풀 때는 특히 주의하여야 한다. 그래서 대부분의 경우는 
의 QR 분해(QR-decomposition)를 이용하여 최소제곱문제를 해결한다. QR 분해는 다음 페이지에서 자세히 다룬다.
|
정의. |
정규직교기저(orthonormal basis) |
(1) 
의 벡터 
에 대하여
라 하자. 이때, 
의 서로 다른 임의의 두 벡터가 모두 직교하면 
를 직교집합(orthogonal set)이라 한다. 특히, 직교집합 
에 속하는 벡터가 모두 크기가 1인 경우 
를 정규직교집합(orthonormal set)이라고 한다.
(2) 
의 기저 
가 직교집합이면 직교기저(orthogonal basis), 정규직교집합이면 정규직교기저(orthonormal basis)라고 한다.
|
정리. |
Gram-Schmidt 정규직교화 기저의 존재성 |
집합 
을 
의 임의의 기저라 하자. 그러면 
로부터 얻어지는 정규직교기저가 존재한다.
[Gram-Schmidt 정규직교화 과정]
먼저 
의 기저 
로부터 직교집합 
을 다음과 같은 단계로 계산한다.
[단계 1] 
이라 한다.
[단계 2] 
에 의하여 생성되는 부분공간을 
이라 하고
로 한다.
[단계 3] 
, 
에 의하여 생성되는 부분공간을 
라 하고
로 한다.
[단계 4] 에서부터 
까지는 마찬가지 방법으로
위의 단계로부터 얻어지는 
은 서로 직교인 직교집합이고, 각각의 크기를 
로 하면, 즉 
라 정의하면 집합 
은 
의 정규직교기저이다. ■
일 때, Gram-Schmidt 정규직교화 과정을 이용하여 
의 기저 
로부터 
의 정규직교기저 
를 구하여라.
풀이 먼저 직교화 과정을 이용하여 
를 계산하면 (직교기저를 얻는다).
단계 1 : 
단계 2 : 
단계 3 : 
그러므로 
를 각각 정규화하여, 
의 정규직교기저 
를 얻는다.
집합 
는 
의 정규직교기저이다.
즉, { (1/2*sqrt(2), 1/2*sqrt(2), 0), (-1/3*sqrt(1/2), 1/3*sqrt(1/2), 4/3*sqrt(1/2) ), (-2/3, 2/3, -1/3)} ■
[ 실습 : http://sage.skku.edu/ ]
http://matrix.skku.ac.kr/2018-album/LA-Sec-7-7-lab.html (실습하세요!)
▶ QR 분해 http://matrix.skku.ac.kr/2018-album/LS-QR-decom.html (실습!)
행렬 
가 
개의 일차독립인 열들을 가지면 여기에 Gram-Schmidt의 정규직교화과정을 적용하여 얻은 정규직교벡터들을 열로 하는 행렬 
를 만들어 행렬 
(여기서 
은 상삼각행렬)로 분해가 된다. QR 분해는 최소제곱문제와 고윳값, 고유벡터를 구하는 문제를 해결하는데 많이 사용된다.
|
정리. |
QR 분해 |
행렬 
가 rank 
인 
행렬이라면, 
로 분해가능하다. 여기서 
는 
의 열공간 Col
의 정규직교기저로 만들어진 
행렬이고, 
은 가역인 크기 
의 상삼각행렬이다.
이제 행렬 
이고 
인 경우 
라 하자. Gram-Schmidt 정규직교화 과정에 의하여 행렬 
의 열공간 
의 정규직교기저 
을 얻을 수 있다. 이제 
와 
사이의 관계를 알아보자.
가 Col
의 정규직교기저이므로
로 표현가능하다. 또한 
(
)이므로 위의 표현은 다음과 같이 간단하게 표현가능하다. 즉,
.
이제 다음과 같이 상삼각행렬(upper triangular matrix) 
을 정의하고,
앞서 정의한 행렬 
와의 곱을 생각해보자. 행렬 곱 
의 
번째 열벡터는 
이므로 
의 
번째 열벡터의 성분을 계수로 하는 
의 열벡터들의 일차결합이다. 따라서
(1)
즉, 
이다. 위에서 만들어진 
차 정사각 삼각행렬 
은 주대각성분이 모두 영이 아니므로, 가역행렬이다. 또한 
이므로 
는 (column) 직교행렬이다. 따라서 우리는 QR 분해(QR decomposition) 
를 얻은 것이다.
행렬 
가 다음과 같이 주어졌을 때 
-분해를 구하여라.
풀이. 행렬 
가 full column rank를 가지고 있으므로 QR 분해가 존재함을 알 수 있다. Gram-Schmidt 정규직교화를 다음 벡터들에 적용해보자.
, 
, 
그러면 정규직교화 과정을 통해 직교행렬 
를 다음과 같이 구할 수 있다.
(직교벡터!! 열벡터의 내적들이 모두 zero)
그러면 앞의 (1)식으로부터 (삼각행렬) 
을 구하면,
(삼각행렬)
따라서 다음과 같은 QR 분해를 얻을 수 있다.
(QR 분해 
)
아래는 Sage가 제공하는 gram_schmidt() 함수를 수정하여 좀 더 직관적으로 그 과정을 확인하도록, gs_orth() 함수 코드를 만들어 QR 분해를 확인하였다. (자주 사용하는 함수는 함수 코드를 만들어 활용한다.)
▶ 최소제곱문제를 QR 분해로 풀기
앞서 학습했듯이, 
의 최소제곱해란 normal equation인 
의 해이다. 여기서 
가 가역행렬이라면 
가 그 해가 된다. 그렇다면 
의 역행렬을 구하는 것이 최소제곱해 문제를 해결하는 가장 중요한 열쇠가 된다. 이를 QR 분해를 이용하여 구해보자.
가 full column rank를 가지면, 다음과 같이 QR 분해된다.
그러면
(양변에 
를 취해주자.)
이제 (
이 가역행렬이므로) 여기에 후진대입법(backward substitution)을 적용하면,
(유일해)
가 된다. 이와 같이 QR 분해는 선형연립방정식의 (최소제곱)해를 역행렬을 구하지 않고 손쉽게 구할 수 있도록 해주므로 다양한 계산이 필요한 컴퓨터 알고리즘의 연구에서 가장 중요한 도구로 여겨진다. QR 분해의 이론에 대해 좀 더 자세한 내용은 아래 주소를 참고하라.
http://matrix.skku.ac.kr/nla/ch7.htm
http://matrix.skku.ac.kr/sglee/03-Note/QR-Decomp.htm
http://matrix.skku.ac.kr/sglee/project/generalized-inverse/
다음 문제의 최소제곱해를 구하여라.
풀이 계수행렬 
는 다음과 같이 
분해된다.
이를 이용하면, 최소제곱해 
를 얻는다.
최소제곱해 ■
5. 선형변환 (Linear Transformations)
6강 동영상, 선형변환 https://youtu.be/_t871V2CDSw (23:28)
5.1 선형변환
참고 동영상: http://youtu.be/YF6-ENHfI6E http://youtu.be/Yr23NRSpSoM
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-8-Sec-6-1.html
|
정의. |
행렬변환(matrix transformation), 선형변환(linear transformation) |
(1) 입력과 출력이 모두 벡터인 함수를 변환(Transformation)이라 한다. 그리고 
에서 
으로의 변환 
에서 
를 벡터 
의 
에 대한 이미지(image), 
를 벡터 
의 원상(pre-image)이라 한다.
변환의 특수한 경우로, 
가 
행렬이고, 
, 
인 
를 행렬변환(matrix transformation)이라 한다.
(2) 
에서 
으로의 변환 
가 임의의 벡터 
와 임의의 스칼라 
에 대하여 다음 두 조건을 만족하면 
를 
에서 
로의 선형변환(linear transformation)이라고 한다.
(1) 
(2) 
(
)
특히, 
에서 
자신으로의 선형변환 
를 
위의 선형연산자(linear operator)라고 한다.
에서 
으로의 모든 선형변환 
은 행렬변환 
으로 나타낼 수 있다.
▪ 
을 임의의 선형변환이라 할 때, 
의 기본단위벡터 (표준기저) 
에 대하여 모든 
는
와 같이 나타낼 수 있고, 
, 
, 
, 
은 각각 
행렬이므로
이라 할 수 있다. 따라서 모든 선형변환 
은
(1)
의 형태로 표시할 수 있다. 여기서 
, 
, 
, 
을 열벡터로 갖는 
행렬을 
라 하면
이므로
이다. 위의 행렬 
를 선형변환 
의 표준행렬(standard matrix)이라 하며 
라 표시한다. 따라서 (1)로 주어진 선형변환의 표준행렬은 기본단위벡터를 순서대로 대입하여 열을 구하여 쉽게 만든다.
|
정리. |
표준행렬 |
이 선형변환이면 
의 표준행렬 
와 
에 대하여 다음이 성립한다.
, 
여기서 
이다.
. 선형변환 
가 
일 때, 
의 표준행렬을 구하여라. [실습: http://sage.skku.edu/ ]
선형변환 
가 
일 때, 
의 표준행렬을 이용하여 
으로 표시하여라. 그리고 
일 때, 
를 이용하여 
를 구하여라.
http://matrix.skku.ac.kr/2018-album/LA-Sec-6-1-lab.html (실습하세요!)
5.2 핵(kernel)과 치역(range)
참고 동영상: http://youtu.be/9YciT9Bb2B0 http://youtu.be/H-P4lDgruCc
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-8-Sec-6-3.html
|
정의. |
핵(kernel), 단사, 전사, 전단사, 동형사상(isomorphism) |
(1) 
이 선형변환일 때, 
에 의한 상이 
이 되는 
안의 벡터 전체의 집합을 
의 핵(kernel)이라 하고 
로 나타낸다. 즉
(2) 변환 
가 
를 만족하면 단사(one-to-one; injective)라 한다.
(3) 선형변환 
에 대하여, 임의의 
의 상 
전체의 집합을 
의 치역(range)이라 하고 
로 나타낸다. 즉,
.
특히, 
, 즉 변환 
가 임의의 
에 대해 
인 
가 존재하면 전사(onto, surjective)라 한다.
(4) 선형변환 
가 단사이고 전사 (전단사)이면 
이 되고, 
를 
에서 
으로의 동형사상(isomorphism)이라고 한다.
|
정리. |
선형변환이 단사일 필요충분조건 |
이 벡터공간이고 
가 선형변환일 때, 
가 단사일 필요충분조건은 
이다.
선형변환 
를 
로 정의하자. 
의 kernel을 구하고, 
가 단사인지 확인하여라.
[ 실습 : http://sage.skku.edu/ ]
따라서 
이므로 주어진 선형변환 
는 단사가 아니다.
이라 하자. 
는 단사이지만, 전사는 아니다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-6-3-lab.html (실습하세요!)
6. 고윳값, 고유벡터, 대각화(Diagonalization)
7강 동영상, 행렬의 대각화 https://youtu.be/d8KE1QpKiDo (37:11)
6.1 고윳값과 고유벡터
참고 동영상: http://youtu.be/OImrmmWXuvU http://youtu.be/96Brbkx1cQ4
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/CLA-Week-6-Sec-4-5.html
|
정의. |
고윳값(eigenvalue), 고유벡터(eigenvector) |
를 
차의 정사각행렬이라 하자. 
아닌 벡터 
가 적당한 스칼라 
에 대하여 다음을 만족하면 
를 
의 고윳값(eigenvalue)이라 하고, 
를 
에 대응하는 
의 고유벡터(eigenvector)라고 한다.
가 고윳값 
에 대응하는 
의 고유벡터이면 영 아닌 임의의 스칼라 
에 대하여 
도 
에 대응하는 
의 고유벡터가 된다.
행렬 
의 고윳값과 고유벡터를 구하여라.
[ 실습 : http://sage.skku.edu/ ]
따라서 행렬 
의 고윳값의 
, 
이다. 그리고 
에 대응하는 고유벡터는 
(
)이고, 
에 대응하는 고유벡터는 
(
)이다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-4-5-lab.html (실습하세요!)
Note: 
의 서로 다른 고윳값들에 대응하는 고유벡터들은 모두 일차독립이다.
6.2 닮음 행렬(similar matrix)과 행렬의 대각화(Matrix Diagonalization)
참고 동영상: http://youtu.be/xirjNZ40kRk http://youtu.be/MnfLcBZsV-I
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-11-sec-8-2.html
|
정의. |
닮은(similar) 행렬 |
정사각행렬 
에 대하여 다음을 만족하는 가역행렬 
가 존재할 때 
는 
와 닮은(similar) 행렬이라고 한다.
이때, 
라 쓴다.
(모든 행렬은 주대각선 성분이 고윳값인 삼각행렬과 닮음이고, 삼각행렬의 특성방정식은 쉽게 구할 수 있으며) 닮음행렬들은 행렬식이 같기 때문에, 특성방정식, 고윳값이 같다는 것을 아주 쉽게 보일 수 있다. 따라서 주어진 행렬문제는 좀 더 단순한 모양의 닮음행렬을 찾아서 쉽게 처리할 수 있다.
|
정의. |
대각화가능한(diagonalizable) 행렬 |
가 어떤 대각선행렬과 닮은 행렬일 때, 즉 적당한 가역행렬 
가 존재하여 
가 대각선행렬일 때 
를 대각화가능한(diagonalizable) 행렬이라 하며, 이때 행렬 
를 
를 대각화하는(diagonalizing) 행렬이라고 한다.
|
정리. |
대각화가능할 필요충분조건 |
차의 정사각행렬 
가 대각화가능할 필요충분조건은 
가 
개의 일차독립인 고유벡터를 갖는 것이다. 이때, 
는 자신의 고윳값 
을 주대각선성분으로 갖는 대각선행렬 
와 닮은 행렬이다.
▪
를 대각화하는 행렬 
를 구하는 과정
1단계: 
의 
개의 일차독립인 고유벡터 
을 구한다.
2단계: 
을 열벡터로 갖는 행렬 
를 만든다.
3단계: 이 
가 
를 대각화하는 행렬이고 
는 
의 대응하는 고윳값
을 순서대로 주 대각선 성분으로 갖는 대각선행렬 
이다.
행렬 
가 대각화가능함을 보이고, 이때 
를 대각화하는 행렬 
와 대각선행렬 
를 구하여라.
[ 실습 : http://sage.skku.edu/ ]
따라서 행렬 
는 
개의 일차독립인 고유벡터를 갖는다. 그러므로 행렬 
는 대각화가능이다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-8-2-lab.html
6.3 직교대각화 (orthogonally diagonalizing)
참고 동영상: http://youtu.be/jimlkBGAZfQ http://youtu.be/B--ABwoKAN4
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-11-sec-8-3.html
|
정의. |
직교행렬(real orthogonal matrix, |
정사각행렬 
에 대하여 
이면 
를 직교행렬(real orthogonal matrix)이라고 한다.
|
정리. |
직교행렬 정리 |
행렬 
가 직교행렬이면 다음을 만족한다.
(1) 행렬 
의 행벡터들은 서로 직교이며, 정규벡터이다. (행들이 정규직교벡터이다)
(2) 행렬 
의 열벡터들은 서로 직교이며, 정규벡터이다. (열들이 정규직교벡터이다)
(3) 
는 가역행렬이다. (
, 
)
(4) 
를 만족한다. (즉, 길이를 보존한다)
▪ 직교행렬의 역행렬은 단지 전치행렬을 쓰기만 해도 구할 수 있다. (
)
|
정의. |
직교대각화 |
(1) 만일 
와 
가 같은 크기의 정사각행렬이라 할 때, 
인 직교행렬 
가 존재하면, 
는 
에 직교닮음(orthogonally similar)이라고 한다.
(2) 정사각행렬 
에 대하여 
를 대각화하는 직교행렬 
가 존재할 때 
는 직교대각화가능(orthogonally diagonalizable)하다고 하며 
는 
를 직교대각화하는(orthogonally diagonalizing) 행렬이라고 한다.
|
정리. |
직교대각화가능할 필요충분조건 |
차 정사각행렬 
가 직교대각화가능할 필요충분조건은 
가 대칭행렬인 것이다.
대칭행렬 
를 직교대각화하는 행렬 
를 구하여라. (
)
풀이. 
의 특성다항식은 
이므로 
의 고윳값은 
이고, 대칭행렬의 서로 다른 고윳값에 대응하는 고유벡터는 모두 직교집합(o.g.)이고 각각 다음과 같다.
직교집합인 
(= 
)를 간단히 정규화(o.n.)하면 (Find 
의 정규직교기저 
)
(
) ■
행렬 
의 고윳값은 
이었다.
에 대응하는 두 개의 일차독립인 고유벡터는 (일반적으로는 직교가 아닐 수 있다)
이고 Gram-Schmidt 정규직교화 과정을 이용하면
, 
, 
에 대응하는 고유벡터는 
이고 (서로 다른 고윳값에 대응하는 고유벡터들과는 이미 직교이므로) 정규화만하면 된다. 
. 따라서 
의 정규직교기저 
을 열벡터로 하는 행렬 
를 정의하면 된다.
즉, 
하는 직교행렬은 
이다. ■
행렬 
가 직교대각화가능함을 보이고, 이때 
를 직교대각화 하는 직교행렬 
와 대각선행렬 
를 구하여라.
* 고윳값은 
이다.
대칭행렬의 서로 다른 고윳값에 대응하는 고유벡터는 모두 직교집합이므로, 
에 대응하는 고유벡터 
, 
에 대응하는 고유벡터 
는 이미 직교이다. 그러나 
에 대응하는 두 개의 일차독립인 고유벡터 
, 
는 직교가 아닐 수 있다. 여기에 Gram-Schmidt 정규직교화 과정을 이용하면 다음을 얻는다.
따라서 행렬 
를 직교대각화 하는 직교행렬을 
라 하면 
와 직교닮음인 대각행렬 
는 다음과 같다.
http://matrix.skku.ac.kr/2018-album/LA-Sec-8-3-lab.html (실습하세요!)
▪고윳값 분해(eigen-decomposition)
정사각행렬 
가 대각화가능하다면 대각선행렬 
와 가역행렬 
가 존재하여 다음이 성립한다.
특히 
가 (실수) 대칭행렬일 때는 위를 만족하는 대각선행렬 
와 직교행렬 
(즉 
)가 존재한다. 만일 
와 
, 
를 각각 
의 
개의 (
) 고윳값과 대응하는 
개의 (정규직교) 고유벡터라 하면, 
는 직교행렬 (즉 
)이 되고,
는 대각선행렬이며, 다음이 성립한다.
.
이때 
의 주대각선 성분은 
의 고윳값이고, 
의 열벡터는 그에 대응하는 
개의 정규직교 고유 벡터 (따라서 
의 o.n. basis가 된다)이다. 따라서 아래가 성립한다.
(
).
이 분해는 고윳값 
와 그에 대응하는 고유벡터 
만 이용하므로 행렬 
의 고윳값 분해 (eigen-decomposition)라 하며, Spectral decomposition이라고도 부른다. 여기서 모든 
가 rank가 1 행렬 이고 
가 rank 1 행렬들의 합이므로 행렬 
의 rank 1 decomposition이라고도 한다.
(이 정리는 복소수 성분 행렬인 경우에도 유사하게 성립한다. Normal matrix!)
|
정리. |
|
차의 두 정사각행렬 
가 닮음이면 다음이 성립한다.
(1) 
(
(2) 
▪ 
차 정사각행렬 
의 고윳값 분해가 존재할 때, 다음 계산을 쉽게 할 수 있다.
(1) 
(2) 
(3) 
(4) 
(역행렬을 구하는 새 방법)
7. SVD (특이特異값 분해, 특잇값 분해, singular value decomposition)
8강 동영상, singular value decomposition https://youtu.be/e0IoDqJLB8U (23:03)
7.1 특이값 분해 (singular value decomposition)
참고 동영상: https://youtu.be/ejCge6Zjf1M
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-12-sec-8-6.html
▪ 고윳값 분해는 대각화가능한 정사각행렬인 경우에만 정의되는 개념이다. 따라서 일반적인 행렬의 경우에 대해서도 고윳값 분해와 유사한 행렬 분해가 존재하는지 생각해 볼 수 있다.
임의의 행렬 
에 대해서 
와 
는 대칭행렬이므로 직교 대각화가 가능하다. 이를 이용하면 다음의 중요한 행렬분해인 특이값 분해(singular value decomposition, SVD)를 얻을 수 있다.
|
정리. |
특이값 분해(SVD) 정리 [Key Idea 1] |
(1) 행렬 
를 
의 실수 행렬이라 하자. 그러면 다음과 같은 직교(orthogonal)행렬 
, 
와 대각선행렬 
가 존재한다.
(1)
여기서 
은 주대각선성분이 모두 (단조감소의 순서로 배열된) 양수이고, 가역인 대각선행렬, 
은 영행렬이다. 즉,
(단 
, 단조감소의 순서)
위의 행렬 
의 대각선성분들을 행렬 
의 특이값(singular value)들이라 하고, 
의 열들을 
의 left singular vector, 
의 열들을 
의 right singular vector라고 한다.
(2) 
와 
는 각각 대칭행렬 
와 
를 직교대각화하는 직교행렬이다. 즉 
크기의 행렬 
를 특이값 분해라 하고 
을 행렬 
의 계수(rank)라 하자. 그러면 다음이 성립한다. 
(보통 
의 앞에 
를 곱하여 
의 고유벡터, 즉 
의 오른쪽에 대응하는 
의 right singular vector를 먼저 구한다)
(※ 행렬의 크기 
에 주의!)
(※ 행렬의 크기 
에 주의!)
http://matrix.skku.ac.kr/2018-album/SVD.html 을 실습!
▪ 고윳값 분해의 경우와 마찬가지로 
의 SVD가 주어지면 다음과 같이 표현이 가능하다.
<
의 특이값분해(SVD)>
행렬 
의 특이값분해(SVD)를 구하여라.
[ 실습 : http://sage.skku.edu/ ]
7.2 일반화된 역행렬 (pseudo-inverse, Moore-Penrose Generalized Inverse)
참고 동영상: http://youtu.be/7-qG-A8nXmo
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-12-sec-8-6.html
▪ 일반화된 역행렬 (pseudo-inverse) : 최소제곱해 연구에 중요하다.
▪ 
가 크기 
인 가역행렬인 경우 특이값 분해에 의해
(2)
로 표현할 수 있다. 여기에서, 
, 
, 
는 모두 
인 가역행렬들이고, 특히 
, 
는 직교행렬들이다. 그러므로 
의 역행렬은 다음과 같이 표현된다.
(3)
이제 행렬 
가 정사각행렬이 아니거나, 비가역인 정사각행렬인 경우에는 (3)식은 적용할 수 없다. 그러나 (2)의 가운데 행렬을 
(여기서 
은 가역행렬)로 생각하면 모든 행렬 
에 대한 행렬곱 
을 다음과 같이 정의할 수 있다.
|
정의. |
pseudo-inverse (Moore-Penrose Generalized Inverse) |
행렬 
가 크기 
인 경우 크기 
인 행렬 
를 행렬 
의 pseudo-inverse라 한다. 여기서 
, 
는 직교행렬이고, 
은 다음과 같은 행렬이다.
(여기서 
은 가역행렬)
|
정리. |
full column rank를 갖는 |
[pseudo-inverse (Moore-Penrose Generalized Inverse의 특수한 경우)]
행렬 
가 (
개의 열이 모두 일차독립인) full column rank를 갖는 
행렬이면, 
의 양변에 
를 곱해준 
를 정규방정식(normal equation)이라하고, 이 정규방정식은 언제나 유일해 
를 갖는다. 이 때 
을 
의 pseudo-inverse (Moore-Penrose Generalized Inverse의 특수한 경우)라고 한다.
(rank 2인) 행렬 
의 Pseudo-inverse 
를 구하여라.
[ 실습 : http://sage.skku.edu/ ]
|
정리. |
최소제곱해(least square solution) |
가 
행렬이고, 
는 
의 임의의 벡터이면, 
는 (최소의 에러를 갖는) 
의 최소제곱해이다.
다음은 컴퓨터 과학 전공 학생 105명의 고등학교 성적(GPA)과 대학교 성적(GPA)의 데이터를 가지고 최소제곱직선을 구하는 과정이다. 이를 통해 어떤 학생의 고등학교 성적을 알고 있다면, 이 학생의 대학교 성적을 예측해볼 수 있다. 자료의 출처는 다음과 같다.
[출처] http://onlinestatbook.com/2/regression/intro.html
http://onlinestatbook.com/2/case_studies/sat.html
고등학교 성적을 
, 대학교 성적을 
, 선형모델(최소제곱직선)을 
라 하자. 그리고 데이터를 이용하여 이를 행렬로 나타내자. 그러면 우리가 풀고자 하는 문제는
, 
, 
라 할 때 
이다. 이때 
의 열벡터들이 일차독립(이를 
가 full column rank를 갖는다고 한다)이면, 
의 정규방정식(normal equation) 
으로 부터 
을 얻는다.
Sage 코드를 이용하여 확인하면 http://sage.skku.edu/
따라서 
임을 알 수 있다. 데이터와 선형모델(최소제곱직선) 
을 그리면 위와 같다.
http://matrix.skku.ac.kr/sglee/project/generalized-inverse/ (일반화된 역행렬의 성질들!)
http://matrix.skku.ac.kr/2018-album/LS-QR-decom.html (최소제곱해)
8. 이차형식(quadratic form)
9강 동영상, 이차형식 https://youtu.be/rCNBWT0r5mA (36:26)
8.1 이차형식
참고 동영상: http://youtu.be/vWzHWEhAd-k http://youtu.be/lznsULrqJ_0
실습 사이트: http://matrix.skku.ac.kr/knou-knowls/cla-week-12-sec-8-4.html
▪ 이차형식(quadratic form)은 각 항이 2차인 다항식으로서 수학, 물리학, 경제학, 통계학, 이미지 처리기법 등 다양한 분야에서 사용된다.
|
정의. |
이차곡선의 방정식의 행렬표현 |
두 변수 
, 
를 갖는 이차곡선의 방정식
(1)
을 행렬로 표현하면 다음과 같다.
(2)
▪ 두 변수 
를 갖는 이차방정식 (1)의 그래프는 기하학적으로 원뿔곡선(conic section)의 형태를 나타낸다. 원뿔곡선이란 용어는 평면이 원뿔과 교차될 때 생기는 곡선에서 유래된 말이다. 방정식 (1)을 만족하는 점 
가 없을 때는 식 (1)을 허 원뿔곡선(imaginary conic)의 방정식이라 한다. 또한, 방정식 (1)의 그래프가 한 점, 한 직선, 또는 한 쌍의 직선으로 이루어지거나 존재하지 않을 때, 이 그래프를 퇴화 원뿔곡선(degenerate conic)이라고 한다. 이 경우는 단순하므로 우리가 좀더 관심을 갖는 경우는 퇴화되지 않는 정상적인 경우이다. 정상적인 원뿔곡선(nondegenerate conic section)의 그래프는 타원, 쌍곡선 또는 포물선이 된다.
원(circle) 포물선(parabola) 타원(ellipse) 쌍곡선(hyperbola)
원뿔곡선의 방정식이 다음의 식 (3), (4), (5)로 표현되면 이 원뿔곡선은 표준위치에 있다고 한다.
▪ 표준위치(standard position)에 있는 원뿔곡선
(타원) (3)
또는 
(쌍곡선) (4)
또는 
(포물선, 
) (5)
▪ 이차방정식에서 
항과 
항, 
항과 
항을 갖는 이차방정식의 그래프는 표준위치로부터 평행 이동된 원뿔곡선이다.
방정식 
은 완전제곱꼴(Completing the square)로 만들면
(6)
이므로 
로 치환하면 새로운 
-좌표계에서 다음과 같이 나타난다.
이 식은 
-좌표계에서 표준위치에 있는 쌍곡선의 방정식이다. 따라서 식 (6)의 그래프는 
-좌표계에서 표준위치에 있는 쌍곡선을 
-축으로 3만큼, 
-축으로 1만큼 평행 이동한 그래프이다.
|
정의. |
|
(7)
부분을 
상의 방정식 (1) 
에 대한 이차형식(quadratic form)이라 한다.
▪ 2차항들 만으로 이루어진 
은 이차형식이고,
은 
와 1이 2차항이 아니므로 이차형식이 아니다.
일반적인 이차형식은 행렬을 도입하여 행렬 곱의 형태인 
꼴로 표현할 수 있다.
또는 
▪앞으로는 대칭행렬 
를 얻기 위하여 
를 둘로 나누어, 다음과 같이 나타내도록 한다.
,
같은 방법으로 
이와 같이 
를 대칭행렬로 택하는 이유는 대칭행렬 
는 항상 직교대각화 가능하기 때문이다.
|
정의. |
|
가 
차의 대칭행렬이고, 
개의 변수 
을 성분으로 갖는 
의 벡터 
에 대하여 이차다항식 
을 
상의 이차형식이라 한다.
▪ 위의 정의에서 
를 
차의 대칭행렬로 가정한 이유는 다음과 같다. 임의의 행렬 
가 이차형식의 행렬곱 형태를 만드는 행렬이라고 하자. 이 행렬 
는 대칭행렬 
와 반대칭(skew symmetric) 행렬 
의 합으로 표시된다 (
=
). 또한 
는 
이고 
이므로
이다. 따라서 2
이므로, 다음이 성립한다.
즉, 행렬 
는 대칭행렬 
와 반대칭(skew symmetric) 행렬 
의 합으로 표시되고, 
일 때 항상 
이므로, 이차형식의 값은 주어진 행렬의 대칭행렬 부분에만 의존하므로, 일반성을 잃지 않고 정의에서부터 
를 대칭행렬이라고 한 것이다. 이차형식에 관한 연구의 많은 부분은 “대칭행렬 
는 언제나 직교대각화가 가능하다”는 사실과 밀접한 관계가 있다.
이차형식에서 
항을 교차항이라 한다. 대칭행렬의 직교대각화를 이용하면 교차항을 제거할 수 있다.
▪ 이차형식 
에서 행렬 
가 대칭행렬이므로 고윳값 
, 
에 대응하는 
의 정규직교인 고유벡터 
를 찾을 수 있고, 
라 하면 
는 
에 의하여 직교대각화 가능하다. 즉, 
이다. 이때, 고유벡터 
과 
는 
과 
의 역할을 바꾸어서 교환할 수 있으므로 일반성을 잃지 않고 
이라 할 수 있다. 따라서 직교행렬 
는 
꼴의 
의 회전(rotation)행렬이다. 이러한 행렬 
에 의하여 얻어진 새로운 좌표계를 
-좌표계라 하고 
이라 하자. 그러면 
이고
이므로 이차형식 
는 새로운 좌표계에서는 교차항이 없이 표현된다. 따라서 다음 정리를 얻는다.
|
정리. |
|
대칭행렬 
의 고윳값을 
라 할 때, 좌표축의 회전에 의하여 이차형식 
는 새로운 
-좌표계에서
(8)
으로 표현될 수 있다. 이 회전은 (정규직교화법을 이용하여) 
를 대각화하는 (행렬식이 1인) 직교행렬을 
를 선택하면, 새 
-좌표계는 
이라는 치환에 의하여 얻어진다.
이차형식의 대각화를 이용한 3차원 곡면의 예.
https://www.geogebra.org/m/mfRmU659
▪ 이차형식 (7)을
(13)
라 하고 이것을 대각화하면 회전된 
-좌표계에서는
(14)
으로 변환되므로 
상에서 식 (13)의 그래프를 쉽게 알 수 있다.
식 (14)에서 (이차형식에 대응하는 대칭행렬 
의 고윳값인) 
, 
가 모두 양이라면, 이 그래프는 아래 그림 (a)와 같이 위쪽이 열린 포물면(paraboloid)이다. 또한, 
, 
가 모두 음이라면 그림 (b)와 같이 아래쪽이 열린 포물면이다. 이러한 포물면의 수평절단면은 타원(ellipse)이므로 타원포물면(elliptic paraboloid)이라고 한다.
▪ 또한 식 (14)에서 
, 
가 모두 영이 아니고 서로 다른 부호이면, 이 그래프는 아래 그림 (a)와 같이 안장 모양의 쌍곡포물면(hyperbolic paraboloid)이 된다. 
, 
중 하나가 영이라면, 그래프는 그림 (b)와 같은 포물기둥(parabolic cylinder)이 된다.
▪ 이제 이차형식 그래프의 형태를 구분하는 이차형식의 부호를 정의하자. 이는 Part Ⅱ에서 다변수함수의 극값을 구할 때 사용된다.
|
정의. |
양의 정부호(positive definite), 음의 정부호, 부정부호(indefinite) |
행렬 
가 대칭행렬일 때, 이차형식 
가 임의의 
에 대하여 
이면 양의 정부호(positive definite), 
이면 음의 정부호(negative definite)라 한다. 또한, 어떤 
에 대하여는 
0이고, 어떤 
에 대하여는 
이면 부정부호(indefinite)라 한다.
|
정리. |
이차형식의 정부호, 부정부호(indefinite) |
행렬 
가 대칭행렬일 때, 
의 이차형식 
는 다음을 만족한다.
(1) 
의 고윳값들이 모두 양이라면 
는 양의 정부호(positive definite)이다.
(2) 
의 고윳값들이 모두 음이라면 
는 음의 정부호(negative definite)이다.
(3) 
가 양의 고윳값과 음의 고윳값를 모두 가지면 
는 부정부호(indefinite)이다.
다음 이차형식이 양의 정부호(positive definite)임을 보여라.
풀이. 
의 행렬 
의 특성방정식은
이므로 
의 고윳값은 
이다. 따라서 정리에 의해 이차형식 
는 양의 정부호이다.
다음 이차형식이 부정부호(indefinite)임을 보여라.
따라서 이차형식 
는 부정부호이다.
▪ 이차형식 
의 행렬 
의 각 고윳값이 
이면 양의 준정부호(positive semidefinite), 
이면 음의 준정부호(negative semidefinite)라 한다. 예를 들면 이차형식 
은 양의 준정부호이다.
▪ 이제, 행렬의 고윳값을 계산하지 않고도 두 변수를 갖는 정상적인 이차형식의 정부호를 결정하는 방법을 알아본다.
대칭행렬 
의 
소행렬식(minor)을 각각
이라할 때, 
을 
의 선행 주 소행렬식(leading principal minors)이라고 한다. 아래는 주 부분행렬을 보여준다.
|
정리. |
|
대칭행렬 
의 이차형식 
에 대하여 다음이 성립한다.
(1) 
가 양의 정부호(p.d.)일 필요충분조건은 모든 
에 대하여 
이다.
(2)
가 음의 정부호(n.d.)일 필요충분조건은 모든 
에 대하여
이다.
다음 이차형식이 양의 정부호(p.d.)임을 보여라.
풀이. 이차형식 
의 행렬은 
이고, 
이므로 정리에 의하여 이차형식 
는 양의 정부호(p.d.)이다.
위 내용은 Part Ⅱ에서 다변수함수의 극값을 구할 때 사용된다.
■ [End of Part 1]
[선형대수학 지식을 더 알고 싶은 학생은 저자의 아래 동영상 강의를 참고하면 된다.]
Linear Algebra (선형대수학)
○ 디지털 교과서 http://matrix.skku.ac.kr/LA-K/
http://matrix.skku.ac.kr/2015-Album/Big-Book-LinearAlgebra-Eng-2015.pdf (파일)
○ Video Lectures
Chapter 1. Vectors
1.1 벡터 and 1.2 내적 http://youtu.be/aeLVQoPQMpE
1.3 벡터방정식 http://youtu.be/4UGACWyWOgA
Chapter 2. Linear system of equations
2.1 선형연립방정식 http://youtu.be/CiLn1F2pmvY
2.2 Gauss-Jordan 소거법 http://youtu.be/jnC66zvqHJI
Chapter 3. Matrix and Matrix Algebra
3.1 행렬연산 http://youtu.be/DmtMvQR7cwA
3.2, 3.3 역행렬과 기본행렬 http://youtu.be/GCKM2VlU7bw
3.4 부분공간 http://youtu.be/HFq_-8B47xM
3.5 해공간 3.6 특수행렬 http://youtu.be/daIxHJBHL_g
Chapter 4. Determinant
4.1 행렬식 http://youtu.be/DM-q2ZuQtI0
4.2 여인자 전개와 역행렬 http://youtu.be/XPCD0ZYoH5I
4.3 크래머의 법칙 4.4. Appl, 4.5 고유값, 고유벡터
Chapter 6. Linear Transformations
6.1 선형변환 http://youtu.be/YF6-ENHfI6E
6.2 선형변환의 기하학적 의미 http://youtu.be/cgySDj-OVlM
6.3 핵과 치역 http://youtu.be/9YciT9Bb2B0
6.4 선형변한의 합성과 역행렬 http://youtu.be/EOlq4LouGao
Chapter 7. Dimension and Subspaces
7.1 기저와 차원 http://youtu.be/or9c97J3Uk0
7.2 주요 부분공간들 https://youtu.be/BC9qeR0JWis
7.3 Rank Nullity Theorem http://youtu.be/ez7_JYRGsb4
7.4 계수정리 http://youtu.be/P4cmhZ3X7LY
7.5 정사영정리 http://youtu.be/GlcA4l8SmlM
7.6* 최소제곱해 https://youtu.be/BC9qeR0JWis
7.7 Gram-Schmidt의 정규직교화과정 http://youtu.be/gt4-EuXvx1Y
7.8* QR-분해, Householder transformations https://youtu.be/crMXPi2lgGs
7.9 좌표벡터 http://youtu.be/M4peLF7Xur0
Chapter 8. Diagonalization
8.1 선형변환의 행렬표현 http://youtu.be/gn5ve1tXD7k, http://youtu.be/jfMcPoso6g4
8.2 닮음과 행렬의 대각화 http://youtu.be/xirjNZ40kRk
8.3 직교대각화 http://youtu.be/jimlkBGAZfQ
8.4 이차형식 http://youtu.be/vWzHWEhAd-k
8.5* Appl of Quadratic Function http://youtu.be/cOW9qT64e0g
8.6 Singular Value Decomposition https://youtu.be/ejCge6Zjf1M
8.7 and 8.8 복소고유값, 복소고유벡터, 정규행렬 http://youtu.be/8_uNVj_OIAk
Chapter 9. General Vector Spaces
9.1 and 9-2 일반벡터공간, 내적공간 http://youtu.be/m9ru-F7EvNg
9.3 동형사상 http://youtu.be/frOcceYb2fc
Chapter 10. Jordan Canonical Form
10.1 Jordan 표준형 http://youtu.be/NBLZPcWRHYI
10.3 Jordan Canonical Form with Sage http://youtu.be/LxY6RcNTEE0
○ All Solutions
http://matrix.skku.ac.kr/2010-Album/2010-MT-all-Solution-v1-sglee/2010-MT-all-Solution-v1-sglee.html
○ Midterm Exam http://youtu.be/R3F3VNGH8Oo
○ K-MOOC Lab http://matrix.skku.ac.kr/K-MOOC-LA/
[출처] http://matrix.skku.ac.kr/2019-album/
Copyright @ 2020 SKKU Matrix Lab. All rights reserved.
Made by Manager: Prof. Sang-Gu Lee and Dr. Jae Hwa Lee
*This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (2017R1D1A1B03035865).
위로의 
의 
onto 
)의 노름
, 행
