Ch. 1: Participation [참여평가] (10점)

(1) State more than 15 Math Definitions and concepts what you learned in Part 0, 1, 2 , 3 and 4.

Part 0 (인공지능 개론)	Briefly reviewed the basic functions of Python, Sage and R, Basic concept of Power Method(거듭제곱법), Basic concept of MNIST 데이터셋을 활용한 손 글씨 숫자 인식(패턴인식), Briefly familiarized myself with the principle of work of AlphaGo…
Part 1 (인공지능 행렬과 데이터분석)	벡터, 내적, 벡터의 노름, 코시-슈바르치 부등식, 정사영(projection), 선형연립방정식(system of linear equations), 첨가행렬(augmented matrix), 기본행 연산(ERO), 행 사다리꼴(REF), Row Reduced Echelon Form, Gauss 소거법과 Gauss-Jordan 소거법, 행렬과 행렬식, vector sum, scalar multiplication, 행렬의 곱(product), 영행렬(zero matrix), trace, 역행렬, 가역행렬의 성질, 대각행렬, 스칼라행렬, 대칭행렬, 치환(permutation), 수반행렬(adjugate, adjunct), 일차독립, 일차종속, Subspace, 기저, 차원, nullity, column space and row space, 계수(rank), Rank-Nullity 정리, 최소재곱해(least square solution), Normal equation, Orthonormal basis, Gram-Schmidt 정규직교화 과정, QR 분해, 선형변환(Linear Transformation), 표준행렬, 핵(kernel)과 치역(range), 동형사상(isomorphism), 고윳값, 고유벡터, 대각화(Diagonalization), 닮음 행렬(similar matrix), 직교대각화(orthogonally diagonalizing), 고윳값분해(eigen-decomposition), SVD(특이값 분해), 일반화된 역행렬(Pseudo-inverse, Moore-Penrose Generalized Inverse), 이차형식(quadratic form), 주축정리(Principal axis theorem)…
Part 2 (다변수 미적분학과 최적화)	함수, 극한(limit), 도함수(derivative)와 미분(differentiation), 뉴턴 방법(Newton’s Method with gradient), 적분(Integral), 리만 합(Riemann sum), 외적(Cross Product), 벡터 함수, 편도함수(Partial Derivative)와 그래디언트(gradient), 연쇄법칙(Chain Rule), 방향도함수(directional derivative), Hessian, Taylor 정리, 함수의 극대(Local Maximum) and 극소(Local Minimum), Fermat’s theorem on critical points, 임계점(critical point), 안정점(saddle point), Gradient Descent Algorithm(경사-기울기 하강법), 중적분(double integral, multiple integral), Fubini의 정리, Polar Coordinates에서의 2중적분, Jacobian…
Part 3 (확률통계와 빅데이터)	표본평균(sample mean), 중위수(median), 사분위수(quantile), 표본분산(sample variance), 표본표준편차(sample standard deviation), 백분위수(percentile), Interquartile range (IQR), 수열(permutation), 조합(combination), 이항계수(binomial coefficient), 이항정리(binomial theorem), 중복집합(multiset), 확률(probability), 대수의 법칙(Law of large number), 조건부 확률(conditional probability), 사전확률(prior probability), 사후확률(posteriori probability), 베이즈 정리 (Bayes’ theorem), 확률변수 (random variable), 기댓값(expected value), 분산(variance), 표준편차(standard deviation), 확률분포(probability distribution), 확률질량함수(probability mass function), 확률밀도함수(probability density function), 이산 확률 분포(discrete probability distribution), 베르누이 분포(Bernoulli distribution), 이항분포(Binomial distribution), 연속 확률분포(continuous probability distribution), 균등분포(Uniform distribution), 정규분포(Normal distribution), 표준정규분포(Standard normal distribution), 지수분포(Exponential distribution), 중심극한정리 (Central Limit Theorem), QQ-plot, 표준 코시 분포(standard Cauchy distribution), 공분산(Covariance), 상관계수(Correlation), 결합 확률함수(joint probability function), 결합 확률분포(joint probability distribution), 결합밀도함수(joint density function), 공분산 행렬(Covariance Matrix), 통계적 독립(Statistically Independent)…
Part 4 (빅데이터와 인공지능)	인공지능(Artificial Intelligence), 기계학습(Machine Learning), 딥러닝(Deep Learning), 주성분 분석(Principal Component Analysis), 신경망(Neural Network), 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 강화학습(Reinforcement Learning), 퍼셉트론(Perceptron), MNIST database…

Part 0 (인공지능 개론)

1. Python is an interpreted, high-level, general-purpose programming language. Python has become highly popular due to its abundance of libraries. Each Python library is application-oriented that was developed to address problems. Mathematical operations are most preferably carried out in Python due to its focus on utility and minimal programming jargon. There are several libraries that can be used to carry out mathematical operations with Python. Ex.: Math, Numpy, SciPy, Scikit-learn etc.

2. SageMath is a free open-source mathematics software system licensed under the GPL. It builds on top of many existing open-source packages: NumPy, SciPy, matplotlib, Sympy, Maxima, GAP, FLINT, R and many more. Access their combined power through a common, Python-based language or directly via interfaces or wrappers.

3. R is a programming language for statistical data processing and graphics, and is a free and open source computing environment under the GNU Project.

4. Power method is an eigenvalue algorithm: given a diagonalizable matrix A, the algorithm will produce a number λ, which is the greatest (in absolute value) eigenvalue of A, and a nonzero vector v, which is a corresponding eigenvector of λ, that is Av = λv.

5. MNIST(Modified National Institute of Standards and Technology) database is a voluminous database of handwritten numbers. The database is a standard proposed by the US National Institute of Standards and Technology for the purpose of calibrating and comparing image recognition methods using machine learning primarily based on neural networks.

6. AlphaGo is a "Go game" program developed by Google DeepMind in 2015. AlphaGo combines a technique that provided a major breakthrough in the power of "Go game" software in 2007-2012 (Monte-Carlo tree search) and recent advances in machine learning, namely deep learning with multilevel neural networks.

Part 1 (인공지능 행렬과 데이터분석)

1. Vector is an object that has both a magnitude and a direction. Geometrically, we can picture a vector as a directed line segment, whose length is the magnitude of the vector and with an arrow indicating the direction. The direction of the vector is from its tail to its head.

2. Vector projection of a vector a on (or onto) a nonzero vector b is the orthogonal projection of a onto a straight line parallel to b. It is a vector parallel to b, defined as: a₁ = a₁, where a₁ is a scalar, called the scalar projection of a onto b, and is the unit vector in the direction of b. Note that, scalar projection is defined as:

a₁ = ||a|| cos θ = a · = a ·

where · denotes a dot product, ||a|| is the length of a, and θ is the angle between a and b.

Note that, both the projection a₁ and rejection a₂ of a vector a are vectors, and their sum is equal to a, which implies that the rejection is given by: a₂ = a – a₁.

3. 기본행연산: 기본행연산법에는 3개의 방법이 있다.

· 두 행을 교환 (R_i ó R_j).

· 한 행에 0이 아닌 상수를 곱함 (kR_i ó R_i, where k ≠ 0).

· 한 행의 배수를 다른 행에 더함 (R_i + kR_j => R_i, where i ≠ j).

4. Gauss 소거법: 선형연립방정식의 첨가행렬을 REF로 변형하여 푸는 방법이다.

5. Gauss-Jordan 소거법: 선형연립방정식의 첨가행렬을 RREF로 변형하여 푸는 방법이다.

6. 행렬의 곱셈(세종대왕의 기역 법칙): 두 행렬 A = [a_ij]_mxp, B = [b_ij]_pxn에 대하여 A와 B의 곱(product) AB를 다음과 같이 정의한다.

AB = [c_ij]_mxn

여기서, c_ij = a_i1b_1j + a_i2b_2j + ··· + a_ipb_pj = (1 ≤ i ≤ m, 1 ≤ j ≤ n)

7. 가역 행렬(invertible matrix)은 그와 곱한 결과가 단위 행렬인 행렬을 갖는 행렬이다. 이를 그 행렬의 역행렬(inverse matrix)이라고 한다.

8. 3.2주차의 예제 실습(가장 이해하기 힘들었지만 sage를 통해 처음으로 해결)

10. 대칭 행렬(symmetric matrix)은 전치 행렬(transposed matrix)이 스스로와 같은 행렬이다 (A = A^T).

11. 치환행렬(permutation matrix) 은 순서가 부여된 임의의 행렬을 의도된 다른 순서로 뒤섞는 연산 행렬이다. 일반적으로 치환행렬은 단위행렬로부터 얻을수있는 이진 행렬이다. 반대각행렬은 치환행렬의 특수한 경우이다.

12. 계수-퇴화차수 정리(rank-nullity theorem)는 행렬의 상과 핵의 차원의 관계에 대한 정리이다.

13. QR 분해(QR decomposition)는 실수 행렬을 직교 행렬과 상삼각 행렬의 곱으로 나타내는 행렬 분해이다. 그람-슈미트 과정이나 하우스홀더 행렬이나 기븐스 회전을 통해 얻을 수 있으며, 선형 최소 제곱법이나 QR 알고리즘에서 쓰인다.

14. 고유벡터(eigenvector)는 그 선형 변환이 일어난 후에도 방향이 변하지 않는, 영벡터가 아닌 벡터이다.

15. 고윳값(eigenvalue)는 고유벡터의 길이가 변하는 배수를 선형 변환의 그 고유 벡터에 대응하는 값이다.

16. 대각화 가능 행렬(diagonalizable matrix)은 적절한 가역 행렬로의 켤레를 취하여 대각 행렬로 만들 수 있는 정사각 행렬이다.

17. 고유값 분해(eigen decomposition)는 고유값 과 고유벡터로 부터 유도되는 고유값 행렬과 고유벡터 행렬에 의해 분해될수있는 행렬의 표현이다.

18. 특이값 분해(Singular Value Decomposition)는 행렬을 특정한 구조로 분해하는 방식으로, 신호 처리와 통계학 등의 분야 에서 자주 사용된다.

19. Quadratic form is a function on a vector space, specified by a homogeneous polynomial of the second degree in the coordinates of the vector.

20. Principal axis is a certain line in a Euclidean space associated with an ellipsoid or hyperboloid, generalizing the major and minor axes of an ellipse or hyperbola. The principal axis theorem states that the principal axes are perpendicular, and gives a constructive procedure for finding them.

21. 1. Definition of 선형시스템(linear system), 계수행렬, 첨가행렬

22. A linear equation in ,

23. , is solution of (*) if

24. 선형시스템은 이다.

25. 이 때 첨가행렬은 Ax=b에서 계수행렬 A에 b를 붙인 것이다.

26.

27. 2. Definition of REF, RREF, Gauss 소거법, Gauss-Jordan 소거법

28. ① All zero rows are grouped together at bottom

29. ② The leading entry of a row is farther away to the right

30. ③ The leading entries are 1

31. ④ Each column with leading 1 has zero everywhere else

32. REF: ①과 ②을 만족하는 형태

33. RREF: ①, ②, ③, ④ 모두 만족하는 형태

34. Gauss소거법: 첨가행렬을 REF로 푸는 방법

35. Gauss-Jordan소거법: 첨가행렬을 RREF로 푸는 방법

36.

37. 3. Definition of span

38. (벡터), (스칼라) 일 때

39. 는 weight 를 가지는 의 linear combination이다.

40. 이다.

41.

42. 4. Definition of 선형변환(linear transformation)

43. transformation T에 대해

44. ① 이고, ② 이면

45. 는 선형변환이다.

46.

47. 5. Definition of 부분공간(subspace)

48. 인 에 대해

49. ① 이고, ② 이면

50. 는 의 부분공간이다.

51.

52. 6. Definition of 기저(basis)

53. 에 대해

54. ① B는 선형독립(linearly independent)이고, ② 이면

55. 는 의 기저이다.

56.

57. 7. Definition of dimension

58. ‘dimension of ’를 으로 표현한다.

59. = (number of vectors in any basis for if )

60.

61. 8. Definition of rank

62. m*n 행렬 A에 대해

63.

64. 9. Definition of 행렬식(determinant)

65. 행렬 A의 행렬식 det(A)를 다음과 같이 정의한다.

66.

67. (단, σ는 permutation이고, k는 number of transition for σ이다.)

68.

69. 10. Concept of 전치행렬(transpose), 여인자행렬(cofactor), 고전적수반행렬(adjugated)

70. 전치행렬은 행과 열을 교환하여 얻은 행렬이다.

71. 여인자행렬은 소행렬식을 이용해 나타낸 행렬이다.

72. 고전적수반행렬은 여인자행렬의 전치행렬이다.

73.

74. 11. Concept of 역행렬

75. 역행렬은 고전적수반행렬(adjugated matrix)를 행렬식(determinant)으로 나눈 것과 같다.

76. 역행렬이 존재하면 그 역행렬은 유일하다.

77.

78. 11. Concept of 특이값 분해(SVD), 직교행렬(orthogonal matrix), QR분해

79. 특이값 분해는 m*n 행렬 A에 대해 로 행렬을 분해한다.

80. 이 때, A: m*n rectangular, U: m*m orthogonal, Σ: m*n diagonal, V: n*n orthogonal matrix이다.

81. 직교행렬은 행벡터와 열벡터가 정규 직교 기저를 이루는 행렬이다.

82. QR분해는 행렬을 직교행렬과 상삼각행렬의 곱으로 분해한다.

83.

84. 12. Concept of 이차형식(quadratic form)

85. 이차형식은 각 항이 2차인 다항식이다.

86. x, y를 변수로 갖는 이차곡선을 행렬식으로 표현하면 이다.

87. 이차형식이 0보다 클 때 양의정부호, 0보다 작을 때 음의정부호라고 한다.

88. 적절한 변수변환으로 이차형식의 혼합항이 없는 형태로 표현하는 것을 주축정리라고 한다.

Part 2 (다변수 미적분학과 최적화)

1. Function(함수) is a binary relation over two sets that associates to every element of the first set exactly one element of the second set.

2. Riemann sum is a certain kind of approximation of an integral by a finite sum. One very common application is approximating the area of functions or lines on a graph, but also the length of curves and other approximations.

3. Partial derivative of a function of several variables is its derivative with respect to one of those variables, with the others held constant.

4. 기울기(gradient)란 벡터 미적분학에서 스칼라장의 최대의 증가율을 나타내는 벡터장을 뜻한다. 기울기를 나타내는 벡터장을 화살표로 표시할 때 화살표의 방향은 증가율이 최대가 되는 방향이며, 화살표의 크기는 증가율이 최대일 때의 증가율의 크기를 나타낸다.

5. Fermat's theorem is a method to find local maxima and minima of differentiable functions on open sets by showing that every local extremum of the function is a stationary point (the function derivative is zero at that point).

6. 경사 하강법(Gradient descent)은 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 것이다.

7. Multiple integral is a definite integral of a function of more than one real variable, for instance, f(x, y) or f(x, y, z).

8. 야코비 행렬( Jacobian matrix)은 다변수 벡터 함수의 도함수 행렬이다.

13. Definition of 수렴(converse), 발산(diverse)

임의의 양수ε에 대해0 <|x-a |<δ이면 |f (x)-b |<ε 가 되게 하는 적당한 양수δ 가 존재하면,

x가 a에 접근할 때 f (x)는 b에 수렴(converse)한다고 한다. 수렴하지 않으면 발산한다고 한다.

14. Definition of 극한(limit)

위에서 정의한 ‘x가 a에 접근할 때 f (x)는 b에 수렴한다’에서

b를 f(x)의 극한이라 하며 다음과 같이 쓴다.

16. Concept of 미분가능, 미분계수, 접선

함수 f(x)가 a를 포함하는 어떤 구간에서 정의되어 있고

극한값 이 존재하면 f(x)는 a에서 미분가능이다.

이 극한값을 f(x)의 a에서의 미분계수라 한다.

이 때 f(a)를 지나고 기울기가 a에서의 미분계수인 직선을 접선이라 한다.

17. Concept of 뉴턴방법(Newton’s Method)

y=f(x)에서 f(x)=0인 x를 구하기 위해 접선의 방정식을 반복하여 이용한다.

18. Definition of 외적(Cross Product)

a와 b의 외적을 다음과 같이 표현한다.

19. Definition of 편도함수(Partial Derivative), 방향도함수, 그래디언트

z=f(x,y)에서, f의 x에 관한 편도함수는 다음과 같이 표현한다.

n계편도함수는 n번 편미분해서 얻을 수 있다.

방향도함수란 다변수함수를 특정 단위벡터 방향으로 미분한 것이다.

그래디언트란 편도함수를 element로 갖는 벡터이다.

20. Concept of 헤시안(Hessian) 행렬, 극값, 안장점, 임계점

헤시안행렬은 다변수함수를 2차 편미분한 elements들을 갖는다.

헤시안 행렬의 고유값을 통해 극소, 극대, 안장점 임계점을 판별할 수 있다.

극값(극대, 극소)는 주위의 모든 점의 함수값 이상이거나 이하의 함수값이다.

안장점은 실수 영역의 다변수함수에서 어느 방향에서는 극대, 다른 방향에선 극소가 되는 점이다.

임계점은 그래디언트가 영백터인 점이다.

21. Concept of 경사하강법(Gradient descent algorithm)

함수의 기울기가 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복한다. 뉴턴 방법과 유사하게 진행되며, search direction과 step-size를 통해 극값에 도달한다.

22. Concept of multiple 적분

f(x,y), f(x,y,z)와 같은 함수에 대해 , 에서 이중적분, 삼중적분을 수행할 수 있다. 기하학적 예시로 부피를 구하는 이중적분 등이 있다.

1. ↑↑↑↑ Midterm

Part 3 (확률통계와 빅데이터)

1. Median in mathematical statistics is a number that characterizes a sample (for example, a set of numbers). If all the elements in the sample are different, then the median is such a number that half of the sample is larger and the other half is less. More generally, the median can be found by ordering the elements in ascending or descending order and taking the middle element.

2. Interquartile range (IQR) is a measure of statistical dispersion, being equal to the difference between 75th and 25th percentiles, or between upper and lower quartiles, IQR = Q₃ − Q₁.

3. 이항 계수(binomial coefficient)는 이항식을 이항 정리로 전개했을 때 각 항의 계수이며, 주어진 크기의 (순서 없는) 조합의 가짓수이다.

4. 이항 정리(binomial theorem)는 이항식의 거듭제곱을 이항 계수를 계수로 하는 일련의 단항식들의 합으로 전개하는 정리이다.

5. 중복집합(multiset)은, 집합과 달리, 그의 원소(element) 각각에 대해 중복 경우를 허용하는 집합(set)의 개념의 수정입니다. 각 원소에 대해 주어진, 경우의 양의 정수는 중복집합에서 이 원소의 중복도(multiplicity)로 불립니다.

● 다항계수(multinomial coefficient)를 이용하여 아래와 같이 쓰기도 한다.

6. 사전확률(prior probability)은 일이 일어나기 전, 즉 사전에 미래에 어떤 사건이 일어 날 확률을 측정한 것을 말한다. 베이즈(Bayesian) 통계 추정에서, 사전확률분포는 확률 변수에 대해 관측 자료를 고려하지 않고 획득한 결과를 말한다. P(A)는 A에 대한 사전 확률을 나타낸다.

7. 사후확률(posteriori probability)은 사전확률과 대비되는 개념으로 확률변수에 대한 관 측이나 증거에 대한 조건부 확률을 말한다. 즉 어떤 특정사건이 이미 발생하였는데, 이 특정사건이 나온 연원이 무엇인지 불확실한 상황을 식으로 나타낸 것이며 P(A | B)로 표현될 수 있다 (B는 이미 일어난 사건이고, 사건 B를 관측한 후에 그 원인이 되는 사건 A의 확률을 따졌다는 의미로 사후확률이라고 정의한다.

8. 베이즈 정리(Bayes’ theorem)는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다. 베이즈 확률론 해석에 따르면 베이즈 정리는 사전확률로부터 사후확률을 구할 수 있다. 베이즈 정리는 불확실성 하에서 의사결정 문제를 수학적으로 다룰 때 중요하게 이용된다. 특히, 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할 때 유용하게 사용된다.

9. 확률변수(random variable)는 일정한 확률을 갖고 발생하는 사건(event)에 수치가 부여되는 함수이다.

10. 확률변수의 기댓값(expectation)은 확률적 사건에 대한 평균값으로, 사건이 벌어졌을 때의 얻은 값과 그 사건이 일어날 확률을 곱한 것을 전체 사건에 대해 합한 값이다. 이것 은 어떤 확률적 사건에 대한 평균의 의미를 갖는다.

11. 분산(variance)은 그 확률변수가 기댓값으로부터 얼마나 떨어진 곳에 분포하는지를 가늠하는 숫자이다. 기댓값은 확률변수의 위치를 나타내고 분산은 그것이 얼마나 넓게 퍼져 있는지를 나타낸다. 분산(variance)은 관측값에서 평균을 뺀 값을 제곱하고, 그것을 모두 더한 후 전체 개수로 나눠서 구한다. 즉, 차이값의 제곱의 평균이다. 관측값에서 평균을 뺀 값인 편차를 모두 더하면 0이 나오므로 제곱해서 더한다.