2021, Summer (2021년 하계 도전학기)
PBL Report (개인성찰 노트)
Introductory Mathematics
for Artificial Intelligence(인공지능을 위한 기초수학)
Professor: Sang-Gu LEE (이 상 구)
Due : August,21, 2021 11:00 AM (in HW box in LMS)
(과제함 Due day : 2021/ 08/ 21 10 AM)
Final
PBL report
(midterm PBL 을 update & 업그레이드)
*Name (이름) : 박정현, 김수민, Dong Na
*Student ID (아이디)
: 2018, 2020, 2017
*e-mail(이-메일): *@naver.com , @naver.com
검은색 글씨 : MidPBL
초록색 글씨 : FinalPBL
Ch 1장. Participation [참여평가] (10점)
◆ General Academic Knowledge (10 points)
·
State more than 10 Math
Definitions and concepts what you learned in week 1, 2, 3,4
담당교수 또는 다른 학생들이 QnA에
업로드한 글에 자신의 Comment or Answer를 10개
이상 주시오. 4장에 모두 첨부하였습니다.
(1)
State more than 10
Math Definitions and concepts what you learned in Part 1, 2, 3, ...
4주차까지, ‘행렬과 데이터분석’의 파트 1, ‘다변수 미적분학과 최적화’를 다루는 파트 2를 살펴보았습니 다. 각
파트에서 핵심적이었던 개념과 방법론에 대해 수업시간에 배운 바를 요약하고, 그
외에 추가적 으로 개념학습한 내용을 추가하여 설명하겠습니다.
우선, 파트 1의 경우 선형대수학의 기본적이고
핵심적인 개념과 이를 바탕으로 하는 방법론들에 대해 다룹니다. 파트 1의 첫번째 핵심은 벡터공간의
생성입니다. 벡터(vector)는 크기의 수치만을 내포하는 물리량인
스칼라(scalar)와 달리, 크기뿐 아니라 방향의 정보를 모두 담고 있는 물리량입니다. 벡터에 대해 내적이나 외적, 일차결합
등 여러 연산을 가할 수 있습니다. 내적은 유사도를 계산할 때, 외적은 3차원에서 수직인 축을 찾을 때 주로 이용하는
연산입니다.
특히 n개의 벡터를 선형결합하여
영벡터가 되게 하는 스칼라 집합이 모두 0인 경우만 존재할 때
해당 벡터 집합은 선형독립(linearly independent)이라고 합니다. 기하학적 의미를 생각해 보면, n개 벡터의 집합 V 중 어떤 한 원소에 대해서도 다른 벡터들의 모든 선형결합을 고려하더라도 그 특정 벡터와 같 은 방향을 만들 수 없음, 다시 말해 n개 벡터의 모든 선형결합을 고려하더라도 영벡터를 만들 수 없음
을 의미합니다. 다음의 그림에서 두 벡터 v1과 v2는 선형독립입니다.
반대로, 선형종속(일차
종속)이란, n개의 벡터 집합 V의 모든 선형 결합을 고려할 때, 영벡터가 되게 하는 계수 중 적어도 0이 아닌 한 계수가 존재하는 경우를 말합니다. 다시
말해, 이는 기하학적으로
특 정한 한 벡터 𝑣𝑖 에 대해 다른 벡터들의 선형결합으로 𝑣𝑖 를 표현할 수 있음, 즉 생성할 수 있음을 의미 합니다. 선형종속을 기하학적으로
살펴보면 다음과 같습니다.
한편, 벡터집합의
모든 선형결합을 모아 벡터공간을 만들 수도 있습니다. 벡터공간(Vector
Space)은 다항식이나 행렬에도 확장하여 적용할 수 있는 개념으로, 덧셈과 스칼라곱에
대해 닫혀 있고, 벡터공간 의 8가지 성질을
만족하는 임의의 집합 V를 벡터공간이라고 합니다. 그리고
벡터공간 V의 부분집합이 면서 동시에 그 자체로 벡터공간이 되는 경우 이를 부분공간(Subspace)이라고 합니다. 앞서 선형독립 과 선형종속의 개념을
언급할 때, 벡터 집합 U의 모든 선형결합을 고려하였는데, 이 모든 선형결합을 모아 생성된 공간 역시 벡터공간으로, 이는 집합 U에 의해 생성된 부분공간입니다. 공간을 해당 벡터 집합 V에 의해 생성된 부분공간이라 하고, 모든 선형결합을 모으는 것을 ‘생성한다(span)’고 합니다.
한편, 서로 선형독립인
두 벡터 u1, u2에 대해 u1의 u2로의 정사영(projection
of u1 onto u2:𝑝𝑟𝑜𝑗𝑢2 𝑢1)-혹은 그 반대 역시-을 정의할 수 있는데, 이는 벡터 u2로 u1을 가장 잘 설명하는 추정량 . n차원 벡터의 Least
squared estimator 𝑦̂ = 𝑋(𝑋𝑇𝑋)−1𝑋𝑇𝑌 가 됩니다. (이는 Gauss-Markov theorem 에
의해 선형추정량 중 편향이 없고 분산이 가장 작은 추정량임이 증명되었고, 이를 BLUE(Best Linear
Unbiased Estimator) 라고 일컫는다.)
파트 1의 두 번째 핵심은 벡터공간의 차원입니다. 임의의 벡터 집합에 의해 생성된 벡터공간 V는 기 저(basis)를 갖는데, 기저란 벡터공간을 형성하는 (1) 서로 일차독립이고, (2) V를 span하는 벡터들의 집합으로 벡터공간의 차원을 결정합니다.
이는 귀류법을 통해 증명할 수 있습니다. 이때, 벡터공간의 차 원(dimension)은 기저집합의 원소의 개수(cardinality)가 됩니다. 벡터들의 집합은 행렬로 확장할 수
있는데, 이때 행렬 A의 행벡터들로 생성(span)된 벡터공간을 행공간(row space), 열벡터들로 생성 (span)된 벡터공간을 열공간(column space)라고 하고 이 공간의 차원을 행렬의 계수(rank)로 일컫습 니다.
이러한 선형대수학의
핵심 개념들과 더불어 이를 바탕으로 하는 대각화, 특잇값 분해 등 행렬연산을 용이하게 하는 여러 방법론들을
배웠습니다. 이와 달리, 파트 2에서는 미적분학의 기초 개념들과 이를
응용한 수치적 최적화 방법들에 대해 다룹니다. 먼저, 가장 핵심이 되는 개념은 함수의 극한(limit of a function)입니다. 흔히 극한은 엡실론-델타 개념에 의해 정의되는데, 임의의 양수 𝜀에 대하여 x가 상 수 a로 𝛿만큼 가까이 근접할 때 f(x)와 어떤 상수 b 간의 거리가 𝜀 보다 작아지게 하는 양수 𝛿가 존 재하면 함수 f는 b에 수렴한다고 하며, 이때 b를 x가 a에 접근할 때의 극한(limit)이라고 합니다. 극한
값의 정의는 미분가능성의 정의를 가능케 합니다. 함수 f가 a를 포함하는 적당한 근방에서 정의되어 있 고, 극한값이 존재하면 이 극한값을 f의 a에서의 미분계수라 하고 이를 f’(a)로 나타냅니다. 물론, 미분가능성에 대해 엡실론-델타
개념을 도입하여 더 엄밀히 정의할 수도 있습니다.
이는 후에 고차원의 다변수함수로
확장되어 특정 변수 하나에 대해서만 미분하는 편미분의 개념을 도 입하여 다음과 같이 다변수함수 f의 모든 변수에
대해 편미분한 벡터인 gradient f를 정의할 수 있습
니다. gradient f는 특정한 한 점에서 함수 f가 가장 가파르게 움직이는 방향벡터입니다. 이러한 아이디 어를
극솟값/ 극대값을 찾는 문제에 적용한 것이 통계적 최적화와 최근 쓰이는 많은 예측 알고리즘의 기본이 되는 경사하강법(gradient descent method)입니다. 또, 그래디언트를 이용하여 다변수 함수 를 근사하는 테일러 정리에서도 응용됩니다.
한편, 함수 f의 이계도함수를 모아 이계도함수 행렬인 Hessian matrix를 구성할 수도 있는데, 이는 도함수를 이용하여 함수 f의 근을 찾는 수치적 방법인 newton method와 결합하여 함수의 극대점과 극소점을 찾는 최적화 문제에 응용되어 많이 쓰입니다. 대표적인 예로, quasi-newton method가 있습 니다.
파트 2의 또다른 핵심 개념은 중적분입니다. 적분은 미분의 반대 개념으로서, 미적분학의 기본정리 (fundamental theorem
of calculus)에 의해 적분값이 다음과 같이 정의됩니다. 이때, F(x)는 f(x)의 임의의 한 부정적분이고
이 적분값은 기하학적으로 구분구적법에 의해 함수 f가 x = a와 x = b, x축으로 둘러싸인 넓이를 의미합니다.
이 개념을 역시 다변수함수로
확장하면 이중적분, 삼중적분 등으로 확장할 수 있는데, 2차원상에서 적 분계산이 넓이를 의미했듯 이중적분은 부피를, 삼중적분은
밀도를 의미합니다. 나아가, 기하학적으로 시 각화할 수는 없지만 이를 n개의 변수에 대한 중적분으로 일반화할 수 있습니다.
한편, 적분을 이용해 변수변환을
시행할 수도 있는데, 전단사함수(역함수가 존재하는 함수) u에 대해
Y
= u(X) 라고 할 때 𝑢−1 를 y로
미분한 값의 절댓값을 곱해 주면 변수변환으로 인해 일어난 적분영역 의 넓이변화를 보정해 주게 되므로 변수변환을 시행할 수 있습니다. 이를 n차원 함수
𝑢(𝑥1,
𝑥2, 𝑥3,
… 𝑥𝑛) = (𝑢1(𝑥1,
𝑥2, 𝑥3,
… 𝑥𝑛), 𝑢2(𝑥1,
𝑥2, 𝑥3,
… 𝑥𝑛), … , 𝑢𝑛(𝑥1,
𝑥2, 𝑥3,
… 𝑥𝑛))
에 대해서도 확장 가능한데, 이 경우 각각의 𝑢𝑖−1 를 x1,x2,…xn 에 대해 순차적으로 미분하여 자코비 안 행렬을
구할 수 있고, 행렬의 각 열벡터가 구성하는 공간의 넓이가 곧 행렬식(determinant)의 절 댓값이므로 자코비안 행렬의 행렬식의 절댓값을 구하여 적분구간의 area를 보정해 줄 수 있게 됩니다. 이는 치환적분의 아이디어와도 일맥상통합니다.
l
l 순열과 조합, 확률
한편, 5주차부터는 파트 3의 확률통계와 빅데이터에 대해 다루었습니다. 우선, 순열과 조합, 그리고 확률에 대한 개념을 정의한 바 있습니다. 서로 다른 n개 중 k개를
뽑는 상황을 생각했을 때, 순서를 고려한 경우의 수를 구하는 것이 순열, 순서를 고려하지 않고 경우의 수를 구하는 것이 조합입니다. 이렇듯
경우의 수를 활용하여 어떤 사건이 일어날 확률을 구할 수 있는데, 현실에서 발생하는 사건에 대해 보다
일반적으로 확률을 정의하기 위해 수학적 확률과 확률의 공리가 정의됩니다. 대수의 법칙은 사건 A가 일어날 확률을 정의하기 위해 극한의 개념을 도입하며, 이때 시행
횟수 n을 무한히 늘리면 수학적 확률에 수렴하므로 이를 P(A)로
정의하도록 합니다. 이처럼, 확률은 상대도수를 추상화한 것이기
때문에 이를 논리적으로 체계화할 필요성에 의해 러시아의 수학자 콜모고로프(Kolmogorov)에 의해
고안된 것이 확률의 공리(Axiom of probability) 입니다.
한편, 조건부확률은 표본공간을 축소하여
어떤 사건 A가 일어났다는 조건 하에서 사건 B가 일어날
확률을 수치화하고, 다음과 같이 구할 수 있습니다.
이러한 조건부확률을 이용하여 사전확률과 가능도의 곱을 통해 사후확률을 구하는 베이즈 정리에 대해서도 학습한 바 있습니다. 베이즈 정리의 공식은 다음과 같습니다.
l 확률변수와 확률분포
한편, 사건에 대해서 이를 수치로 할당해주기 위해 확률변수가 필요하게 되는데, 확률변수 X가 가질 수 있는 값이 셀 수 있는 값이면 이를 이산확률변수, 셀 수 없는 값이면 연속확률변수라고 합니다. 확률변수가 가질 수 있는 모든 값에 대한 확률의 분포가 확률분포함수입니다. 이산확률변수의 확률분포는 확률질량함수(pmf)라고 하고 연속확률변수의
확률분포는 확률밀도함수(pdf)라고 하며, 다음 성질을 만족합니다. 또한, 아래의 식과 같이 기댓값과 분산을 구할 수도 있습니다.
이산확률분포의 대표적인 종류로 베르누이분포와 이를 확장한 이항분포, 포아송분포가 있으며 다음과
같은 확률질량함수를 갖습니다. 또한, 각 분포의 기댓값과
분산은 다음과 같습니다.
한편, 연속확률분포의 종류로는 대표적으로 균등분포, 정규분포가
있으며 기댓값과 분산은 다음과 같습니다.
한편, 표본평균에 대해 핵심적인 정리 중
하나가 중심극한정리인데, 중심극한정리(CLT)란 모평균이
, 모분산이 
인 분포를 따르는 랜덤표본 X1~Xn에
대해 n의 크기가 커질수록 표본평균의 분포는 모집단의 분포와 상관없이 정규분포를 따르게 된다는 이론입니다.
한편, n개의 확률변수에 대해 그 확률변수
간 관계를 고려해주기 위해 결합확률분포를 고려할 수도 있습니다. 이때,
확률변수 X와 Y에 대하여 두 변수가 서로 어떤
관계를 가지는지 표현하는 것이 공분산이고, 공분산이 단위에 영향을 받는다는 문제점을 해결한 것이 상관계수입니다. 또한, 이를 n개 확률변수에
대해 확장하여 관계를 나타내는 공분산행렬을 다음과 같이 고려할 수도 있습니다.
l
파트 4는 본론으로, 그간 배운 방법론을 실제 데이터에 접목하여 활용해보게
됩니다. 특히, 차원 축소 방법론 중 하나인 PCA에 대해 주로 다룹니다. PCA는 데이터의 공분산행렬을 고유값분해하여
제이터의 분산을 최대화시키는 직교인 축을 찾습니다. 이는 공분산행렬을
SVD함으로써 얻어질 수도 있습니다. PCA의 개념과 최적화하기 위한 step은 다음과 같습니다.
첫 번째로, 분산이 가장 최대화되는 축을 찾습니다. 이것의
최적화는 라그랑주 승수법으로 풀 수 있습니다.
두 번째로, 첫 번째 찾은 주성분과 수직이면서 분산을 최대화하는 축을 찾습니다. 역시 라그랑주 승수법이 적용됩니다.
이를 반복하여 분산이 최대가 되도록 하되 앞의 주성분과는 수직이도록 하는 k번째 주성분을 찾습니다. 이것이 PCA최적화 과정이며 이는
SVD를 통해서 일반화될 수 있습니다.
PCA가 중요한 이유는 변수가 매우 많고, 다중공선성이 높은 데이터에 대해서 분산이 최대화되는 방향, 즉 공분산행렬이 주는 정보를
그대로 간직하여 분산이 큰 일부 축만을 선택하여 데이터의 차원을 축소할 수 있기 때문입니다. 데이터의
행과 열이 모두 커지는 빅데이터 시대에서, 이러한 차원 축소 방법은 매우 큰 의의를 갖는다고 할 수
있습니다.
l 신경망
신경망은 딥러닝 계열 모델들의 기반이 됩니다. 이는 퍼셉트론이라고도 하는데 신경계의 기본 단위인 뉴런을 모형화한 것으로, 입력된 x값에 가중치를 곱하여 결과값을 다음 레이어에 전달합니다. 이때, 원래의 입력값 X를 입력하는 층을 입력층, 최종 예측값을 도출하는 층을 출력층이라고 하고 입력층과 출력층 사이에 숨겨진 층을 은닉층이라고 합니다. 하나의 은닉층을 거치는 것은 결국 가중치행렬 하나를 곱하는 것이고, 은닉층이
늘어날수록 곱해지는 행렬도 늘어납니다. 이러한 신경망 계열의 모델학습,
즉 딥러닝에서 우리의 관심사는 이러한 가중치행렬의 최적화입니다. 그런데 이미지 분석이나
음성 분석 등 좀더 복잡한 현실의 문제를 해결하기 위해 은닉층을 더 많이 쌓게 될 경우 그만큼 곱해지는 가중치행렬이 증가하고, 추정해주어야 할 가중치 역시 증가하게 됩니다. 이에 따라 수학적으로
항상 최적의 가중치를 구하기 어려워지고, 경사하강법 등의 수치적 최적화 방법론들과 오차역전파를 활용해
가중치를 업데이트해가며 최적의 값을 찾게 됩니다.
다음 그림은 하나의 퍼셉트론, 즉 노드와 레이어, 입력층, 은닉층, 출력층을 시각화한 것입니다.
이때, 출력층에서
출력을 결정하기 위해 활성화 함수를 사용하게 됩니다. 대표적인 활성화 함수로는 시그모이드와 ReLu, softmax등이 있습니다. 시그모이드는 임계값을 기준으로 1 또는 0의 값을 주는 step
function을 근사한 것으로, 다음과 같은 식과 그래프를 갖습니다. 시그모이드를 활용하면 미분이 가능하고, 또 그라디언트를 구하는 것이
쉬워 경사하강법을 활용한 가중치 업데이트가 가능하다는 장점이 있습니다.
한편, 가중치를
업데이트할 때 출력층과 은닉층 사이의 가중치행렬은 손실함수를 가중치행렬에 대해 미분함으로써 경사하강법을 활용해 쉽게 업데이트할 수 있습니다. 이 가중치행렬을 업데이트하는 방법은 다음과 같습니다.
은닉층과 입력층 사이의 가중치행렬을 업데이트하는 경우 그라디언트 식에서 오차를 대신할만한 것이 없게
되는데, 이를 근사해주기 위해 오차역전파법이 활용됩니다. 오차역전파법은
모델의 잔차와 예측치를 구할 때 사용해준 가중치를 사용하여 오차를 역추적해주는 방법입니다
이를 활용하여 오차와 가중치를 반복적으로 업데이트할 수 있게
되고, 이를 통해 최적의 가중치행렬을 구하고자 하는 기계학습 기법을 딥러닝이라고 합니다.
(2)
State
more than 5 things that you know/can/find ... after you studied the first Part
1, 2, 3, 4.
1.
가우스 조던 소거법 (GAUSS-JORDAN 소거법):
2.
선형연립방정식의 첨가행렬을 RREF로 변형하여 푸는 기법이다.
RREF는 다음과 같이 변형할 수 있다.
(1)
성분이 모두 0인 행이 존재하면 그 행은 행렬의 맨 아래에 위치한다.
(2)
각 행에서 처음으로 나타나는 0이 아닌 성분은 1이다. 이때 이 1을 그 행의 선행성분 (leading entry, leading 1)이라고 한다.
(3)
I 행과 (i+1) 행 모두에 선행성분이 존재하면 (i+1) 행의 선행성분은 i행의 선행성분보다 오른쪽에 위치한다.
(4)
선행성분(leading entry in row)을 포함하는 열의 선행선분 외의 성분은 모두 0이다.
3.
극소, 극대 판정법
점 (a,b)m이 근방에서 2변수 함수 f가 연속인 2계 편도함수를 갖고,
라고 할 때,
선행 주 소행렬식(leading principal minor) 또는 고윳값만 보고 그 부호만을 이용하여, 같은 ‘이변수함수의 극대극소판정법’ 에 도달할 수 있다.
4.
최소제곱해
y를 모델 y = a + bx에 xi를 대입하여 얻은 값이라고 하면, 최소제곱문제는 결국 오차
이 최소가 되는 a, b를 구하는 것과 같다.
X와 y에 대한 2차원 데이터가 주어진다고 할 때 좌표평면에 나타내면 다음과 같다.
5. 단사, 전사, 전단사, 동형사상
즉, 단사는 일대일 함수 / 전사는 모든 원소가 정의역에 대응하고 그 자체로 치역이 됨 / 전단사는 일대일 대응 함수 = 동형사상이라고 쉽게 설명할 수 있다.
T가 단사일 필요충분조건은 ker(T) = {0}이다.
6.
대각화 가능한 행렬
n차의 정사각행렬 A가 대각화가능할 필요충분조건은 A가 n개의 일차독립인 고유벡터를 갖는 것이다. 이때, 행렬 A는 자신의 고윳값 람다들을 주대각선성분으로 갖는 대각선행렬 D와 닮은 행렬이다.
A를 대각화하는 행렬 P를 구하는 과정은 다음과 같다.
.
1. 고차원 데이터에서의
정사영을 활용한 최적해 구하기
파트 1의 정사영 부분을 공부하고, 교수님께서 행렬로까지
이를 확장하여 정규방정식의 해를 구하는 법을 다루어 주셔서, 제가 이미 알고 있는 지식을 보충하고 되돌아볼
수 있었습니다. 정규방정식의 해 를 구하는 과정에서 제가 이미 통계학과의 전공수업에서 학습하여 익숙해져
있던 방식은 미분하여 최적 해를 구하는 방법이었습니다. 다중선형회귀에서 Y의 LSE로 쓰는 함수인 𝑌̂ = 𝑋(𝑋𝑇𝑋)−1𝑋𝑇𝑌 와 Y는 input space의 벡터 중 Y와 가장 거리가 짧은 벡터이므로 y를 x로 가장 잘 설명한 추정량임은 알고 있었으나, 𝑌 − 𝑌̂ 과 input space가 orthogonal 하다는 점을 활용하여 수식적으로 해를 구하는 방식 은 익숙하지 않았는데, 이번 수업을 통해 혼자 공부하며 정규방정식을 푸는 또다른 방법을 알게 되고,
더욱 익숙해지게 되었습니다.
또한, 여러 상황에서의 저차원(3차원)에서 수직거리를 손으로 구할 수 있는 능력에 그치지 않고 좀더 높은 차원에서 최소제곱해를 구하는 방법을 구축할
수 있었습니다. n차원 벡터의 n-1차원으로의 정사영 추정치, 즉 least square estimate를 실제 데이터 행렬과 R software를 활용해 구해 보았습니다. 이 때, 코딩으로 행렬곱, transpose, inverse matrix 등을
계산하여 직접 구해 보고, 혹은 R 내장함수인 lm()을 이용해 간편한 방법으로도 구해 보았습니다. 이를 통해, 정사영과 최단거리가 실제 데이터분석 에 활용되고 있는 방식과 그것이 내포하는 기하학적 원리에 대해 다시금 깨우칠
수 있었습니다.
2. 뉴턴 방법을 소프트웨어로 직접 구현
3주차의 뉴턴 방법을 학습하고 나서, 이를 R 소프트웨어로
직접 구현해 보는 실습을 하였습니다. 현재 는 유용한 R
package가 정말 많기 때문에 실제 데이터 분석을 할 때나, 심지어 자습을 하는 경우에도
배운 방법론들을 직접 구현하기보다 기존의 패키지를 활용하고 결과값을 내는 것에 급급할 때가 많았는 데, 뉴턴
방법을 배우고 이를 직접 함수를 짜서 구현해 봄으로써 뉴턴 방법의 원리를 더욱더 익숙하게 체득할 수 있는 좋은 기회였습니다.
3.
뉴턴 방법의 한계를 해결한 준뉴턴 방법의 응용
교수님께서 webex meeting 에서 자신의 전공과 관련하여 배운 것을 응용해봐도 좋다고
하셔서, 뉴 턴 방법이 통계학 분야에서 응용되는 방식에 대해 추가적으로 학습하던 중, 전통적인 뉴턴 방법에는 여 러 한계가 존재하고 실제로 응용될 경우 이를 해결한 준뉴턴 방법(quasi-newton method)이 가장 많 이 사용된다는 점을 알게 되었습니다. 뉴턴 방법의 가장 큰 단점은 최적화 문제에서 헤시안 행렬과 결 합하여 사용될 때, 헤시안을 반복적으로 계산하고 저장해야 하므로 시간적, 비용적으로
비효율적이라는 점입니다. 준뉴턴 방법은 헤시안을 정확히 계산하는 것이 아닌, 근사(approximation)하는 방법으로 시 간과 비용을 절약하게
됩니다. 저는 이를 저의 전공인 통계학의 다중회귀분석에 응용하여 X와 Y간 명 백한 비선형 관계가 존재하여 정규방정식의 최적해를 기존의 방법(1번에서
언급했던 미분하거나, orthogonality를 이용하여 구하는 방법)으로
구할 수 없는 경우 준뉴턴 방법을 활용하여 numerical 하게 최적해를 구하는 실습을 해 보았습니다.
이는 제게 정말 소중한 경험이었습니다. 학부수준의 회귀분석에서는 단순선형회귀나, 다항선형회귀까 지만을 다루고 추정량 𝑌̂ = 𝑋(𝑋𝑇𝑋)−1𝑋𝑇𝑌 를 공식처럼 쓰는 경우가 대부분인데, X와 Y간 비선형
관계 가 존재할 경우 단순선형회귀만으로는 잔차플롯의 추세가 없어지지 않아서 가정진단을 할 때 ‘redisual 이 독립이 아니다’, ‘X행렬이 Y를 충분히 설명하고 있지 않다’ 등으로 결론내리곤 하는데, 이를 해결할 수 있는 한 가지 도구를
얻을 수 있었기 때문입니다. 또한, 이 수업을 통해 뉴턴
방법의 탐색방향벡터 를 구하는 데 헤시안 행렬의 역행렬이 사용되고, 준뉴턴 방법은 이를 다양한 방법론을
통해 근사하여 그 근사 방법에 따라 다양한 종류가 있다는 것을 알게 되어 정말 유익했습니다.
4.
다변수함수의 테일러 정리 : 테일러 근사의 필요성
여러 전공수업과 미적분학 수업에서 일변수함수의 테일러 근사를
배운 바 있으나, 그 원리가 충분히 와닿지 않아 단순 암기식으로 배우는 경우가 많았는데 이를 다변수함수에
확장한 논의를 통해 비로소 그 원리를 체득할 수 있었습니다. 일변수함수의 경우 함수의 꼴이 복잡하지
않아서 테일러근사의 필요 성을 체감하지 못했는데, 다변수함수로 확장하여 선형근사식과 이차근사식을 배우고
나니 고차원에서 함수 f의 꼴이 특정되어 있지 않거나, 복잡한
비선형 꼴인 경우 그라디언트 f와 헤시안 행렬을 통해 이 를 근사하여 단순화할 수 있겠다는 생각이 들었습니다. 예를 들면, 통계학 분야에서 확률변수의 mgf(Moment generating function;적률생성함수)를
테일러정리를 이용하여 1차 적률인 기댓값 E(X)와 2차 적률 𝐸(𝑋2) 등 k차 적률의 함수로 단순화하여 나타내곤 합니다. 이를 확장하여 n차원 확 률변수 벡터의 mgf에 대해서도 mgf의 그라디언트와 헤시안 행렬을 활용하여 k차 적률벡터의 함수로
단순화하는 데 응용할 수 있겠다고 생각하였습니다. 복잡한 문제를 단순화하는 능력은 현대 사회가 요구하는
가장 중요한 역량입니다. 다변수함수의 테일러 정리에 대해 고찰함으로써 그 의의를 깨달을 수 있었습니다.
5.
변수변환법- 자코비안 행렬식에
대한 고찰
변수변환은 미적분학에서 소개하는 주요 개념 중 하나입니다. 이는 n차원 입력 벡터에 대한 n개 함수 를 다룰 수 있는 방법이므로 데이터분석에
활용되는 여러 확률분포를 이해하는 데 필수적입니다. 수리 통계학 수업에서 변수변환을 다룰 때 이미 접하고
계산해본 적이 있고, 자코비안 행렬식이 의미하는 바에 대해 어렴풋이나마 이해하고는 있었으나 왜 필요한지에
대한 구체적인 고찰은 적었습니다. 하지만, 이번 수업을 통해
자코비안 행렬식이 어떻게 적분구간의 변화를 보정해줄 수 있는 수치인지 이해할 수 있었습니다. 또한, 추가적인 학습을 통해 Y = u(X)일 때 함수 u에 대한 자코비안 행렬과 u의 역함수에 대한 자코비안 행렬이 서로
역행렬 관계에 있음을 증명할 수 있었고, 때문에 적분값을 구할 때 𝑢−1 의 자코비안 행렬식의 절댓값 대신 u에 대한 자코비안 행렬식의
절댓값의 역수를 택하여 계산해도 같은 결과가 나옴을 알 수 있었습니다.
6.
중심극한정리(CLT)증명과 코드 구현을 통한 확인
중심극한정리 역시 통계학의
주요 개념 중 하나인데, 이것이 왜 성립하는지를 MGF의
테일러전개를 통해 간단히나마 증명해보고 그 원리에 대해 고찰해 볼 수 있었습니다. 또한, 이를 코드를 통해 구현해 본 것은 처음인데 여러 가지 분포로부터 n개의
표본을 반복적으로 샘플링하고, 표본평균을 모아 이것의 히스토그램을 구하고 이것이 근사되는 해당 정규분포의
확률밀도함수와 비교해봄으로써 중심극한정리가 성립함을 확인해 볼 수 있었습니다. 또한, 다른 학우분이 normal q-q plot을 그리는 실습을 통해
확인해 주셔서 CLT가 성립함을 더욱 확실하게 보일 수 있었습니다
.
7.
SVD와 PCA의 관계 증명 및 PCA 최적화 문제 손으로
증명, 코드로 구현해보기
교수님게서 학기 초부터 SVD와
고윳값분해를 이후에 차원 축소를 위한 PCA(Principal component analysis)를
깨우치는 측면에서 강조하셨는데, 이번 주차에 드디어 PCA과정을
배우게 되어서 데이터의 분산을 최대화하는 최적화 과정을 라그랑지안 형식으로 직접 풀어 보고, 각 PC의 분산을 손으로 구해 보며 PCA에 대한 심도 있는 이해를 도모할
수 있었습니다. 또한, 이를 PCA를 직접 코드로 구현하는 과정을 통해 실제 상황에서 변수 간 상관계수가 높을 경우 이를 직접적으로 활용할
수 있는 능력을 기를 수 있었습니다. 또한, 적재계수를 활용하여
변수 간 가중치를 준 뒤 어떤 사회 현상에 대한 지수를 구하는 데 쓸 수도 있겠다는 아이디어를 얻을 수 있었습니다.
8.
신경망 모델의 작동 원리와 역전파에 대한 이해
딥러닝 분야에 대해서는 배경지식이 거의 전무하다시피 했는데, 이번 수업을 통해 딥러닝 모델의 개요에 대해 학습하는 계기가 되었습니다. 우선, 흥미로웠던 점은 딥러닝 모델의 꼴 역시 제게 익숙한 선형회귀모형과 다르지 않다는 점이었습니다. 선형회귀모형의 경우 X행렬에 계수
beta의 벡터를 곱하여 선형식으로 표현하고자 하는데, 이때 beta벡터를 가중치행렬로 확장하고, 활성화 함수를 각 층마다 적용하면
이것이 곧 다층 퍼셉트론, 즉 신경망 모델과 다르지 않음을 깨달았습니다. 또한, 역전파의 경우 용어는 들어보았으나 그 원리에 대해 상세히
알아본 적은 처음인데 우리 교재에서 간단한 예시를 들어 해당 내용이 정말 잘 설명이 되어 있어 이에 대해 쉽게 이해할 수 있었던 것 같습니다.
9.
여러 활성화 함수의 장단점과 특성
신경망 기반의 모델에서 사용되는 여러 활성화 함수에 대해 추가적으로 학습하였습니다. 각각의 장점과 한계, 그리고 이에 따른 고안 배경을 스토리텔링 형식으로
학습하다 보니 이해가 잘 되었습니다. 또한, 가중치 업데이트와
역전파 시 경사하강법과 결합되어 어떻게 갱신이 이루어지는지 수식 위주로 step-by-step으로 꼼꼼히 공부했습니다. 특히 인상 깊었던 것은 교재에서 시그모이드 함수를 활성화 함수로 이용하여 아주 간단한 신경망 모델에서 가중치행렬을
업데이트하고 역전파하는 과정이 매우 쉽고 자세하게 나와있다는 점이었습니다. 이를 통해 직접 손계산해보고
이미지를 그려 학습함으로써 딥러닝에 대해 더 잘 이해할 수 있는 계기가 되었던 것 같습니다.
(3)
State your
meaningful Comment/Answer/Discussions in Discussion/QnA.
후에 첨부하겠지만, 이번
수업의 QNA 게시판을 통해 학우분들과 활발히 소통함으로써 제게 정말 많은 것을 배울 수 있는 기회가 되었습니다. 특히 가장 인상깊었던 5가지 논의는 다음과 같습니다.
a.
뉴턴 방법의 오류에 대한 논의(질문자: 양지원 학우님)
뉴턴 방법을 기반으로 한
최적화 방법이 널리 상용화되어 있다는 것은 알고 있었지만, 뉴턴 방법 에 어떤 오류와 한계가 있는지에
대해서는 고찰해 본 적이 없었는데, 학우님들과의 논의를 통해 수 식적으로 보았을 때도, 컴퓨터로 알고리즘을 실행시킬 때도 단순한 함수에 대해서 오류를 발생시킬 수 있음을 확인했던 시간이었습니다. 함수의 근이 2개 이상인 경우 뉴턴 방법은 초깃값에 민감하 여 여러
번 시행했을 때 동일해로 수렴하지 않을 수 있다는 단점이 있음을 알게 되었고, 미분계수 가 0인 x값을 초깃값으로 사용하여 미분계수를 직접적으로 계산하게 되면
알고리즘이 발산하지만 직접적으로 미분계수를 구하지 않고 극한을 구하기 전의 함숫값을 이용하면 알고리즘이 정상적으 로 작동함을 알 수 있었습니다.
이를 통해 뉴턴 방법의 오류에 대해 고찰해 보고 뉴턴 방법뿐 아니라 뉴턴 방법의 오류를 직접 구현해볼 수 있는 소중한 경험을 터득할
수 있었습니다.
b.
대각화 시 고윳값의 배열과 고유벡터
간 일차독립에 관한 논의(질문자: 민소은 학우님)
직교대각화를 할 때 왜
보통 큰 고윳값과 이에 해당하는 고유벡터부터 정렬하는지, 왜 고유벡터들 이 독립이어야 하는지에 대해
고찰해보는 계기가 되었습니다. 고윳값과 고유벡터를 구하는 식 Ax=
lambda x이 내포하는 기하학적 의미를 생각해 보면, Ax는 행렬 A의 열벡터들의 모든 선형결합 을 고려하는 것이고, lambda x는
그 선형결합에 쓰인 계수 벡터가 lambda에 의해 scaling되는
것을 의미합니다. 따라서, 방정식을 풀면 곧 행렬 A가 span하는 공간에서 가장 많은 값이 존재하 는 방향벡터들과
각 방향에서 얼마나 variability가 심한지를 수치적으로 고려해준 것이 고유벡터 와 고윳값임을
고찰을 통해 깨달을 수 있었습니다. 때문에, 모든 고유벡터들은
서로 다른 축을 의 미하게 되므로 서로가 서로를 선형결합으로 만들 수 없는 ‘일차독립’의 관계여야 하고, 분산이 가장 큰 축이 행렬 A가 생성하는 공간에서 중요한 축이기 때문에 보통 가장 큰 고윳값부터 정렬하게 되 는 것임을 알게 되었습니다. 이를 민소은 학우님의 질문에 대한 답변으로 풀어 설명하고, 다른
학 우분들의 답변을 참고하며 제게 충분히 설명되지 않은 지식의 틈들을 메꿀 수 있는 좋은 기회였던 것 같습니다.
c.
뉴턴 방법의 응용에 대한 논의: 통계학의 quasi-newton method와 공학의 로봇 팔 각도
계산(작성자: 박정현)
뉴턴 방법에 대한 수업을 듣고, 이 방법론이 실제 생활에서 어떻게 쓰이는지에 대한 궁금증이 생겼고, 이를
저의 전공인 통계학의 최적화 분야와 관련하여 직접 실습해본 의미있는 경험이었습니다. 하지만, 이 논의가 뜻깊었던 이유는 전혀 다른 전공을 가진 오혜준 학우님과
newton method가 어떻게 활용되고 있는지에 대해 심도 높은 지식과 사례를 공유했기 때문입니다. 캠퍼스 특성상 다 른 전공의 학우분들이나, 특히 율전캠퍼스에 있는
전공의 학우분들과는 지식을 공유할 기회가 드문데, 이 수업을 통해서 소중한 경험을 얻었다고 생각합니다.
d.
확률의 공리와 이로부터 파생된
정리 증명(질문자 : 김석하)
확률의 공리를 배우고, 이것이 확률을 논리적으로 체계화하는 데 필요하다는 점에서 필요성을 다시금 깨달을 수 있었습니다. 김석하 학우님께서 이를 시각적으로 잘 정리해 주셔서, 저는 이로부터
파생된 정리를 공리를 활용하여 엄밀히 증명해 보았습니다. 이를 통해 확률이 엄밀한 수학적 토대 위에서
정의된 것이며, 확률의 공리와 집합 간 관계식만을 이용하여 여러 성질들이 증명될 수 있다는 점을 배울
수 있었습니다.
e.
이항분포를 포아송 분포로 근사할
때 np <5라는 조건이 필요한 이유(질문자 : 홍정명)
이항분포가 포아송분포로 근사될 수 있다는 점, 포아송분포가
이항분포에 비해 상대적으로 발생확률이 적은 rare event를 다룬다는 점은 알았지만, 구체적인 수치와 근사가 잘 되는 조건은 잘 알지 못했었는데 이때 근사가 잘 되는 조건이 왜 팔요한지에 대해
곰곰이 생각해 봄으로써 지식과 지식 간 연결고리를 찾을 수 있었던 논의였습니다. 또한, 이를 fixed time point 동안 일어나는 사건의 수를 모델링하는
포아송과정과 연결지어 이해를 더욱 공고히 할 수 있는 계기가 되었습니다.
f.
PCA 최적화 과정 손증명, SVD와의 관계 손풀이(작성자 : 박정현)
우선, 교재에서 PCA과정이 정말 친절하게 설명되어 있다는 점에서 놀랐습니다. PCA가
데이터의 분산을 최대화하는 축을 찾고, 그때의 축의 분산이 곧 공분산행렬의 고유값이라는 점은 알았지만, 이를 직접 손으로 증명해 본 것은 처음이었습니다. 교재와 이전에
공부했던 여러 자료들을 찾아보면서 직접 해 보니, PCA에 대해 더 확실히 이해할 수 있는 계기가 되었던
것 같습니다. 또한, 공분산행렬을 고윳값분해하는 과정과 SVD하는 과정이 동일하다는 점을 보임으로써 교수님께서 항상 강조하신 SVD와 PCA의 이론을 더욱 잘 알게 된 것 같아 뿌듯했던 경험이었습니다.
g.
ReLu 활성화 함수로 가중치 업데이트하기 손풀이(작성자 : 박정현, 질문자 : 이지용)
교재에 sigmoid 함수를 활성화함수로
하여 경사하강법을 이용해 가중치를 업데이트하는 과정이 나와 있어서, 저는 이를 확장하여 은닉층이 2개인 모델에서 sigmoid 의 한계를 해결한 Relu 함수로 활성화함수를 택했을 때 가중치를 업데이트하기 위해 각 가중치행렬에 대해 chain rule 을 이용하여 그라디언트를 손으로 구하고, 가중치를
업데이트할 때 얼마만큼씩 업데이트가 되는지 손으로 계산해 보았습니다. 이를 통해 활성화 함수와 그라디언트
구하기, 가중치 업데이트 과정에 대해서 더 잘 이해할 수 있게 되었습니다.
경사하강법을 공부하면서 Gradient Descent Method와 Newton’s Method와의 공통점과 차이점에 대해 학우분들과 서로 질문하며 토론했던 것이 흥미로웠습니다.
아래는 실제 질문을 하며 토론을 했던 문의게시판의 해당 글입니다.
[Final OK] Re-Finalized by 박건영, 김은진, 박정현, 안은선, 김성준, 김수민 (경사하강법 요약 및 질문)
작성자 : 김수민(2020####78)작성일 : 7월 30일 오전 4:42
조회수 : 7
강의를 듣다 경사하강법과 뉴턴방법의 차이점에 대해 저도 궁금증이 생겼는데 비슷한 질문이 있어 덕분에 해답을 얻었습니다. 경사하강법인 Gradient Descent Method는 learning
rate를 통헤 기울기의 방향을 일정 거리만큼 조절하는 작업을 반복해 극대, 극소를 찾는 방법이며, 뉴턴 방법인 Newton's
Method는 함숫값이 0이 되는 즉 근사적인 해를 찾는 방법이라는 차이점에 대해 알게되었습니다. 경사하강법과 뉴턴 방법을 더 정확히 이해하는데 도움이 되었습니다.
목록으로 이동
[ Final OK by
SGLee ] Finallized by 이상구교수님, 박건영, 김은진, 박정현, 안은선, 김성준 (경사하강법 요약 및 질문)
작성자 : 김성준(2017####61)작성일 : 7월 29일 오전 00:07
조회수 : 21
[4주차] 경사하강법 요약 및 질문
작성자 : 박건영(2021####42)작성일 : 7월 27일 오후 10:09
조회수 : 54
경사하강법의 개념을 쉬운말로 정리한 것 입니다!
경사하강법과 뉴턴방법의 기본 접근은 비슷한 것 같은데 차이점이 궁금합니다!
댓글
이상구(LEE SANGGU)7월 27일 오후 10:25
1. gradient descent 방법은 함수의 극대, 극소를 찾는 방법이고 2. Newton 방법은 함수값이 0이 되는 해를 찾는 방법입니다.
이상구(LEE SANGGU)7월 27일 오후 10:37
잘 했어요? 그런데 ... 이미 비슷한 일을 더 잘 해놓은 다른 동료 학생들의 자료를 읽고 ... 개선 하면서 ... 새로운 시도를 보태면 더 좋답니다.
김은진(2020####41)7월 27일 오후 11:03
위의 교수님의 답변을 바탕으로 두 방법의 차이를 찾아보았습니다. [경사하강법] x <- x-αf'(x) [뉴턴 방법] x <- x-f'(x)/f''(x) 경사하강법은 α를 사람이 설정하고 α만큼 기울기 방향으로 x값을 갱신하는 반면, 뉴턴 방법은 2차 미분을 이용하여 경사하강법에서의 α를 자동으로 조정합니다. 즉, α를 1 / f''(x)로 대체한 것입니다. 경사하강법은 1차 미분의 정보만을 사용하는 반면 뉴턴 방법은 2차 미분의 정보도 활용하므로 목적지에 더 빨리 도달할 가능성이 높습니다. 물리 세계로 보면 뉴턴 방법은 '속도뿐만 아니라 가속도 정보'까지 사용하기 때문이라고 하네요
박정현(2018####21)7월 28일 오전 00:03
첨언하자면, Gradient descent 방법은 gradient f 앞에 붙은 하이퍼파라미터 a로 알고리즘의 수렴속도를 조정합니다. 이를 대다수의 머신러닝 모델에서는 learning rate 라고 하는데 이 learning rate가 너무 크면 알고리즘이 수렴하지 않을 가능성이 있고, 너무 작으면 local minimum/maximum에 갇힐 수 있다는 단점이 있습니다. 때문에, 다양한 값의 파라미터에 대해 교차 검증(CV)하거나 hold out method로 평가하여 손실함수가 최소화되는 learning rate 값을 도출하는 것이 중요합니다. 이 과정을 하이퍼파라미터 튜닝이라고 합니다. 한편, 뉴턴법에서는 이러한 alpha를 자동으로 결정해주기 때문에 하이퍼파라미터를 튜닝할 필요가 없지만 데이터에 대해 함수 f의 specific form을 가정하지 않는 경우 손실함수의 그래디언트만을 계산하는 경사하강법 계열의 머신러닝 방법론을 많이 사용합니다. 그러나, 특정한 함수의 극대/극소를 찾는 문제의 경우 지정된 learning rate에 대해 경사하강법을 쓸 수도 있고, 이는 f'(x)=0의 근을 찾는 문제와도 연결되므로 이계도함수행렬(헤시안 행렬)과 결합하여 뉴턴 방법을 적용해도 됩니다.
이상구(LEE SANGGU)7월 28일 오전 00:04
1. gradient descent 방법은 함수의 극대, 극소를 찾는 방법이고 2. Newton 방법은 함수값이 0이 되는 해를 찾는 방법입니다. gradient descent
방법은 Newton method 와 비교 보다는 Quasi-Newton method
와 비교 하는 것이 맞는데 ... 심화 단계에서 하시면 됩니다. ... 지금은 고민 하지 않으셔도 됩니다. 프로젝트 제안서에 반영하시기를 권합니다.
안은선(2020####19)7월 28일 오후 3:09
Gradient descent 방법은 기울기의 방향으로 일정 거리만큼 이동하여 다시 기울기를 구하는 작업을 반복하여 극대, 극소를 찾는 방법입니다. Newton 방법은 함수값이 0이 되는 근사적인 해를 찾는 방법이라는 점이 Gradient descent 방법과의 차이점입니다!
교수님께서 언급하신 Quasi-Newton
method에 대해 궁금해져서 잠깐 알아보는 시간을 가졌습니다.
Quasi-Newton methods는 각 반복(iterateration)에서
objective function에 대한 gradient만을 필요로 합니다. 이는 이차 미분을 필요로하는 newton methods보다 계산적인
부담이 훨씬 적으며 더불어 superlinear convergence를 보인다는 점에서 충분히 매력적인 방법이라고 볼 수 있습니다.
어려운 내용이라 이해가 잘 안되지만 좀 더 고차원적인 이해를 하고 계신 학우분들께서는 참고하시면 좋을 것 같습니다.
이전
다음
2개의 댓글
이상구(LEE SANGGU)7월 29일 오전 6:16
[ Final OK by SGLee ]
김수민(2020####78)7월 30일 오전 4:40
강의를 듣다 경사하강법과 뉴턴방법의 차이점에 대해 저도 궁금증이 생겼는데 비슷한 질문이 있어 덕분에 해답을 얻었습니다. 경사하강법인 Gradient Descent
Method는 learning rate를 통헤 기울기의 방향을 일정 거리만큼 조절하는 작업을 반복해 극대, 극소를 찾는 방법이며, 뉴턴 방법인 Newton's Method는 함숫값이 0이 되는 즉 근사적인 해를 찾는 방법이라는 차이점에 대해 알게되었습니다. 좋은 질문과 여러 학우분들의 명확한 답변 감사합니다. 경사하강법과 뉴턴 방법을 더 정확히 이해하는데 도움이 되었습니다.
◆ Participation Part (20 points)
Fill in the below for your self-assessment and your project/term paper.
(A) Briefly describe your contributions through
Q&A for yourself and fellow students in our "Introductory
Math4AI" classes!
(A1)Quantity :
- Check
your participation numbers in QnA for each week (Saturday to
Friday):
Week
1: 2
Week 2:
2
Week
3: 2
Week 4: 2
Week 5: 9
Week 6:7
Week
7: 9 Week 8:
Week 9:
Week
10: Week
11:
Week 12:
Week
13:
Week
14: Week
15:
- Total number of
sessions (Q: , A: , Others: 4
code-practice + 4 summary = 21 participation on Q&A )
-
Number of online
attendances: ( 33 )
- Off-line attendance and
number of absences:
( / ) (0 absence)
·
Others Include some announcements or course
related posts.
(A2) What you contributed
through this course (Q & A and/or In-class)?
Summary for code-practice from week 1 to week 6
Summary for the key points from week 1 to week 6
(A3)
No. of Final OK by SGLee Problems (and/or Completed Discussion/Question) in QnA
that your name is included.
(B)Quality of Your Participation: 33
(B1) What did you especially
remember while you are doing A-1, 2, 3.
The reason why we firstly to study linear algebra is that all of things
in this world can be described by using vectors. Moreover, linear algebra
applies a best way to solve system of linear equations by using determinant
& many types of matrix. Especially Hessian determinant & Jacobian
determinant & inverse matrix & diagonal matrix & orthogonal matrix.
Moreover, Hessian Determinant & Jacobian determinant can also be used in
differential and probability. Moreover, we can use them to solve n-dimension of
dataset. There are two main ways to reduce the higher dimension including SVD
& PCA.
PCA is a dimension reduction method, which means to
reduce the rank of the covariance matrix by using SVD. More specifically, the
process of dimension reduction is that to delete some relative unimportant
eigenvectors, then use the rest of eigenvectors to create a reduced space (a
smaller size of matrix). Although this method has to lost some eigenvectors,
the relative important eigenvector will be preserved in the end in order to
make sure total information of the dataset is as same as possible. Moreover,
PCA method is more efficient than the linear regression method due to the fact
that there is minimum distance from each data to the linear function. (Each
data is orthogonal to the linear function). Thus, if we use the reduced size of
matrix to analysis and application of such an amount of dataset, we will
efficiently deal with data.
Moreover, I am very interested in deep neural network.
Amazing! The algorithm of deep neural network is that in order to decrease the
error between predictive value and correct value, which means to update the
weight by using back propagation and gradient descent method.
(B2) What did you learn or feel while learning
Introductory Math4AI (Action Learning/PBL) with your classmates
At the
beginning of this course, I don’t know how to study this course, but I saw many
other excellent students uploaded summary & Code-practice for every week on
문의게시판. Thus, I did the same
thing. Moreover, they are all smart
person, I am not a smart student, so I feel a lot of stress and I have no
confidence to learn this course well. However, I also feel good academic
atmosphere in 문의게시판, which means these
excellent students have a great passion about learning this course. They have
positive attitude toward learning and independent thinking.
(B3) Write names of YOUR PBL Team members and Team
Leader.
I did my PBL(report) by myself. My name is Dong Na.
The first topic of my report is Economic key points
corresponding to the key points of Basic Mathematics for AI.
The second topic is Blockchain(Bitcoin) &
Probability.
◆ Self Evaluation (20 points) Self Evaluation 3. (개인 성찰 노트
3)
|
Subject
|
Introductory Math4AI
|
Major
|
Economics
|
|
Name/ID
|
Dong Na 2017
|
Year
|
August,14 2021
|
|
Learning
contents
|
Linear Algebra +
derivative & integration+ probability
|
|
Self-Checking
|
|
Activity
|
Excellent
|
Good
|
Fair
|
|
1.
|
I have contributed
to generate ideas and facts needed to resolve the issue.
|
|
Yes
|
|
|
2.
|
I proposed learning
issues associated with learning.
|
|
Yes
|
|
|
3.
|
When I study alone,
I used a variety of learning materials.
|
Yes
|
|
|
|
4.
|
I provide new
information and knowledge in this class.
|
|
Yes
|
|
|
5.
|
I was actively involved
in the discussions. And I provided a lot of questions in order to understand
these discussions.
|
|
|
Yes
|
|
6.
|
I have made a
contribution to the learning activities for our class.
|
|
|
Yes
|
|
※ Please record
the following items by considering your learning process.
1. Do you understand the most of contents of this learning
process?
I think maybe 65%-70% of understanding of the contents which
professor taught.
2. What kind of learning materials have you used to study?
<< 인공지능을 위한 기초수학>> Written by 이상구 with 이재화
<<Linear Algebra>>
Written by Sang-Gu LEE with Jon-Lark KIM, In-jae KIM, Namyong
LEE, Ajit KUMAR, Phong VU, Victoria LANG,Jae Hwa LEE
<<Fundamental Methods of Mathematical Economics>>
Written by ALPHA C. CHIANG, KEVIN WAINWRIGHT
<<张宇考研数学基础30讲>>
Written by 张宇
<<통계적확률분포>>. Written by
홍종선
3. What did you learn through the learning activities of this
course?
Many mathematical contents, I think the most differential
point of this course between normal math course is that apply sage-code at
the same time. Sage-code is a very useful tool which can solve all kinds of
problems in this world.
4. What have you learned from the other colleagues?
The contents written in sage-code can be rewritten by using
python code. And many other deeper knowledge points.
5. Self-Evaluation for Q/A Activities
My score: 12
(12/20)
6. Evaluation for other students
Maybe some summary written by me. I’m not really sure. I’m not
good at writing code.
|
|
|
|
|
|
|
|
|
Self-Evaluation 2
|
Subject
|
Introductory
Math4AI
|
Major
|
Economics
|
|
Name/ID
|
Dong Na
2017315099
|
|
|
|
Evaluation Items
|
Strongly disagree
|
Disagree
|
Mostly disagree
|
Mostly agree
|
Agree
|
Strongly agree
|
|
1. I participated actively in both, online and offline classes.
|
|
|
|
|
Yes
|
|
|
2. I participated actively on a Q&A activity.
|
|
|
|
|
Yes
|
|
|
|
3. My question and replies made on Q&A are relevant.
|
|
|
|
|
Yes
|
|
|
|
4. Information provided by my activity was useful for other students
in the class.
|
|
|
|
|
Yes
|
|
|
|
5. I enthusiastically took into the consideration other students’
opinions or point of view.
|
|
|
|
|
Yes
|
|
|
|
6. I contributed to class by participating on Q&A discussions.
|
|
|
|
|
Yes
|
|
|
|
7. I am enthusiastic about taking other class with the same students I
am taking Discrete Mathematics.
(I am so sorry. I don’t know what
this means)
|
|
|
|
|
|
|
|
[Opinion]
► Satisfaction according to the
Self-Evaluation
I think only 65%.
I only uploaded some files and several questions.
► Sorrow according to the
Self-Evaluation
I think 35%. I
should more actively take finalized participation/project in the last week.
|
|
|
|
|
|
|
|
|
|
|
·
Self-Evaluation 3(Other students)
|
|
Subject
|
Introductory
Math4AI
|
|
Colleague’s name
|
김태윤,오혜준,양지원,박정현,이시원,김보민,김석하
(They are all excellent colleagues)
|
|
Name of evaluator
|
Dong Na
|
|
Evaluation
Items
|
Strongly disagree
|
Disagree
|
Mostly disagree
|
Mostly agree
|
Agree
|
Strongly agree
|
|
1. I (They)
participated actively in both, online and offline classes.
|
|
|
|
|
|
Yes
|
|
2. I(They)
participated actively on a Q&A activity.
|
|
|
|
|
|
Yes
|
|
|
3. My (Their)question
and replies made on Q&A are relevant.
|
|
|
|
