Basic Mathematics for Artificial Intelligence


Part Ⅱ 다변수 미적분학과 최적화

http://matrix.skku.ac.kr/math4ai/part2/ 



[명령어 모음]  http://matrix.skku.ac.kr/Lab-Book/Sage-Lab-Manual-1.htm

[강의동영상]  http://matrix.skku.ac.kr/2019-album/ 

[교재] http://matrix.skku.ac.kr/Cal-Book1/ 

[연습문제]  http://matrix.skku.ac.kr/Cal-Book/


1. 일변수함수와 미적분  http://matrix.skku.ac.kr/PBL/

2. 다변수함수와 미적분  http://matrix.skku.ac.kr/PBL2/   


[부록 1] 미적분학의 상호연관성(Calculus Map)

[부록 2] 미적분학용 Sage/Python 코드

[부록 3] 미적분학 공식과 표(Table)


그림입니다.
원본 그림의 이름: mem0000d5d821bc.gif
원본 그림의 크기: 가로 172pixel, 세로 172pixel


1. 일변수함수와 미적분

10강 동영상, 극한과 도함수 https://youtu.be/rsltpfMbtBQ (25:55)



1.1 함수

참고 동영상: http://youtu.be/cl8GqIWIRD0

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch1/

http://matrix.skku.ac.kr/Cal-Book/part1/CS-Sec-1-3.htm (그래프 그리기 기본, 크롬)


사각형입니다.  함수 의 그래프를 그려라.

[실습: http://sage.skku.edu/ 또는 https://sagecell.sagemath.org/ ]


그림입니다.
원본 그림의 이름: mem00000c4c10de.png
원본 그림의 크기: 가로 821pixel, 세로 584pixel


사각형입니다.  함수 의 그래프를 그려라.



그림입니다.
원본 그림의 이름: mem00000c4c0001.png
원본 그림의 크기: 가로 781pixel, 세로 582pixel



1.2 극한 (limit)

참고 동영상: http://youtu.be/VBCeAllP1M0

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch2/

            http://matrix.skku.ac.kr/Cal-Book/part1/CS-Sec-2-1-Sol.html


정의.

 수렴, 의 극한(limit)


임의의 양수(positive) 에 대하여, 만일 되게 하는 적당한 양수(positive) 가 존재하면, 에 접근할 때 수렴(converse)한다고 하고, (에 접근할 때) 극한(limit)이라고 부르며, 라고 쓴다.  수렴하지 않으면 발산(diverse)한다고 한다.

예) http://matrix.skku.ac.kr/Cal-Book/part1/CS-Sec-2-1-Sol.html


* 위의 [극한 정의, ] 에 대한 기호 표기는 다음과 같다.


   


* (에 접근할 때) 좌극한과 우극한이 존재하고 가 존재하여 이 셋의 값이 모두 같으면, 함수 에서 연속(continuous)이라고 한다. 앞에서 언급한 엡실론-델타(Epsilon-Delta) 개념생물학에서 현미경과 같은 기능을, 수학 특히 함수에게 주어, 극한에 대한 애매함을 대부분 해결해 주면서 19세기 현대수학 발전을 획기적으로 리드하였다.

        http://matrix.skku.ac.kr/cal-lab/SKKU-Cell-Epsilon-Delta.html


사각형입니다.  다음 극한(limit)을 구하여라.

      (극한)       (좌극한),   (우극한)

[실습: http://sage.skku.edu/ 또는 https://sagecell.sagemath.org/]


사각형입니다.  극한 을 구하여라.



1.3 도함수(derivative)와 미분(differentiation)


참고 동영상: http://youtu.be/A-vDsF9ulTs (redo)

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch3/ 

            http://matrix.skku.ac.kr/Cal-Book/part1/CS-Sec-3-1-Sol.html


정의.

미분가능(differentiable)


함수 를 포함하는 어떤 구간에서 정의(well defined)되어 있고, 극한값 이 존재하면 에서 미분가능(differentiable)이라고 하며 이 극한값을 에서의 미분계수(differential coefficient)라 부르고 로 나타낸다. 에서 미분가능이면 에서 연속이다 (그러나 역은 성립하지 않는다). 즉 에서 연속이라도 반드시 미분가능인 것은 아니다. 다음 그림을 참조하자.


       


가 어떤 구간의 각 점 에서 미분가능일 때 는 이 구간에서 미분가능이라고 한다. 이 경우 각 점 에 그 점에서의 미분계수를 대응시킴으로써 정해지는 함수를 도함수(derivative)라 하고 다음 기호들로 나타낸다.


                       


  함수 의 도함수를 구하는 것을 미분(differentiate)한다고 하고, 함수 의 도함수는 식 으로 구한다. 따라서 어떤 함수를 미분하면 그 함수가 도함수이고, 거기에 상수를 대입하면 그 점에서의 미분계수가 나오는 것이다. 개인과 전체의 개념으로 설명하면, 한 개인의 기울기를 구하는 것이 미분계수이고, 그런 개인이 많아져서 전체가 되면 도함수라고 생각할 수도 있다.


  의 도함수 가 다시 미분가능이면 그 도함수을 생각할 수 있다. 이것을 2계 도함수(2nd derivative)라 하고, 등으로 나타낸다. 이 2계 도함수가 또 다시 미분가능이면 3계 도함수(3rd derivative)를 생각할 수 있게 된다. 이와 같이 를 계속하여 번 미분하면 계 도함수가 정의된다. 계 도함수(th derivative)는 다음 기호로 나타낸다.


                             


  가 존재하는 경우 번 미분가능이라고 한다. 미분계수의 응용인 속도와 가속도는 각각 1계 도함수와 2계 도함수의 예이다.


사각형입니다.  의 도함수(derivative) 와 2계도함수 와 3계도함수를 구하여라.


실습: http://sage.skku.edu/ 또는 https://sagecell.sagemath.org/



  에서 미분가능인 것은 곡선 상의 점 에서 이 곡선에 대한 접선(tangent line)을 그을 수 있음을 의미한다. 이때 에서의 기울기는 이므로 접선의 방정식은 다음과 같이 구한다.   또는


                


그리고 곡선 위의 점 에 있어서 이 곡선의 접선에 수직인 직선을 에 있어서의 법선(normal line)이라 한다.

(이 법선(normal line)의 기울기이라고 하면 이다.)


사각형입니다.  점 에서 곡선 에 대한 접선의 방정식을 구하여라.

 

[실습: http://sage.skku.edu/ 또는 https://sagecell.sagemath.org/ ]


그림입니다.
원본 그림의 이름: mem00000bfc0001.png
원본 그림의 크기: 가로 781pixel, 세로 584pixel  

        접선 방정식               ■



1.4 미분의 응용 (Applications)

참고 동영상: http://youtu.be/mXVU8OqIHJY

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch4/

            http://matrix.skku.ac.kr/Cal-Book/part1/CS-Sec-4-1-Sol.html

11강 동영상, 미분의 응용 https://youtu.be/O4lN5zEZnMA (13:58)


정리.

 최댓값 최솟값의 정리


 가 폐구간 에서 연속이면 이 구간에서 가 최댓값을 취하는 점 및 최솟값을 취하는 점이 존재한다.

         

 따라서 아래 예제와 같이 그래프를 그리고, 도함수의 방정식의 근인 극값에서의 함수값과 구간의 양 끝점에서의 함수값을 비교하여, 최댓값과 최솟값을 쉽게 구할 수 있다.


사각형입니다.  에서 연속함수 의 최댓값과 최솟값을 구하여라.


 # [실습: http://sage.skku.edu/ 또는 https://sagecell.sagemath.org/


Newton’s Method (뉴턴 방법) : 실숫값 함수의 근(근사값)을 그래프와 도함수를 이용하여 쉽게 구하는 방법.    https://darkpgmr.tistory.com/58

   https://www.quora.com/In-which-cases-is-Newtons-method-not-applicable


  주어진 함수의 그래프를 그린 후, Newton의 방법에 의하면 그 함수가 축과 만나는 근(무리수 값의 근)의 근사값을 소숫점 이하 몇 번째 자리까지든지 원하는 대로 정확하게 구할 수 있다.

     그림입니다.
원본 그림의 이름: 450px-NewtonIteration_Ani.gif
원본 그림의 크기: 가로 450pixel, 세로 321pixel

[wiki  크리에이티브 커먼즈 그림]

      


  최적화문제를 푸는 계산방법은 대개 반복법(iterative method)으로, 초기 근사해로부터 시작하여 특정한 반복단계를 거쳐 이전보다 나은 근사해들을 생성한다. 위의 그림에서 곡선 를 생각하자. 을 방정식 의 근 에 대한 첫 번째 근사값이라 하자. 그럼 은 점 에서의 곡선 에 대한 접선의 방정식이다. 그래프를 보고 에 적당히 가까운 값으로 선택하면, 이 접선은 보통 축과 점 에서 만나는데, 그 점의 좌표 보다 에 더 가까운 근사값이 된다. 따라서 위식에  를 대입하면, 을 얻는다. 다시 를 첫 번째 근사값으로 생각하고 다음 접선을 이용하면 를 얻는다. 이 과정을 반복하면 공식 , 을 얻게 된다. 이 Newton의 공식을 반복하여 사용하면, 원하는 근을 소숫점 이하 몇째 자리까지라도 필요한 오차 이내로 정확하게 구할 수 있다.

《주의》 첫 번째 근사값 을 찾으려는 근에 충분히 가깝게 택하지 못하면 Newton의 공식은 불합리한 결과를 초래할 수도 있다. 이를 보완하는 한 방법은 근에 상당히 가까운 근사값에 이를 때까지는 그래프를 먼저 그리거나, 이등분법(bisection method)을 사용하여, 근에 충분히 가까운 점에 온 후 Newton의 방법으로 전환하는 것이다.


이 과정을 아래 도구를 이용하여 실습하도록 하자.

http://matrix.skku.ac.kr/Mobile-Sage-G/sage-grapher-newton_method.html 


  그림입니다.
원본 그림의 이름: CLP00000bfc0002.bmp
원본 그림의 크기: 가로 490pixel, 세로 859pixel 


미적분학 스토리텔링  http://matrix.skku.ac.kr/Calculus-Story/index.htm  ■



1.5 적분 (Integral)

참고 동영상: http://youtu.be/GIm3Oz58Ti8

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch5/

            http://matrix.skku.ac.kr/Cal-Book/part1/CS-Sec-5-2-Sol.html 

12강 동영상, 적분 https://youtu.be/62OxYG7VMsE (8:41) 


 어떤 구간에서 정의된 함수 에 대하여 이 구간의 모든 에 관하여 를 만족하는 함수 가 존재할 때 의 원시함수 또는 부정적분(indefinite integral)이라고 한다. 가 주어졌을 때 그 부정적분 를 구하는 것을 적분한다고 한다.

  의 부정적분을 로 나타내고 를 적분기호, 를 피적분함수, 를 적분변수라고 한다. 의 한 부정적분이면


                는 임의의 상수)              (3-2)


이다. 식 (3-2)의 우변의 를 적분상수라고 한다.


 에서 연속인 함수 에서 적분가능이라고 하며, 로부터 까지의 정적분(definite integral) 로 정의한다.


                   그림입니다.
원본 그림의 이름: p142.jpg
원본 그림의 크기: 가로 1275pixel, 세로 810pixel

                      

             http://matrix.skku.ac.kr/cal-lab/Area-Sum.html 



면적(Area), 리만 합(Riemann sum)과 적분값(Integral)

http://matrix.skku.ac.kr/Mobile-Sage-G/sage-grapher-riemann_sum.html  (실습)

    그림입니다.
원본 그림의 이름: CLP000002340003.bmp
원본 그림의 크기: 가로 506pixel, 세로 847pixel


정리.

 적분에 관한 평균값의 정리


  에서 연속이면


                             


사이에 적어도 하나 존재한다.

                    

  [미적분학의 기본정리]는 정적분과 부정적분(도함수), 미분과 적분 사이의 관계를 잘 보여준다.


정리.

 미적분학의 기본정리 (적분과 미분의 연결고리)


  에서 연속이고 의 임의의 한 부정적분, 이라 하면 다음식이 성립한다.


                       


사각형입니다.  적분 을 구하여라.


# [실습: http://sage.skku.edu/ 또는 https://sagecell.sagemath.org/


   [미적분학 Big Picture]   http://matrix.skku.ac.kr/Calculus-Map/ 




2. 다변수함수와 미적분

13강 동영상, 다변수함수 https://youtu.be/XQW8_8k9GjE  (10:12)



2.1 벡터와 공간기하

참고 동영상: http://youtu.be/_s_2T1VVob8   http://youtu.be/BFgh6irMqsc 

            http://youtu.be/lxuGE_Erthg

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch11/

            http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-11-5-Sol.html

            http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-11-2-Sol.html 


사각형입니다.  상에 곡면(평면) 을 그려라.  (아래 좌측 그림)


[ 3차원 그래프 실습:  https://sagecell.sagemath.org/ ]


   그림입니다.
원본 그림의 이름: CLP00000cd40004.bmp
원본 그림의 크기: 가로 415pixel, 세로 415pixel   그림입니다.
원본 그림의 이름: tmp_7qx9_9.png
원본 그림의 크기: 가로 630pixel, 세로 470pixel



사각형입니다.  벡터 , , 를 평면에 그리고 그 합을 구하여라.


외적(Cross Product) http://matrix.skku.ac.kr/cal-lab/cal-11-4-Exs-6.html


             



[C-S 부등식!! ] 벡터 , 에 대하여


        ,     


존재하며, 이 가 이루는 각(angle, 사잇각)이라 한다. 



사각형입니다.  벡터 내적, 외적, 사잇각을 구하여라.





2.2 벡터 함수

참고 동영상: http://youtu.be/0pvywjBjsQw

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch12/

            http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-12-1-Sol.html

            http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-12-2-Sol.html  


사각형입니다.  벡터 방정식 으로 주어지는 곡선을 그리고 가 증가하는 방향을 화살표로 나타내어라. 

[실습:  https://sagecell.sagemath.org/ ]


                                                                               


    그림입니다.
원본 그림의 이름: CLP00000cd45b35.bmp
원본 그림의 크기: 가로 415pixel, 세로 415pixel



사각형입니다.  벡터함수 에 대하여 을 구하고, 일때의 위치벡터 와 접선벡터 를 그려라.



      This is Picture.
Original Picture Name: CLP000007500004.bmp
Original Picture Size: 199 (W) by 584 (H) pixels


사각형입니다.  에서 곡선 의 길이(length)를 구하여라.


   그림입니다.
원본 그림의 이름: CLP00000cd40001.bmp
원본 그림의 크기: 가로 415pixel, 세로 415pixel   ■



2.3 편도함수(Partial Derivative)와 그래디언트(gradient)

참고 동영상: http://youtu.be/LR89Ct3cEDY

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch13/

            http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-13-3-Sol.html

14강 동영상, 편도함수 https://youtu.be/cvsBYZT4SZg  (25:26)


를 독립적으로 변화하는 두 변수라 하고 를 제 3의 변수라 하자. 의 값이 각각 정해지면 여기에 대응하여 의 값이 정해질 때 를 두 변수 의 함수라 하고 이것을 로 표시한다. 같은 방법으로 더 많은 변수의 함수도 정의할 수 있다. 이와 같이 이변수 이상의 함수를 일반적으로 다변수함수라 한다. 이 장에서는 주로 이변수함수만을 취급하지만 이 함수의 성질은 그대로 다변수함수까지 확장할 수 있다.


공간에 있어서 및  를 좌표로 하는 점을 생각하고 를 움직이면 그들 점은 일반적으로 하나의 곡면을 나타내는데 이 곡면을 함수 의 그래프라 부른다.


[2변수 함수의 그래프-곡면]

             그림입니다.
원본 그림의 이름: PICCBBC.png
원본 그림의 크기: 가로 344pixel, 세로 313pixel


정의.

편도함수(Partial Derivative)

 

 의 함수라 하자. 에 관한 편도함수는 다음과 같이 정의된다.

               

마찬가지로 에 관한 편도함수(Partial Derivative)는 다음과 같이 정의된다.

               


 는 아래 그림에서 보듯이 곡면의 방정식이다. 곡면의 임의의 한 점 을 지나고 평면과 평행인 평면으로 곡면을 자르면 한 곡선 를 얻는다. 한 점이 이 곡선을 따라 움직이면 그 좌표는 에 따라서 변하지만 는 변하지 않는다. 그러므로 에서의 곡선 의 접선의 기울기는 이 점에서의 에 관한 의 변화율이다.

  마찬가지로 점 에서의 곡선 의 접선의 기울기는 이 점에서의 에 관한 의 변화율이다. 따라서 다음을 알 수 있다.


       에서의 의 기울기   (왼쪽그림)

       에서의 의 기울기 (오른쪽그림)


[편도함수의 시각적 의미]


       

  평면 교선(곡선 )의 점 에서의 기울기

           

와 평면 교선(곡선 )의 점 에서의 기울기



사각형입니다.  함수 , 에 관한 편도함수를 각각 구하여라.


 함수 의 편도함수는 일반적으로  의 함수가 되므로 이것을 다시 편미분할 수 있다. 그 결과를 나타내기 위하여 다음의 기호를 사용하여


        

        

        

        


등으로 표시하고 이들을 2계 편도함수(second-order partial derivative)라 한다. 마찬가지로 계 편도함수를 정의할 수 있다.  [Note: 2계 편도함수는 헤시안(Hessian) 행렬에 활용된다] 


정리.

되는 조건


     가 존재하고 모두 연속이면 이다.


이 정리는 모든 고계 편도함수에 대하여 항상 성립한다. 앞으로는 이런 형태의 함수만 다룬다.

 


사각형입니다. 함수 의 2계 편도함수(2nd-order partial derivative) 4개를 모두 구하여라.



https://sagecell.sagemath.org/ 


미적분학에서, 연쇄 법칙(連鎖法則, Chain rule)은 합성함수의 도함수에 대한 공식이다. 그 공식이 마치 사슬이 이어져 있는 것 같다 해서, 합성함수의 미분 공식을 연쇄법칙이라고 한다.. 연쇄 법칙을 적분에 거꾸로 적용한 것이 치환 적분이다.



정리.

 연쇄법칙(Chain Rule)


(1) 에 관해서 편미분가능이며 편도함수 가 연속이고, 가 또 다른 변수 의 미분가능인 함수이면, 에 관해서 미분가능이며


                                 


이다. 

(2) 일 때의 연쇄법칙은


                                   


가 된다.

(3) 가 연속인 편도함수를 가지며, 가 편미분가능이면,


                 ,      


이다.


사각형입니다.   일 때 를 구하여라.


 https://sagecell.sagemath.org/



정의.

방향도함수(directional derivative), 그래디언트(gradient), 헤시안(Hessian)


(1) 를 단위벡터(크기가 1인 벡터)라 하자.  그러면 점 에서 방향으로의 방향도함수(directional derivative)는 다음과 같이 정의된다.


                 


일 때 이고, 일 때 이다.


가 점 를 지나고, 에 평행한 직선이라 하자. 즉


                         


그러면 다음이 성립한다.

                        .

        

(2) 그래디언트(gradient)의 편도함수를 성분으로 갖는 벡터로 다음과 같이 정의된다.

                         grad


[ 그래디언트(gradient)의 시각적 의미 ]

                       

 는 미분가능함수 점에서의 접선벡터와 직교인 벡터. 접선벡터는 표면 위에 있다.

(3) 헤시안(Hessian)의 2계 편도함수를 성분으로 갖는 행렬로 다음과 같이 정의된다.

                         


의 이계 편도함수가 연속인 경우에는 이므로 이 대칭행렬이 된다.

▪ 같은 방법으로 독립변수가 개 이상인 다변수함수 에 대하여도 의 그래디언트와 헤시안이 정의된다. 즉 변수 함수 에 대하여 의 그래디언트와 헤시안은 다음과 같다.


 그래디언트(gradient): grad

헤시안(Hessian):


정리.

 방향도함수(directional derivative)

  


가 점 에서 미분가능하고 가 단위벡터라 하면 다음이 성립한다.

         


사각형입니다.  에서 축의 양의 방향과 이루는 각(angle)이 인 단위벡터

방향으로의 함수 의 방향도함수를 구하여라.

[Find ]


https://sagecell.sagemath.org/


▪ 내적의 성질을 이용하면 다음을 알 수 있다.


        


여기서 의 사잇각이다. 따라서 의 그래디언트 방향이 점 에서 가 가장 가파르게 증가하는 방향이고, 음의 그래디언트 방향이 점 에서 가 가장 가파르게 감소하는 방향이다. 이는 이후에 학습하게 되는 경사하강법(gradient descent method)의 Key idea를 제공합니다.


▪ 다변수 함수 에 대한 Taylor 정리는 다음과 같다. 이는 한 점 근방에서 선형근사(linear approximation)이차근사식(quadratic approximation)을 구성하는데 사용된다.


정리.

 Taylor 정리


  다변수 함수 가 연속인 편도함수를 가지면, 적당한 가 존재하여 다음이 성립한다.

                        

만일 연속인 2계 편도함수를 가지면, 적당한 가 존재하여 다음이 성립한다.

                 


▪ 점 근방에서 선형근사식(벡터형식 표현)은 다음과 같다.


                       


▪ 점 근방에서 이차근사식은 다음과 같다.


                ■



2.4 함수의 극대(Local Maximum), 극소

참고 동영상: http://youtu.be/oDZUkOEszOQ

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch13/

            http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-13-8-Sol.html

15강 동영상, 극대, 극소 https://youtu.be/nR9it9cBjDk  (21:25)


정의.

극대, 극소, 최대, 최소

  

(1) 근방의 모든 에 대하여 이 성립하면, 에서 극대가 된다고 하며, 극댓값(Local Maximum)이라 한다.

(2) 근방의 모든 에 대하여 이 성립하면, 에서 극소가 된다고 하며, 극솟값(Local Minimum)이라 한다.

(3) 의 정의역의 모든 에 대하여 ()이 성립하면 에서 최대(최소)가 된다고 하며, 를 최댓값(최솟값)이라 한다.

       그림입니다.
원본 그림의 이름: 극솟값.jpg
원본 그림의 크기: 가로 611pixel, 세로 611pixel

    [ 이변수 함수 극솟값의 시각적 이해]     

   


▪ 함수 에서 극값(극댓값 또는 극솟값)을 갖는다고 가정하자. 그러면 일 때 일변수 함수 에서 극값을 갖게 된다. 따라서 이 성립한다. 마찬가지로 일 때 일변수 함수 에서 극값을 갖게 된다. 따라서 이 성립한다. 이로부터 다음 정리를 얻는다.


정리.

 Fermat의 임계점 정리(Fermat’s theorem on critical points)

 


에서 극대 또는 극소가 되고, 의 편도함수가 존재하면 다음이 성립한다.


                  ,     [즉 ]


정의.

임계점(critical point)


을 만족하는 점 임계점(critical point)이라 한다.


사각형입니다.  함수 의 임계점을 모두 구하여라.


풀이.  and 이므로 을 만족하는 점은 이다.


 https://sagecell.sagemath.org/


사각형입니다.  함수 의 임계점을 모두 구하여라.



▪ 임계점이라 해서 반드시 극대 또는 극소가 되는 것은 아니다. 예를 들어, 다음 그림과 같이 곡면이 말의 안장과 같은 모양을 하고 있는 경우, 임계점이지만 극대도 극소도 되지 않는 경우가 있기 때문이다. 이러한 점을 안장점 (saddle point)이라 부른다.


    

                           [안장점 (saddle point)의 시각적 이해]


Part Ⅰ에서 정의한 양의 정부호 등의 성질이 극대, 극소 문제를 푸는데 어떻게 적용되는지를 알아보자. 먼저, 에서 두 번 편미분가능한 실변수 함수 를 생각하자. 가 극솟값 또는 극댓값이 되려면, 앞서 학습한 [Fermat의 임계점 정리]에 의해 우선 는 임계점이어야 한다. 즉, 의 편도함수는 에서 모두 이어야 한다.


이제 가 극솟값 또는 극댓값이 되기 위한 충분조건을 얻으려면 임계점 에서 의 2계 편도함수로 구성된 헤시안을 생각해보아야 한다. 왜냐하면 점 근방에서 의 이차근사식은


[이변수함수 일 때는

     

            ]

변수함수 일 때는        


이므로, 임계점 (즉 )에서 함수 의 극대, 극소를 결정하는 것은 이기 때문이다. 따라서 로 치환하고 헤시안(Hessian) 행렬 로 놓은 후, 이차형식의 극솟값/극댓값 분석을 하면 된다.



 만일 의 고윳값이 모두 양이라면, 함수 근방에서 아래 그림 (a)와 같이 위쪽이 열린 포물면(paraboloid) 가까우므로 극솟값이 된다. 또한 의 고윳값이 모두 음이라면 함수 근방에서 그림 (b)와 같이 아래쪽이 열린 포물면에 가까우므로 극댓값이 된다.


                  그림입니다.
원본 그림의 이름: CLP000016f80007.bmp
원본 그림의 크기: 가로 689pixel, 세로 366pixel


 또한 만일 의 고윳값이 , 모두 영이 아니고 서로 다른 부호이면, 안장 모양의 쌍곡포물면(hyperbolic paraboloid) 가까우므로 는 안장점이 된다. 고윳값중 하나가 0이면 함수 의 모습은 포물기둥에 가까워진다. 이를 정리로 나타내면 다음과 같다.


                     그림입니다.
원본 그림의 이름: CLP000016f80008.bmp
원본 그림의 크기: 가로 730pixel, 세로 381pixel



정리.

 극대, 극소, 안장점

  


함수 가 임계점 에서 연속인 2계 편도함수를 갖고, 이 점에서 이차형식라고 할 때, 다음이 성립한다.

(1) 가 양의 정부호이면 는 극솟값이다.

(2) 가 음의 정부호이면 는 극댓값이다.

(3) 부정부호이면, 는 극댓값도 아니고 극솟값도 아니다.
   이때,
안장점(saddle point)이라고 한다.


▪ 특히 , 즉 가 이변수 함수일 때는 이므로 선행 주 소행렬식(leading principal minor)은 다음과 같다.


        , (Recall 이차형식)


이를 활용하면 다음과 같이 미적분학에서 학습한 이변수함수의 극대극소판정법을 얻는다.



정리.

 극소, 극대 판정법

 


 점 의 근방에서 2변수 함수 가 연속인 2계 편도함수를 갖고, 라 하자.

(1) 이고, 이면, 극솟값이다.

(2) 이고, 이면, 극댓값이다.

(3) 이면, 는 극댓값도 극솟값도 아니다. 점 안장점이다.


  이것은 1장의 마지막 부분, 이차형식의 양의 정부호, 음의 정부호, 부정부호의 개념과 일치한다. 따라서 선행 주 소행렬식(leading principal minor) 또는 고윳값만 보고 그 부호만을 이용하여, 같은 ‘이변수함수의 극대극소판정법’ 에 도달하게 된다.


같은 식으로 3변수 이상을 갖는 다변수함수에 대하여도, 선행 주 소행렬식(leading principal minor)의 부호만 확인하여 극대극소를 판정하는 것이 가능하므로 자연스레 다변수함수의 극대극소판정법을 얻는다.



사각형입니다.  3변수 함수 의 극값을 구하여라.

풀이. 우선 임계점을 모두 구한다. ,

     이므로 의 임계점은 이 정수일 때 이다. 각각의 임계점에서 헤시안을 구한다.


(ⅰ) 임계점 에서, 의 헤시안(Hessian) 행렬은 

              

이고 이므로 에서 양의 정부호이다. 따라서 의 극솟값이다.                                ■



Part Ⅰ에서 이미 학습한 바와 같이 의 헤시안(Hessian) 행렬 의 고윳값을 이용하여 3변수함수의 극대극소를 판정할 수도 있다. 3차 행렬 의 고윳값을 계산하면



에서의 헤시안행렬은 고윳값 3개가 모두 양수이므로, 의 극솟값이다.                                                                   ■


(ⅱ) 임계점 에서의, 의 헤시안 행렬은


             

이고, 이다. 에서 부정부호이다. 따라서 의 안장점이다.                                      



(ⅰ)과 마찬가지로 의 고윳값을 계산하면


양의 고윳값과 음의 고윳값을 모두 가지므로, 의 안장점이다.                 ■


사각형입니다. 2변수 함수 의 극값을 구하여라.



선행 주 소행렬식의 부호가 음으로 시작하여, 음과 양이 순서대로 교차되므로, ( 에서의 헤시안 행렬의 고유값이 모두 음이라는 의미이고) 아래쪽이 열린 포물면 모양이므로 극댓값을 갖게 된다. 에서 극댓값을 갖는다.          ■



2.5 Gradient Descent Algorithm(경사-기울기 하강법, 傾斜下降法)

 16강 동영상, Gradient Descent Algorithm https://youtu.be/XWDPAdKhq-Q (16:29)


Gradient Descent Algorithm은 어떤 모델에 대한 비용(Cost)를 최소화 시키는 알고리즘으로써, 머신러닝 및 딥러닝 모델에서 사용되는 가중치의 최적해를 구할 때 널리 쓰이는 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 것이다.    [Key Idea 2]


▪ 이제 제약조건이 없는 최적화(unconstrained optimization) 문제


                              


를 푸는 경사하강법(gradient descent method)에 대하여 살펴보자.


[Fermat의 임계점 정리]에 의해 위 문제의 최적해(optimal solution) 는 다음을 만족한다.


                               


따라서 2.4절에서 배운 바와 같이 방정식 을 풀어서 나온 해들이 최적해가 되는지 판단하면 된다.


그러나 함수 가 비선형인 경우는 방정식을 풀어서 임계점을 구하는 것조차도 쉽지 않다. 이런 경우에는 수치적인 방법으로 임계점을 구한다. 최적화문제를 푸는 계산방법은 대개 반복법(iterative method)으로, 초기 근사해 으로부터 시작하여 특정한 반복단계를 거쳐 이전보다 나은 근사해 , , ... 를 생성한다. 목표는 번째 근사해 또는 극한값 에서 을 만족하도록 하는 것이다.


번째 반복단계는 보통 다음과 같은 (직선의 벡터방정식) 형식으로 구성된다.


                             


여기서 탐색방향(search direction), step-size (머신러닝에서는 이를 learning rate)라 한다. 즉 상에서 방향으로 만큼 이동하여 을 생성한다.

 

▪  보통 는 함수값이 감소하는 방향으로 정한다. 즉 다음을 만족한다.


                    


이러한 는 특히 하강방향(descent direction)이라고도 한다. 방향을 따라 움직이면 함수 가 감소한다는 보장이 있으므로 step-size 이 만족되도록 정한다.


▪  step-size 를 택하는 방법은 대개 다음 두 가지로 나눌 수 있다.

반직선 () 상에서 함수 의 값이 가장 작게 되는 를 찾는다.

                


이 방법을 exact line search라 하고, 이때의 optimal step-size라 한다. 대개는 cost가 많이 들어서 잘 사용되지 않는다.


② 만일 을 정확하게 풀지는 않지만 함숫값이 충분히 감소한다는 것을 보장하는 를 선택하는 방법이 있다면, exact line search를 피하여 cost를 상당히 줄일 수 있다. 이 방법을 inexact line search 라 한다. 즉, 다음 조건을 만족하는 를 찾는다.


                 

                


여기서 이다. 이를 그림으로 표현하면 다음과 같다.

             그림입니다.
원본 그림의 이름: K-001.png
원본 그림의 크기: 가로 481pixel, 세로 354pixel

따라서 위의 두 부등식을 만족하는 는 폐구간 에서 택하면 된다.


[참고]  가 만족해야 하는 조건은 여러 가지가 있으나, 위의 두 부등식이 주로 쓰인다. 이를 Wolfe condition이라 하고, 그 중 첫 번째 부등식을 특히 Armijo condition이라 한다.


경사하강법(gradient descent method) 탐색방향을 로 택하는 경우이다. 앞서 살펴본 바와 같이 음의 그래디언트 방향이 점 에서 가 가장 가파르게 하강하는 방향이므로, 경사하강법 방법의 아이디어가 쉽게 이해된다. (스키장에서 가장 빠르게 하강하는 길을 찾는 알고리즘의 아이디어와 일치한다) 경사하강법은 모든 차원과 모든 공간에서의 적용이 가능하다. 심지어 무한차원 벡터함수에도 쓰일 수 있다. (이 경우 해당 차원이 만들어내는 공간을 함수공간(function space)이라고 한다. 벡터공간을 일반화 하는 함수공간은 모두 수렴의 개념을 갖춘 선형공간(linear space)으로서, 수렴의 개념을 Norm에 입각한 거리에 의해 정한 Banach공간 또는 Hilbert공간인 경우가 많으나, 보다 일반적인 선형위상공간도 포함한다.) 다음은 경사하강법의 알고리즘이다.


[경사하강법] ( 의 의미는 같이  이 1 보다 아주 작다는 의미이다.)

[단계 1]  초기 근사해 허용오차(tolerance) 을 준다. 이라 한다.

[단계 2] 를 계산한다. 만일 이면, 알고리즘을 멈춘다.

[단계 3]  line search를 수행하여 적절한 step-size 를 구한다.

[단계 4]  , 라 두고 [단계 2]로 이동한다.


다음은 주어진 함수에 경사하강법을 적용한 예시이다. 허용오차는 으로 주었다.


[출처]  J. Barzilai 와 J. M. Borwein, Two-Point Step Size Gradient Methods, IMA J. Numer. Anal. (1988) 8 (1): 141-148.


         , ,


여기서 이고, 는 Hessian 가 양의 정부호(positive definite)인 이차함수이므로 exact line search를 수행하면, 는 다음과 같이 closed-form으로 나온다.


                            


https://sagecell.sagemath.org/ 


    그림입니다.
원본 그림의 이름: mem000007b00002.png
원본 그림의 크기: 가로 781pixel, 세로 582pixel


위의 그래프에서 이 점차 0에 수렴함을 쉽게 확인할 수 있다.

     그림입니다.
원본 그림의 이름: images.png
원본 그림의 크기: 가로 284pixel, 세로 177pixel

 [경사하강법의 iterative 단계(빨간색)]


[경사하강법은 탐색방향을 현재의 위치 의 근방에서 가장 가파르게 하강하는 방향 로 사용한다. 그러나 이 경우 그림의 빨간색 경로와 같이 해 근처에서 zigzag 현상이 발생하여 마지막 단계에서 수렴속도가 많이 늦어진다. 이를 보완하여 Conjugate Gradient Method(CGM, 공액경사법, 켤레기울기법)와 이전의 방향 를 조합하여 새 탐색방향   으로 사용한다. (녹색)]


뉴턴 방법(Newton’s method)은 탐색방향을 로 택하는 경우를 말한다. 왜냐하면 근방에서 는 다음의 이차함수를 이용하여 근사화 할 수 있기 때문이다.


                    


따라서 에서 로 진행하기 위하여, 최적화 문제


               


최적조건으로부터 를 얻을 수 있다.


                   


이다. 다음은 뉴턴 방법(Newton’s method)의 알고리즘(Algorithm)이다.


[뉴턴 방법(Newton’s method)]

[단계 1]  초기 근사해 과 허용오차(tolerance) 을 준다. 이라 한다.

[단계 2] 만일 이면, 알고리즘을 멈춘다.

[단계 3]  를 계산한다.

[단계 4]  라 두고 [단계 2]로 이동한다.


▪ 다음은 주어진 함수에 뉴턴 방법(Newton’s method)을 적용한 예시이다. 허용오차는 으로 주었다.


[출처] J.E. Dennis, Jr. and R.B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, 1996. SIAM


           ,  


[Sage code]  http://mathlab.knou.ac.kr:8080/ http://sage.skku.edu/


뉴턴 방법을 적용하여 얻은 해는 실제 최적해 에 수렴함을 알 수 있다.                                                                     


 양의 정부호(positive definite) 행렬이면, 역행렬 도 양의 정부호 행렬이므로, 뉴턴 방법의 탐색방향 역시 하강방향(descent direction)이 된다. 즉




               


이다. 따라서 방향으로 진행하면 함수값이 감소함을 알 수 있다.


▪ 그러나 뉴턴 방법은 헤시안을 계산해야 하므로, 변수 이 큰 함수의 경우 헤시안을 계산하는 데 많은 연산이 필요하여 효과적이지 않을 수 있다. 그리고 초기 근사해 이 문제의 해 의 근방에 있어야만 뉴턴 방법이 수렴한다는 보장이 있으나,  이는 미리 알 수 없으므로 실제 뉴턴 방법을 적용할 때는 step-size 도 같이 고려한다. 즉 적절한 line search를 동반한다. 그 후 을 계산한다.


                          



 이외에도 를 택하는 방법에 따라 quasi-Newton method, conjugate gradient method 등이 있다. 자세한 사항은 아래의 <최적화(Optimization)> 관련 도서를 참고하라.


[1] S. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004. http://stanford.edu/~boyd/cvxbook/

[2] J. Nocedal and S. Wright, Numerical Optimization, 2nd ed., Springer, 2006.

[3] R. Fletcher, Practical Methods of Optimization, 2nd ed., John Wiley and Sons, 1987.

[4] J. Dennis and R. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, SIAM, 1987.



2.6 중적분 (double integral, multiple integral)

참고 동영상: http://youtu.be/jZ2pAmPZYOE

실습 사이트: http://matrix.skku.ac.kr/Cal-Book1/Ch14/

            http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-14-1-Sol.html

17강 동영상, 중적분 https://youtu.be/T1z_GYt85rI  (44:31)


정의.

 이중적분


직사각형 영역 에서 의 이중적분은 다음과 같이 정의된다.



                         

[(중적분) 구분구적법을 2축에 적용하는 방법, 긴 직육면체나무막대들의 부피를 구해 더하는 방식]

 

같은 방법으로 3차원 영역 위에서 3중적분(triple integral)도 정의할 수 있다.


                             

(3차원 평면 위의 작은 조각 부피에 높이를 곱하여 부피를 구하여 그것 모두를 더하는 방식)


정리.

 Fubini의 정리 (연속 2변수함수의 2중적분 경우, 적분순서를 바꾸어도 이중적분값은 같다)


 가 직사각형 영역 에서 연속이면 다음이 성립한다.


             



사각형입니다.  다음 이중 적분을 계산하라.


      ,    

 https://sagecell.sagemath.org/

             

정리.

 연속함수의 2중적분의 경우, 적분영역이 직사각형이 아닌 경우!!


(1) 가 영역 에서 연속이면 다음이 성립한다.

                     


(2) 가 영역 에서 연속이면 다음이 성립한다.

                     


     [일반적인 영역에서의 중적분 예:  위의 사면체 부피 구할 때]


    


사각형입니다.  다음 이중 적분을 계산하라.  


         

[실습:  https://sagecell.sagemath.org/ ]


 그림입니다.
원본 그림의 이름: CLP0000462015cc.bmp
원본 그림의 크기: 가로 547pixel, 세로 434pixel



그림입니다.
원본 그림의 이름: mem000007b00001.png
원본 그림의 크기: 가로 784pixel, 세로 582pixel        (xy-축 상의 적분영역, 

9/4         # 위의 f(x, y) = 2 - y^2의 이중적분 .      ■          


  일변수 함수의 적분에서 치환적분(변수변환)은 다음과 같이 주어진다.


                       


여기서 전단사이고 연속인 도함수를 갖는다. 이를 다음과 같이 쓸 수 있다.

                      


이제 변수변환을 이중적분으로 확장한다. 이변수 함수 가 적분가능하다고 하고, 이중적분 을 새로운 변수 , 에 관하여 나타내보자.

  함수 가 연속인 편도함수를 갖고, -평면의 영역 -평면의 영역 로 변환시킨다고 하자. 아래 그림과 같이 -평면에서 을 넓이로 갖는 직사각형 영역 -평면에서 변환된 이미지 을 고려해보자.

          

[변수 변환]


그러면 -평면에서 의 넓이는 두 벡터 , 로 주어지는 평행사변형으로 근사될 수 있다. 편도함수의 정의를 사용하면


    


임을 알 수 있고, 두 벡터 로 주어지는 평행사변형의 넓이(면적)는 외적(cross product)의 크기 (절대값)  이므로 의 넓이의 근사값은 다음과 같다.


           일 때, .


또한 

              .

이 성립하므로 다음 정리를 얻을 수 있다. 이때 을  야코비안(Jacobian)이라 하고 으로 나타낸다.



정리.

 이중적분의 변수변환

 


  전단사함수 , 가 연속인 편도함수를 갖고, 이라 하자. 그러면 연속함수 에 대하여 다음이 성립한다.

                   



사각형입니다.  다음 이중 적분을 계산하라.

          

여기서 -평면상의 네 직선 , , , 으로 둘러싸인 평행사변형이다.


풀이. 영역 의 경계는 , , , 이므로 변수변환은 다음과 같이 줄 수 있다.

, ,  

     야코비안 을 계산하기 위해 , 로 표현하면,

      ,   [즉, ]

이므로 

         .


따라서 이중적분은 다음과 같이 계산된다.

      

 .  


https://sagecell.sagemath.org/


그림입니다.
원본 그림의 이름: mem000032b468d9.png
원본 그림의 크기: 가로 585pixel, 세로 584pixel

[[x == 3/7*u + 2/7*v, y == -2/7*u + 1/7*v]]

Jacobian = 1/7

답.  -3/7            #     ■




[극좌표(Polar Coordinates)에서의 2중적분]


극좌표에서의 이중적분은 변수변환의 특수한 예이다. 극좌표

                           and  .

에서의 야코비안은     

으로 주어지고, 이중적분은 다음과 같이 쓸 수 있다.

                    

    

                   

                                           

                     

여기서 , , , 는 적분영역 과 변환   에 따라 정해진다. 이렇게 얻은 [극좌표변환에 의한 변수변환공식을 이용한 이중적분공식]을 아래에서 풀어봅시다.



사각형입니다. [주어진 선형변환 함수의 이중적분을 변수변환 공식을 이용하여 구하는 예]

    다음 이중적분을 구하여라.

  이고 영역   는 평면상에서의 중심이 이고 반경이 2인 반원이다. 따라서 반원 에서 이라 하면


            

                              


http://sage.skku.edu/  또는  https://sagecell.sagemath.org/



  [예제 18]의 극좌표로의 변환을 통한 이중적분은 [예제 19]를 푸는데 꼭 필요하고, 통계학을 학습하는 과정에서 아래 [예제 19] 에 대한 이해는 필수적이다. 


사각형입니다.   통계학에서 꼭 필요한 적분값   은 기존의 방법으로 손으로는 풀어서 구하기 매우 어렵다.  그러나 코드를 이용하면 바로 구해진다.


http://sage.skku.edu/  또는  https://sagecell.sagemath.org/

 

[보충설명] 기존의 방법은 이므로 Fubini 정리에 의하여  를 극좌표로의 변환을 통한 이중적분으로 구했다. (Gaussian Integral) http://mathworld.wolfram.com/GaussianIntegral.html 


                           

풀이.  (원점을 중심으로 하고 반지름이 각각 인 원의 제1사분면(first quadrant)의 부분을 각각  라 하고 ( ),  를 정사각형이라 하자. 그럼 . 이다. 각 영역에서 같은 식의 적분값을 구한 후, 를 무한대로 보내면서 샌드위치 성질로 원하는    에서의 주어진 식의 적분값을 얻는 것이 전통적인 방법이다. 이를 위하여 전통적인 방법에서는 이중적분의 계산과 과정이 꼭 필요하였다. 그러나 코드를 이용하면)

  이므로 Fubini 정리에 의하여  이므로, , , 로 치환하여 극좌표로 바꾸면, 이고 이 된다. 로 치환하면, 이므로 을 얻는다. (여기서 아래와 같이 코드를 이용하여 적분값을 바로 얻으므로)

          이고 이다.             


http://sage.skku.edu/  또는  https://sagecell.sagemath.org/

 


[Note] 

http://matrix.skku.ac.kr/Cal-Book1/Ch14/ 

http://matrix.skku.ac.kr/cal-book/part2/CS-Sec-14-2-Sol.html 



사각형입니다. 영역 에서 함수 가 주어져 있을 때 다음 3중적분을 구하여라.


                         .


풀이. = 72.

http://sage.skku.edu/  또는  https://sagecell.sagemath.org/

                                                                               



http://matrix.skku.ac.kr/Cal-Book/part2/CS-Sec-14-5-Sol.html 



중적분은 [Part 3 확률통계와 빅데이터]에서 다룰 결합확률분포의 계산에도 많이 쓰인다. 아래의 예제를 살펴보자.


사각형입니다.  연속 확률변수 , 결합밀도함수 가 다음과 같이 주어져 있다고 하자.

                         ,


일 확률을 구하여라.


풀이. 구하고자 하는 확률은 다음과 같다.

              ,


여기서 적분영역 은 다음 그림과 같다.


    그림입니다.
원본 그림의 이름: mem000046e80001.png
원본 그림의 크기: 가로 592pixel, 세로 582pixel


[Sage code]  http://mathlab.knou.ac.kr:8080/ http://sage.skku.edu/



[부록 1] 미적분학의 상호연관성(Calculus Map)

http://matrix.skku.ac.kr/Calculus-Map/   (클릭하여 직접 각 절의 내용을 보세요)

in  http://matrix.skku.ac.kr/Cal-Book1/


묶음 개체입니다.


 [미적분학 1, 2 지식을 더 알고 싶은 학생은 저자의 아래 동영상 강의를 참고하면 된다.]


Calculus (미분적분학)     ○ 문제풀이  http://matrix.skku.ac.kr/cal-book/


○ 전자 교재와 강의록 Contents

http://matrix.skku.ac.kr/Cal-Book1/Ch1/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch2/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch3/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch4/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch5/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch6/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch7/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch8/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch9/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch10/  

http://matrix.skku.ac.kr/Cal-Book1/Ch11/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch12/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch13/ 

http://matrix.skku.ac.kr/Cal-Book1/Ch14/  

http://matrix.skku.ac.kr/Cal-Book1/Ch15/ 


○ 실습실 http://matrix.skku.ac.kr/Lab-Book/Sage-Lab-Manual-1.htm


○ PBL 보고서

Calculus 1 http://matrix.skku.ac.kr/PBL/

Calculus 2 http://matrix.skku.ac.kr/PBL2/

http://matrix.skku.ac.kr/Cal-Book1/Calculus-1/index.htm 

http://matrix.skku.ac.kr/Cal-Book1/Calculus-2/index.htm 


                                [출처]  http://matrix.skku.ac.kr/2019-album/


                 

[부록 2] 미적분학용 Sage/Python 코드


http://matrix.skku.ac.kr/Cal-Book/Appnd/index.htm 

http://sage.skku.edu/ 

http://matrix.skku.ac.kr/Mobile-Sage-G/sage-grapher.html   


Define Function

Taylor expansion

 

Equation solving

Approximate solution

Partial fraction

 

Limit

Right hand limit

Left hand limit

Limit at + infinity

Limit at - infinity

 

Derivative

Second derivative

Indefinite integral

Definite integral

 

Series

 

Radius of convergence

 

 

 

Define a vector

Norm of the vector

Distance from yz-plane

Distance from zx-plane

Distance from xz-plane

Distance from x-axis

Distance from y-axis

Distance from z-axis

 

Define a vector valued function

Velocity 

Acceleration 

Speed

Velocity vector at t = 2

Acceleration vector at t = 2

Arc length

Dot product

Cross product

f(x)=exp(-2*x)

f(x).taylor(x, 2, 4)

 

solve(f(x)==0, x)

find_root(f(x), a, b)

f.partial_fraction(x)

 

limit(f(x), x=2)

limit(f(x), x=2, dir='+')

limit(f(x), x=2, dir='-')

limit(f(x), x=+oo)

limit(f(x), x=-oo)

 

diff(f(x), x)

diff(f(x), x, 2)

integral(f(x), x)

integral(f(x), (x, -2, 3))

 

sum((e/10)^x, x, 1, +oo)

 

u(x)=1/(x*2^x)

rho=limit(abs(u(x+1)/u(x)), x=+oo)

1/rho

 

x = vector([3, -4, 5])

x.norm()

sqrt(x[0]^2)

sqrt(x[1]^2)

sqrt(x[2]^2)

sqrt(x[1]^2 + x[2]^2)

sqrt(x[0]^2 + x[2]^2)

sqrt(x[0]^2 + x[1]^2)

 

var('t'); r=vector([2-5*t,4*t,1+3*t])

v=diff(r, t)

a=diff(r, t, 2)

v.norm()

v.subs(t=2)

a.subs(t=2)

integral(v.norm(), (t, 0, 5))

v.dot_product(a) 

v.cross_product(a)

Find gradient

 

 

Double integral

Triple integral

 

Double integral

(in Polar coordinate)

 

 

Cylindrical 

to Rectangular

 

Spherical 

to Rectangular

 

Graph in plane

Parametric function in plane

Implicit function in plane

Line segment in plane

 

Graph in

Parametric function in

Implicit function in

 

Level curve

 

Vector field

Vector field in

 

Line integral

 

 

 

curl (A)

div (A)

 

Green’s theorem

Stokes’ theorem

Divergence theorem

var('x, y, z')    

f=x*y+y*z^2+x*z^3

f.gradient()

integral(integral(f, (x, 0, y)), (y, 0, 1))

integral(integral(integral(f, (x, 0, y)), (y, 0, 1)), (z, 0, 1))

 

var('r, t')

f=arctan(tan(t))

integral(integral(f*r, (r, 1, 2)), (t, 0, pi/4))

 

T = Cylindrical('height', ['radius', 'azimuth'])

T.transform(radius=1, azimuth= pi, height=2)

 

T = Spherical('radius', ['azimuth', 'inclination'])

T.transform(radius=3, azimuth=pi/6, inclination=pi/6)

 

plot(sin(x), (x, -4, 4))

parametric_plot((sin(x), cos(x)), (x, 0, 2*pi))

var('x, y'); implicit_plot(sin(x)-y==1, (x, -2, 2), (y, -2, 2))

line([(1, 1), (2, 2)], color='red')

 

var('x, y'); plot(x^2+y^2, (x, -2, 2), (y, -2, 2))

parametric_plot3d((sin(x), cos(x), x), (x, 0, 2*pi))

var('x, y, z'); implicit_plot3d(x^2+y^2==5, (x, -3, 3), (y, -3, 3),  (z, -3, 3))

 

contour_plot(x^2+y^2, (x, -1, 1), (y, -1, 1), cmap='hsv', labels=True)

 

plot_vector_field((x+y, x), (x, -3, 3), (y, -3, 3))

 

plot_vector_field3d((0, 0, 1), (x, -3, 3), (y, -3, 3), (z, -3, 3))

 

var('t'); r=vector([t-t^3, t^2, 0])

integral(r.dot_product(diff(r, t)), (t, 0, pi))

 

A(x,y,z) = P*i+Q*j+R*k  # conservative if curl(F)=0.

curlA=(diff(R,y)-diff(Q,z))*i+(diff(P,z)-diff(R,x))*j+(diff(Q,x)-diff(P,y))*k 

divA = diff(P,x)+diff(Q,y)+diff(R,z)    # divergence of A

 

integral(integral((diff(N, x)-diff(M, y))*r, (r, 0, 3)), (t, 0, 2*pi))

integral(integral(curl(F).dot_product(-n), (r, 0, 1)), (t, 0, 2*pi))

integral(integral(integral(Div, 0, 3), (y, 0, 2)), (z, 0, 1))

[부록 3] 미적분학 공식과 표(Table)


■ Rules for Inequalities


1. If , then .

2. If , then  .

3. If , then .

4.  If , then .



■ Special Functions


1. Exponential Functions

If and , then a function of the form is called an exponential
function.

The number is called the base and is called the exponential.

http://matrix.skku.ac.kr/Mobile-Sage-G/sage-grapher.html


2. Logarithmic Functions

The logarithmic with base and , is defined by .


3. Hyperbolic Functions

              

              

                 





■ Formulas of Trigonometric Functions


1. Addition and Subtraction Formulas


2. Double Angle Formulas


3. Triple Angle Formulas


4. Product-to-Sum

       

   


5. Sun-to-Product

        

        



■ Limits

http://matrix.skku.ac.kr/cal-lab/SKKU-Cell-Epsilon-Delta.html

http://matrix.skku.ac.kr/cal-lab/cal-Limit.html


1. Limit Laws

Suppose that the limits and exist and is a constant. Then

 

, where is a positive integer.

    (If is even, we require )

http://matrix.skku.ac.kr/cal-lab/cal-2-1-7.html

http://matrix.skku.ac.kr/cal-lab/cal-2-2-3.html


2. Squeeze Theorem (or Sandwich Theorem)

If when is near and

  then

http://matrix.skku.ac.kr/cal-lab/cal-2-1-12.html



■ Derivatives


1. Differentiation Rules

  where is a positive integer and is a constant.


2. Chain Rule

 If is any real number and is differentiable and , then .


3. Parametric Formula

For the parametric equations: and ,

 ,


4. Implicit Function

  Let be an implicit function.

  

   where .


5. Inverse Function

     or 


6. Trigonometric Functions

           

          

           

http://matrix.skku.ac.kr/cal-lab/cal-3-3-Exm24.html


7. Inverse Trigonometric Functions

         

     

        

http://matrix.skku.ac.kr/cal-lab/cal-3-2-13.html


8. Logarithmic Functions

                 

          


9. Exponential Functions

                  

        


10. Hyperbolic Functions

   

   

   



11. Inverse Hyperbolic Functions

        

               

           



■ General Rules of Integration

http://matrix.skku.ac.kr/cal-lab/cal-RiemannSum.html

http://matrix.skku.ac.kr/cal-lab/cal-6-3-17.html

http://matrix.skku.ac.kr/cal-lab/cal-12-1-Rotations-B.html 


1. Basic Forms

  

http://matrix.skku.ac.kr/cal-lab/cal-7-7-Exm-8.html


,

http://matrix.skku.ac.kr/cal-lab/cal-5-2-20.html



2. Trigonometric Forms

http://matrix.skku.ac.kr/cal-lab/cal-5-4-exm-7.html

http://matrix.skku.ac.kr/cal-lab/cal-8-3-3.html



3. Hyperbolic Forms

http://matrix.skku.ac.kr/cal-lab/cal-8-1-9.html


4. Forms Involving

  


5. Inverse Trigonometric Forms

http://myhandbook.info/form_integ.html




■ Series

1. Taylor Series

        http://matrix.skku.ac.kr/cal-lab/cal-10-5-Exm-11.html


2. Maclaurin Series

,                 

,                 

,     

,  


3. Binomial Series

If  and are any real numbers and is a positive integer, we have

            

where and


■ Vectors


1. Dot Product

Let and .

        http://matrix.skku.ac.kr/cal-lab/cal-11-3-2.html


2. Projections

Scalar projection of onto : ,

Vector projection of onto :

        http://matrix.skku.ac.kr/cal-lab/cal-11-5-20.html


3. Definition and Properties of Cross Product

        http://matrix.skku.ac.kr/cal-lab/cal-11-4-Exs-6.html

Let two nonzero vectors and are two sides of a parallelogram,

then the area of the parallelogram is .

        http://matrix.skku.ac.kr/cal-lab/cal-11-4-10.html


4. Rules of Limits

,

        http://matrix.skku.ac.kr/cal-lab/9-5-Example-7.html



5. Rules of Differentiation

        http://myhandbook.info/form_diff.html

 where is a scalar

        http://matrix.skku.ac.kr/cal-lab/cal-4-3-24.html

        http://matrix.skku.ac.kr/cal-lab/cal-4-2-9.html


6. Derivative of a Vector Function

If , then

        http://matrix.skku.ac.kr/cal-lab/cal-13-2-Exm6.html

        http://matrix.skku.ac.kr/cal-lab/cal-12-4-3.html

        http://matrix.skku.ac.kr/cal-lab/cal-13-2-20.html


7. Integral of a Vector Function

If ,
   then


8. Arc Length

        http://matrix.skku.ac.kr/cal-lab/cal-8-1-9.html

        http://matrix.skku.ac.kr/cal-lab/cal-8-1-11.html

        http://matrix.skku.ac.kr/cal-lab/cal-13-3-2.html





9. Curvature

,

        http://matrix.skku.ac.kr/cal-lab/cal-13-3-12.html


10. Equations of Line

   : a vector equation

              : parametric equations

        http://matrix.skku.ac.kr/cal-lab/11-5-Exmaple-7.html

         : a symmetric equation

        http://matrix.skku.ac.kr/cal-lab/11-5-Exmaple-14.html


11. Equation of Plane

 : a standard form of a plane

                 : a vector version of a plane

    : parametric equations of a plane

        http://matrix.skku.ac.kr/cal-lab/cal-11-5-20.html


■ Formulas of Vector Calculus

        http://en.wikipedia.org/wiki/Vector_calculus_identities 


1. Line Integral

        http://matrix.skku.ac.kr/cal-lab/Sec15-2-1.html

        http://matrix.skku.ac.kr/cal-lab/Sec15-4-Exs-1.html




2. Path Independent Theorem

Let be a potential function for .

For any piecewise smooth curve from and ,

   

        http://matrix.skku.ac.kr/cal-lab/Sec15-2-Exm-1.html


3. Area of a Plane Region

If has a piecewise smooth boundary with positive orientation,

then the area of is

   


4. Area of a Surface

        http://matrix.skku.ac.kr/cal-lab/cal-8-2-Exm-4.html

        http://matrix.skku.ac.kr/cal-lab/cal-8-2-3.html

        http://matrix.skku.ac.kr/cal-lab/cal-8-2-4.html

        http://matrix.skku.ac.kr/cal-lab/cal-0-a.html


5. Surface Integral

        http://matrix.skku.ac.kr/cal-lab/cal-14-5-1.html

        http://matrix.skku.ac.kr/cal-lab/Sec15-6-Exm-4.html

        http://matrix.skku.ac.kr/cal-lab/Sec15-6-Exm-5.html

        http://matrix.skku.ac.kr/cal-lab/Sec15-6-Exm-8.html

        http://matrix.skku.ac.kr/cal-lab/Sec15-7-Exm-2.html

        http://matrix.skku.ac.kr/cal-lab/cal-15-9-Exam-3.html





6. Gradient

        http://matrix.skku.ac.kr/cal-lab/cal-12-2-2.html


7. Divergence

        http://matrix.skku.ac.kr/cal-lab/Sec15-5-Exm-3.html


8. Curl

        http://matrix.skku.ac.kr/cal-lab/Sec15-8-Exm-2.html


9. Laplace Operator

        http://matrix.skku.ac.kr/cal-lab/cal-12-2-6.html


10. Vector Triple Products

        http://matrix.skku.ac.kr/cal-lab/cal-11-4-16.html


Theorems on Vector Calculus


1. Green's Theorem

 

        http://matrix.skku.ac.kr/cal-lab/Sec15-4-Exm-1.html

        http://matrix.skku.ac.kr/cal-lab/Sec15-4-Exs-10.html

        http://matrix.skku.ac.kr/cal-lab/cal-15-2-10.html

2. Stoke's Theorem

 

        http://matrix.skku.ac.kr/cal-lab/Sec15-5-Exm-3.html

        http://matrix.skku.ac.kr/cal-lab/cal-14-7-4.html

        http://matrix.skku.ac.kr/cal-lab/cal-15-5-5.html


3. Divergence Theorem

  div

        http://matrix.skku.ac.kr/cal-lab/Sec15-5-Exs-7.html

        http://matrix.skku.ac.kr/cal-lab/cal-14-8-1.html 

        http://matrix.skku.ac.kr/cal-lab/cal-14-8-5.html

        http://matrix.skku.ac.kr/cal-lab/cal-15-8-Exs-8.html



Copyright @ 2020 SKKU Matrix Lab. All rights reserved.
Made by Manager: Prof. Sang-Gu Lee and Dr. Jae Hwa Lee
*This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (2017R1D1A1B03035865).