딥러닝을 위한 기초수학2

안녕하세요 

딥러닝을 이해하기 위해서는 몇 가지 알아야 될 기초수학이 있습니다. 

그중에서 순간변화율 구하는법이랑 편미분, 지수와 지수함수, 시그모이드함수, 로그와 로그함수에 대해 알아봐요 

 

1. 순간변화율 구하는법 

2. 편미분

3. 지수와 지수함수 

4. 시그모이드 함수

5. 로그와 로그함수 

 

순간변화율 구하는법 

$$y = x^2$$ 그래프가 있다고 해봅시다. 

 

여기서 y = 1  , y = 3 지점에서 x의 값은 각각 

1.414 , 2.449 입니다. 이때 x값의 증가율은 2.449 - 1.414 = 1.035입니다. y값의 증가율은 2이고요 

여기서 평균변화율은 $$ y값의 증가량/x 값의 증가량 $$ 이어서 $$ \frac{1.035}{2}  $$ 가 됩니다. 

여기서 1.414 을 a ,2.449를 b라고 했을 때 x값의 증가량을 문자로 표현하면 b - a가 됩니다. 

함수를 y = f(x)라고 표현했을때 y값의 증가량은 f(b) - f(a)가 됩니다. 여기서 평균변화율은 

$$ 평균변화율 = \frac{f(b) - f(a)}{b - a} $$ 가 됩니다. 

 

순간변화율은 x의 증가량이 0 에 가까울 만큼 아주 작을 때의 순간적인 기울기를 의미하므로 이 평균변화율에 극한을 더해줍니다. 그러면 

$$ 순간변화율 = \lim_{\Delta x \to 0} \frac {f(a + \Delta x) - f(a)}{\Delta x} $$

 

2. 편미분 

편미분이란 모든 변수를 미분하는게 아니라 특정 변수만 미분하라는 뜻입니다. 편미분에서 편은 한자로 偏 로 치우칠 편이라는 뜻입니다. 즉 치우치게 한쪽 편미분해라 이 뜻입니다. 

 

예를 들어 다음과 같은 식이 있다고 해봅시다. 

$$ f(x,y) = x^2 + yx + a $$ 여기서 a는 상수입니다. 이식에 대하여 

$$ \frac{\partial f}{\partial x} $$를 하게 된다면 x에 대해서만 미분을 하게 됩니다. 

따라서 $$ \frac {\partial f}{\partial x} = 2x + y $$ 가 됩니다. 

 

3. 지수와 지수 함수 

지수란 다음과 같은 형태를 의미합니다. 

$$ a^x $$ 여기서 a를 '밑'이라고 하고 x를 지수라고 합니다 즉 a를 x번 곱하라 이 뜻이지요 

지수 함수란 이 지수를 함수로 표현한 식을 말하는데요 다음과 같은 형태를 의미합니다. 

 

$$ y = a^x $$ 

이때 밑의 값이 중요합니다. 

이값이 1이면 함수가 아닙니다. 또 0보다 작으면 허수를 포함하게 되므로 안됩니다. 즉 a 은값은 a > 1 이거나 0 < a < 1 이어야 됩니다.  

a > 1 일때 그래프는 다음과 같습니다. 

a > 1일때 그래프

반면에 a가 0 < a < 1 일 때 그래프는 다음과 같습니다. 

 

 

0 < a < 1 일때 그래프

시그모이드 함수 

딥러닝을 보면 입력받은 신호를 얼마나 출력할지를 계산하는 과정이 무수히 반복됩니다. 이때 출력 값으로 얼마나 내보낼지 계산하는 함수를 활성화 함수라고 하는데 그중 가장 먼저 배우고 가장 중요한 함수가 시그모이드 함수입니다. 시그모이드는 다음과 같이 생겼습니다. 

$$ y = \frac{1}{1 + e^{-x}} $$

 

시그모이드 함수는 다음과 같은 그래프를 가지고 있습니다. 

시그모이드 함수 그래프

그래프의 특징을 보면 x가 커질수록 1에 가까워지고 x가 작아질수록 0에 가까워집니다. 이 함수의 속성은 0 또는 1 두 개의 값 중 하나를 고를 때 유용하게 사용됩니다. 

 

로그와 로그함수 

로그를 먼저 보기전에 다시 한번 지수를 살펴봅시다. 다음과 같은 식이 있다고 해봅시다. 

$$ a^x = b $$ 

이때 a와 b를 아는데 x를 모른다고 가정해 봅시다. 그럼 x는 어떻게 구할까요? 

이때 쓰이는게 바로 로그입니다. 로그를 사용하여 x를 구하면 다음과 같이 됩니다. 

$$ log_{a}{b} = x$$ 이렇게 구하면 됩니다. 

지수함수와 로그함수는 역함수 관계입니다. 역함수란 x와 y가 서로 바꾸어 가지는 함수입니다. 

다음과 같은식이 로그함수입니다. 

$$ y = log_{a}{x} $$ 

지수함수와 로그함수의 그래프를 보면 다음과 같습니다. 

 

파란색 : 지수함수 빨간색: 로그함수