4.3 수치 미분

경사법에서는 기울기(경사) 값을 기준으로 나아갈 방향을 정합니다. 기울기란 무엇인지, 또 어떤 성질이 있는지를 설명하기에 앞서, 이번 절에서는 학생 때 배운 '미분'부터 복습해 보겠습니다.

4.3.1 미분
여러분이 마라톤 선수고 처음부터 10분에 2km씩 달렸다고 해봅시다. 이때의 속도는 간단히 2/10 = 0.2[km/분]이라고 계산할 수 있습니다. 즉, 1분에 0.2km만큼의 속도(변화)로 뛰었다고 해석할 수 있습니다.
이 마라톤 예에서 '달린거리'가 '시간'에 대해서 얼마나 변화했는가를 계산했습니다. 다만 여러기에서 10분에 2km를 뛰었다는 것은, 정확하게는 10분 동안의 '평균 속도'를 구한 것이죠. 미분은 '특정 순간'의 변화량을 뜻합니다. 그래서 10분이라는 시간을 가능한 한 줄여 (직전 1분에 달린거리, 진전 1초에 달린 거리, 진전 0.1초에 달린 거리,....식으로 갈수로 간견을 줄여)한 순간의 변화량(어느 순간의 속도)을 얻는 것이죠.
이처럼 미분은 한순간의 변화량을 표시한 것입니다. 수식으로 다음과 같습니다.

좌변은 f(x)의 x에 대한 미분(x에 대한 f(x)의 변화량)을 나타내는 기호입니다. 결국, x의 '작은 변화'가 함수f(x)를 얼마나 변화시키느냐를 의미합니다. 이때 시간의 작은 변화, 즉 시간을 뜻하는 h를 한없이 에 가깝게 한다는 의미를 lim로 나타납니다.

4.3.2 수치 미분의 예
앞 절의 수치 미분을 사용하여 간단한 함수를 미분해 봅시다. 우선 다음과 같은 2차 함수입니다.

y = 0.01x2 + 0.1x
파이썬으로 구현하면 다음과 같이 됩니다.

def function_1(x):
    return 0.01*x**2+0.1+x