페이지

2022년 7월 15일 금요일

1.1.4 딥러닝에서 '딥'이란 무엇일까?

 딥러닝은 머신 러닝의 특정한 한 분야로서 연속된 층(layer)에서 점진적으로 의미 있는 표현을 배우는 데 강점이 있으며, 데이터포부터 표현을 학습하는 새로운 방식입니다. 딥러닝의 딥(deep)이란 단어가 어떤 깊은 통찰을 얻을 수 있다는 것을 의미하지는 앟습니다. 그냥 연속된 층으로 표현을 학습한다는 개념을 나타냅니다. 데이터로부터 모델을 만드는데 얼마나 많은 층을 사용했는지가 그 모델의 깊이가 됩니다. 이 분야에 대한 적절한 다른 이름은 층 기반 표현 학습(layered representations learning)또는 계층적 표현 학습(hierarchical representations learning)이 될 수 있습니다. 최근의 딥러닝 모델은 표현 학습을 위해 수십개, 수백 개의 연속된 층을 가지고 있습니다. 이 층들을 모두 훈련 데이터에 노출해서 자동으로 학습시킵니다. 한편 다른 머신 러닝 접근 방법은 1-2개의 데이터 표현 층을 학습하는 경향이 있습니다. 그래서 이런 방식을 얕은 학습(shallow learning)이라 부르기도 합니다.

딥러닝에서는 기본 층을 겹겹이 쌓아 올려 구성한 신경만(neural network)이라는 모델을 (거의 항상)사용하여 표현 층을 학습합니다. 신경망이란 단어는 신경 생물학의 용어입니다. 딥러닝의 일부 핵심 개념이 뇌 구조를 이해하는 것에서부터 영감을 얻어 개발된 부분이 있지만, 딥러닝 모델이 뇌를 모델링한 것은 아닙니다. 최근의 딥러닝 모델이 사용하고 학습 매커니증과 유사한 것을 뇌가 가지고 있다는 근거는 없습니다. 대중 과학 저널에서 딥러닝이 뇌처럼 작동한다거나 뇌를 모방하여 만들었다고 주장하는 글을 아따름 볼 수 있지만, 이는 사실이 아닙니다. 딥러닝이 신경 생물학과 어떤 관련이 있는것처럼 생각하는 것이 오히려 이 분야를 처음 접하는 사람들을 혼란스럽게 해서 역효과를 냅니다. 이간의 정신 세계와 같은 신비하고 미스터리한 무언가를 떠울릴 필요가 없습니다. 이전에 읽었던 딥러닝과 생물학 사이를 연관 짓는 어떤 가설도 잊는 것이 좋습니다. 우리가 다루는딥러닝은 그냥 데이터로부터 표현을 학습하는 수학 모델인 뿐입니다.

딥러닝 알고리즘으로 학습된 표현은 어떻게 나타날까요? 몇 개의 층으로 이루어진 네트워크가 이미지 않의 숫자를 인식하기 위해 이미지를 어떻게 변환하는지 살펴보겠습니다.

최종 출력에 대해 점점 더 많은 정보를 가지지만 원본 이미지와는 점점 더 다른 표현으로 숫자 이미지가 변환 됩니다. 심층 신경망을 정보가 연속된 필터(filter)를 통과하면서 순도 높게(즉 어떤 작업에 대해서 유용하게)정제되는 다단계 정보 추출 작업으로 생각할 수 있습니다. 바로 이것이 딥러닝입니다. 기술적으로 데이터 표현을 학습하기 위한 다단계 처리 방식을 말합니다. 간단한 아이디어지만, 매우 단순한 이 구조를 충분한 규모로 확장하면 마치 마술 같은 일을 할 수 있습니다.

댓글 없음: