회사가 투자를 하고 연구자들이 모이는 것이 당연한 어떤 특별한 점이 심층 신경망에 있는 것일까요? 아니면 딥러닝은 그저 유행이라 사라지게 될까요? 20년 후에도 심층 신경망을 사용하고 있을 까요?
딥러닝의 현재 상태를 AI 혁명이라고 정의할 수 있는 몇 가지 특징이 있습니다. 지금부터 20년후에는 신경망을 사용하지 않을지도 모르지만, 딥러닝과 딥러닝의 핵심 개념에서 직접 파생된 무엇인가를 사용할 것입니다. 이 중요한 특징은 크게 세가지 범주로 나눌 수 있습니다.
- 단순함: 딥러닝은 특성 공학이 필요하지 않아 복잡하고 불안정한 많은 엔지니어링 과정을 엔드-투-엔드로 훈련시킬 수 있는 모델로 바꾸어 줍니다. 이 모델은 일반적으로 5-6개의 텐서 연산만을 사용하여 만들 수 있습니다.
- 확장성: 딥러닝은 GPU또는 TPU에서 쉽게 병렬화할 수 있기 때문에 무어의 법칙 혜택을 크게 볼 수 있습니다. 또 딥러닝 모델은 작은 배치(batch) 데이터에서 반복적으로 훈련되기 때문에 어떤 크기의 데이터셋에서도 훈련될 수 있습니다(유일한 병목은 가능한 병렬 계산능력이지만 무어의 법칙 덕택에 빠르게 그 장벽이 사라지고 있습니다).
- 다용도와 재사용성: 이전의 많은 머신 러닝 방법과는 다르게 딥러닝 모델은 처음부터 다시 시작하지 않고 추가되는 데이터로도 훈련할 수 있습니다. 대규모 제품에 상요되는 모델에는 아주 중요한 기능인 연속적인 온라인 학습(online learning)을 가능하게 합니다. 더불어 훈련된 딥러님 모델은 다른 용도로 쓰일 수 있어 재사용이 가능합니다. 옐르 들어 이미지 분류를 위해 훈련된 딥러닝 모델을 비디오 처리 작업 과정에 투입할 수 잇습니다. 더 복잡하고 강력한 모델을 만들기 위해 이전의 작업을 재활용할 수 있습니다. 또 아주 작은 데이터셋에도 딥러닝 모델을 적용할 수 있습니다.
딥러닝의 스포트라이트를 받는지 겨우 몇 년바에 되지 않았고 할 수 있는 모든 영역에 접목해 보지 못했습니다. 매달 새로운 사례ㅒ와 이전의 제약을 허무는 향상된 기술이 등장합니다. 과학 혁명뒤에는 일반적으로 시그모이드(sigmoid)고선 형태로 진행됩니다. 초창기에는 매우 빠르게 진행되고 연구자들이 험난한 난관에 부짖히면서 점차 안정되어 나중에는 조금씩 향사오딥니다. 2017년의 딥러닝은 시그모이드의 처음 절반 안쪽에 있는것 같습니다. 앞으로 몇 년 동앙 이 혁명은 훨씬 더 빠르게 진행될 것입니다.
댓글 없음:
댓글 쓰기