2010년경에 신경만은 대부분 과학 커뮤니티에서 관심을 받지 못했지만, 여전히 신경망에 대해 연구하고 있던 일부 사람들이 중요한 성과를 내기 시작했습니다. 토론토 대학의 제프리 힌튼(Geoffirey Hinton), 몬테리올 대학의 요슈아 벤지오(Yoshua Bengio), 뉴육 대학의 얀 르쿤, 스위스의 IDSIA입니다.
2011년에 IDSIA의 댄 크리슨(Dan Ciresan)이 GPU로 훈견된 심층 신경망(deep neural network)으로 학술 이미지 분류 대회에서 우승한 것이 시작이었습니다. 이것이 현대적인 딥러닝의 첫 번째 성공입니다. 그리고 이어서 2012년 대규모 이미지 분류 대회인 ImageNet에 힌튼 팀이 등장하면서 분수령이 되었습니다. ImageNet대회는 그 당시 아주 어려운 문제였습니다. 1,400만개의 이미지를 훈련시킨 후 고해상도 컬러 이미지를 1,000개의 범주로 분류해야 합니다. 2011년에 전통적인 컴퓨터 비전 방식을 사용한 우승 모델의 상위 5개 예측이 타깃 클래스를 맞출 정확도는 74.3%였습니다. 그런데 2012년 제프리 힌튼이 조언자로 참여하고 알렉스 크리체브스키(Alex Knizhevsky)가 이끄는 팀이 상위 5개 예측에 대한 정확도 83.6%의 놀라운 성과를 달성했습니다. 이때부터 매년 이 대회는 심층 합성곱 신경망(deep convolutional neural network, ConvNet)이 우승을 차지했습니다. 2015년의 우승자는 96.4%의 정확도를 달성했고 ImageNet의 분류 문제는 완전히 해결된 것으로 간주되었습니다.
2012년부터 심층 합성곱 신경망이 모든 컴퓨터 비전 작업의 주력 알고리즘이 되었습니다. 이 알고리즘은 조금 더 일반적이며, 지각에 관한 모든 문제에 적용할 수 있습니다. 2015년과 2016년에 열린 주요 컴퓨터 비전 콘퍼런스에서 어떤 형태로든 컨브넷(ConvNet)을 포함하지 않은 발표를 찾는것은 거의 불가능할 정도 입니다. 동시에 딥러닝은 자연어 처리(natural language proceesing)간은 다른 종류의 문제에도 적용되었습니다. 다양한 애플리케이션에서 SVM과 결정 트리를 완전히 대체하고 있습니다. 예를 들어 지난 몇 년간 유럽 입자 물리 연구소(European Organization for Nuclear Reseearch, CERN)는 대형 강입자 충돌기(Large Hadron Collider, LHC)에 있는 ATLAS가지기 에서 얻은 입자 데이터를 분석하기 위해 결정 트리 기반의 알고리즘을 사용했습니다. 하지만 높은 성능과 훈련 데이터셋에서의 손쉬운 훈련을 고려하여 CERN의 최근 연구는 케라스(Keras)기ㅈ반의 심층 신경망을 적용하기 시작했습니다.
댓글 없음:
댓글 쓰기