이미 많은 기업에서 빅데이터는 화두가 되고 있으며 데이터를 어떻게 분석.활용하느냐가 기업의 경쟁력을 좌우하는 궁극적 요소로 인식되고 있다. 이러한 관점에서 기업들은 데이터 분석의 도입 여부와 활용에 대한 명확한 분석 수준을 점검할 필요가 있다. 데이터 분석의 수준 진단을 통해 데이터 분석 기반을 구현하기 위해 무엇을 준비하고 보완해야 하는지 등 분석의 유형 및 분석의 방향성을 결정할 수 있다.
데이터 분석 수준 진단은 그림의 프레임워크와 같이 6개 영역에서의 분석 준비도와 3개 영역에서의 분석 성숙돌르 함께 평가함으로서 수행될 수 있다.
분석을 위한 준비도 및 성숙도를 진단하는 궁극적인 목표는 각 기업이 수행하는 현재의 분석 수준을 명확히 이해하고, 수준진단 결과를 토대로 미래의 목표수준을 정의하는 데 있다.
수준진단을 통해 데이터 부석을 위한 기반 또는 환경이 유사업종 또는 타 경쟁사에 비해 어느 정도 수준이고 데이터를 활요한 분석의 경쟁력 확보를 위해 어떠한 영역에 선택과 집중을 해야 하는지, 어떤 관점을 보안해야하는지 등 개선 방안을 도출할 수 있다.
가. 분석 준비도
분석 준비도(Readiness)는 기업의 데이터 분석 도입의 수준을 파악하기 위한 진단 방법으로서 그림과 같이 분석업무, 인력 및 조직, 분석 기법, 분석 데이터, 분석 문화, IT 인프라 등 총 6가지 영역을 대상으로 현 수준을 파악한다. 진단 영역별로 세부 항목에 대한 수준을 파악하고, 진단 결과 전체 요건 중 일정 수준 이상 충족하면 분석 업무를 도입하고, 충족하지 못하면 먼저 분석 환경을 조성한다.
그림의 예시에서 보는 바와 같이 금융업종을 대상으로 6개 영역에 대한 분석 준비도를 진단해본 결과, 보험업종의 분석 준비도가 상대적으로 높게 나타난 반면 증권업종의 분석 준비도는 타 금융업종에 비해 상대적으로 탖다. 이를 간략히 요약해 보면, 은행 및 보험업종은 분석업무를 착수하여 일정부분 성과를 기대할 수 있을 것으로 판단되며, 증권업종은 내부적인 분석환경을 조성하는 것이 우선되어야 한다고 볼 수 있다.
또한 진단 영역별로 살펴보면, 금융업 전반으로 인력.조직.분석 기법 등에 대한 준비도가 낮게 인식되고 있다. 이에 따라 분석 업무 수행을 위한 전문 인력 확보, 분석 역량 향상을 위한 교육 확대 및 변화관리가 필요하다고 볼 수 있다.
이렇듯 기업마다 분석 수행을 위한 현 수준은 어떠한지, 보다 효율적인 분석업무 수행을 위해 요구 또는 개선이 필요한 부분은 어디인지 데이터 분석 준비도를 진단해 보고 명확한 방향을 수립할 필요가 있다.
금융업종 전체의 분석 준비도 수준과 해당 기업의 분석 준비도 수준을 비교하여 상대적으로 수준이 낮은 영역을 파악해 볼 수 있다. 그림의 예시는 인력 및 조직, 분석 기법 등 조직의 분석 역량은 미흡한 수준인 반면, 조직의 분석 문화는 상대적으로 높은 수준임을 보여준다.
분석 준비 수준에 대한 6개 진단 영역별로 자세히 살펴보면, 분석 업무 준비도는 그림과 같이 4개 항목을 기준으로 진단을 수행한다. 전체 금융업종 평균과 비교해 볼 때, 분석업무에 대한 요건은 파악하고 있으나 분석업무에 대한 정기적인 개선은 미흡한 수준이다.
인력 및 조직 관점의 분석 준비도는 4개 항목 모두 매우 미흡한 수준으로 나타났다. 이는 향후 분석을 위한 전사 차원의 전문 분석 조직구성이 필요하며, 특히 관리자들의 기본적 분석 역량을 강화하기 위한 다양한 교육 프로그램 운영이 필요하다는 의미이다.
분석 기법 영역의 준비도수준은 3개 항목을 토대로 파악하였다. 분석 기법을 개선하거나 분석기법 라이브러리 관리체계는 매우 미흡한 수준이지만, 분석 업무별로 특화된 분석 기법은 일부 사용하고 있는 것을 알수 있다.
분석 데이터 준비도는 6개 항목을 기준으로 파악한다. 분석을 위한 데이터는 충분한 수준이며, 데이터 품질은 비교적 양호한 수준임을 알 수 있다. 하지만 다양한 외부 데이터의 활요 및 비구조 데이터 관리에 대한 준비는 상대적으로 미흡한 수준임을 알 수 있다.
분석 문화에 대한 준비도는 3개 항목을 중심으로 현 수준을 진단한다. 전반적으로 다른 진단 영역에 비해 분석 문화에 대한 준비도는 양호한 편임을 알 수 있다.
분석 인프라에 대한 준비도는 8개 항목을 대상으로 현재 분석 수준을 진단한다. 대규모 데이터 처리환경 및 분석을 위한 하드웨어, 데이터 품질 등은 양호한 수준임을 알 수 있다. 반면 데이터 및 고차원 분석 환경은 상대적으로 미흡한 수준이므로 이 부분에 대한 환경 개선 및 보완이 필요하다.
나. 분석 성숙도 모델
소프트웨어공학에서는 시스템 개발 업무능력과 조직의 성숙도(Maturity)를 파악하기 위해 CMMI(Capability Maturity Model Integration) 모델을 기반으로 조직의 성숙도를 평가한다. 또한 업무 프로세스 자체의 성숙도와 이러한 업무 프로세스 관리와 개선을 위한 조직의 역량을 CMMI에 기반한 업무 프로세스 성숙도 모형으로평가한다. 이와 같은 맥락에서 빅데이터 시대에는 분석 능력 및 분석 결과 활용에 대한 조직의 성숙도 수준을 평가해 현재 상태를 점검해 볼 필요가 있다.
기업에서 분석 수준은 성숙 단계에 다라 점차 진화하며 산업 및 기업의 특성에 따라 각 성숙 단계의 내용은 약간 상이할 수 있다. 분석 성숙도 진단은 비즈니스 부분, 조직.역량 부문, IT부문 등 3개 부분을 대상으로 성숙도 수준에 따라 도입단계, 활용단계, 확산단계, 최적화단계로 구분해 살펴볼 수 있다.
그림과 같이 금융업종의 분석 성숙도 수준 진단 결과, 금융업은 전체적으로 도입 단계를 넘어 활용 단계로 진입했음을 알 수 있다. 업종별로는 카드 및 보험업종에 비해 증권업종이 상대적으로 낮은 성숙도를 보이고 있으며, 비즈니스보다 IT 부문에 대한 성숙도 수준이 낮은 것을 알 수 있다.
그림은 A 기업의 분석 성숙돌르 측정한 결과다. 전반적으로 분석의 성숙도가 낮은 수준으로도입 단계에 다소 못 미치는 상황이며, 부문별로는 조직 및 역량 부문의 성숙도에 비해 분석 업무에 대한 IT지원이 미흡해 비즈니스 부문의 성숙도도 낮게 나타나고있다.
그림에서 보는 바와 같이 비즈니스 부분에 대한 성숙도 진단 결과를 살펴보면, 실적 및 통계 업무 중심으로 분석을 활요하고 있으며, 데이터를 정기적으로추출하여분석업무에 활용하고 있음을 알 수 있다. 반면 분석 업무의 자동 실행 및 분석 패턴 관리 등은 상대적으로 활용도가 떨어진다.
그림은 조직 및 역량 부분에 대한 성숙도 진단 결과다. 조직 내 일부 담당자의 지식과 경험에 의존해 분석하고 있으며, 일부 관리자들의 기본적인 데이터 분석이 가능함을 알 수 ㅣㅇㅆ다. 반면 분석 조직의 확보 및 운영, 분석 직무 운영은 상대적으로 미흡한 수준임을 고려할 때, 분석 조직의 구성방안을 고민해볼 필요가 있다.
IT 인프라 부문에 대한 성숙도는 그림 과 같이 분석을 위한 데이터 웨어하우스, 데이터 마트, OLAP 환경 등 전통적인 분석체계는 갖추어진 것으로 보인다. 하지만 고급분석(Advanced Ananlytics)등을 위한 환경은 매우 미흡한 수준임을 알 수 있다. 따라서 보다 효과적인 분석을 위해 고급분석 환경 구현을 위한 추가 개선활동이 요구된다.
다. 분석 수준 진단 결과
해당 기업의 분석 준비도와 성숙도 진달 결과를 토대로 그림 과 같이 기업의 현재 분석 수준을 객관적으로 파악 할 수 있다. 이를 토대로 유곤 업종 또는 경쟁사의 분석 수준과 비교하여 분석 경쟁력 확보 및 강화를 위한 목표 수준을 설정할 수 있다.
그림와 같이 분석 관점에서 4가지 유형으로 분석 수준진단 결과를 구분하여 향후 고려해야 하는 데이터 분석 수준에 대한 목표 바향을 정의하고, 유형별 특성에 따라 개선방안을 수립한다.
첫째, '준비형'은 데이터 분석을 위한 낮은 준비도와 낮은 성숙도 수준에 있는 기업들이다. 해당 위치의 기업들은 분석을 위한 데이터, 조직 및 인력, 분석 업무, 분석 기법 등이 적용되지 않음으로 인해 사전 준비가 필요한 유형이라고 할 수 있다.
둘째, '정착형'은 준비도는 낮은 편이지만 조직, 인력, 분석업무, 분석 기법 등을 기업 내부에서 제한적으로 사용하고 있다. 우선적으로 분석의 정착이 필요한 기업이 이 유형에 속한다.
셋째, '도입형'은 기업에서 활요하는 분석업무 및 분석기법 등은 부족한 상태지만, 조직 및 인력 등 준비도가 높은 유형으로 바로 데이터 분석을 바로 도입할 수 있는 기업이 여기에 속한다.
넷째, '확산형'은 데이터 분석을 위해 기업에 필요한 6가지 분석 구성요소를 모두 갖추고 있으며, 현재 부분적으로 도입해 지속적인 확산이 가능한 기업이 이 유형에 속한다.
2018년 1월 8일 월요일
1. 거버넌스 체계 개요
기업에서 데이터를 이용한 의사결정이 강조될수록 데이터 분석과 활용을 위한 체계적인 관리가 중요해진다. 이는 단순히 대용량 데이터를 수집.축적하는 것보다는 어떤 목적으로 어떤 데이터를 어떻게 분석에 활용할 것인가가 더욱 중요하기 때문이다. 그리고 조직 내 분석 관리체계를 수립해야 하는 이유는 데이터 분석을 기업의 문화로 정착하고 데이터 분석 업무를 지속적으로 고도화하기 위해서이다.
마스터 플랜 수립 시점에서 데이터 분석의지속적인 적용과 확산을 위한 거버넌스 체계는 분석 기획 및 관리를 수행하는 조직(Organiztion), 과제 기획 및 운영 프로세스(Process), 분석 관련 시스템(System), 데이터(Data), 분석 관련 교육 및 마인드 육성 체계(Human Resource)로 구성된다.
마스터 플랜 수립 시점에서 데이터 분석의지속적인 적용과 확산을 위한 거버넌스 체계는 분석 기획 및 관리를 수행하는 조직(Organiztion), 과제 기획 및 운영 프로세스(Process), 분석 관련 시스템(System), 데이터(Data), 분석 관련 교육 및 마인드 육성 체계(Human Resource)로 구성된다.
3. 이행계획 수립
가. 로드맵 수립
분석 과제에 대한 포트폴리오 사분면(Quadrant)분석을 통해 결정된 과제의 우선순위를 토대로 분석 과제별 적용범위 및 방식을 고려하여 최종적인 실행 우선순위를 결정한 후 단계적 구현 로드맵을 수립한다. 단계별로 추진하고자 하는 목표를 명확히 정의하고 추진 과제별 선.후행 관계를 고려하여 단계별 추진 내용을 정렬한다.
나. 세부 이행계획 수립
데이터 분석 체계는 고적적인 폭포수(Waterfall) 방식도 있으나 반복적인 정련과정을 통하여 프로젝트의 완성도를 높이는 방식을 주로 사용한다.
이러한 반복적인 분석 체계는 모든 단계를 반복하기 보다 데이터 수집 및 확보와 분석 데이터를 준비하는 단계를 순차적으로 진행하고 모델링 단계는 반복적으로 수행하는 혼합형을 많이 적용하며, 이러한 특성을 고려하여 세부적인 일정계획도 수립해야 한다.
분석 과제에 대한 포트폴리오 사분면(Quadrant)분석을 통해 결정된 과제의 우선순위를 토대로 분석 과제별 적용범위 및 방식을 고려하여 최종적인 실행 우선순위를 결정한 후 단계적 구현 로드맵을 수립한다. 단계별로 추진하고자 하는 목표를 명확히 정의하고 추진 과제별 선.후행 관계를 고려하여 단계별 추진 내용을 정렬한다.
나. 세부 이행계획 수립
데이터 분석 체계는 고적적인 폭포수(Waterfall) 방식도 있으나 반복적인 정련과정을 통하여 프로젝트의 완성도를 높이는 방식을 주로 사용한다.
이러한 반복적인 분석 체계는 모든 단계를 반복하기 보다 데이터 수집 및 확보와 분석 데이터를 준비하는 단계를 순차적으로 진행하고 모델링 단계는 반복적으로 수행하는 혼합형을 많이 적용하며, 이러한 특성을 고려하여 세부적인 일정계획도 수립해야 한다.
2. 수행 과제 도출 및 우선순위 평가
우선순위 평가는 정의된 데이터 과제에 대한 실행 순서를 정하는 것으로 업무 영역별로 도축된 분석 과제를 우선순위 평가기준에 따라 평가하고 과제 수행의 선.후행 관계를 고려하여 적용 순위를 조정해 최종 확정한다.
ISP와 같은 일반적인 IT 프로젝트는 과제의 우선순위 평가를 위해 전략적 중요도, 실행 용이성 등 기업에서 고려하는 중요 가치 기준에 따라 다양한 관점에서의 우선순위 기준을 수립하여 평가한다.
그러나 데이터 분석 과제의 우선순위 평가기준은 그 기업이 당면한 사항에 따라 다르고 기존의 IT 프로젝트에서의 우선순위 평가 기준과도 다른 관점에서 살펴볼 필요가 있다.
흔히 빅데이터의 핵심적인 특증을 데이터 크기(Volume), 다양한 데이터 형태(Variety), 데이터의 빠른 생성속도(Velocity)의 3V로 설명할 수 있다. 빅데이터의대부분의 비정형 데이터로 구성되어 있으며 이러한 비정형 데이터와 기존의 정형 데이터가 결합(Mesh-up)되어 분석됨으로써 새로운 가치(Value)가 창출된다는 점에서 빅데이터를 4V로 정의하기도 한다.
빅데이터의 4V를 ROI 관점으로 살펴보면 크기(Volumne), 다양성(Variety), 속도(Velocity)등 3V는 투자 비용(Investment)측면의 요소라고 볼 수 있다. 크기는 데이터의 규모 및 양을 의미하는데, 이런 대용량 데이터를 저장,처리하고 관리하기 위해서는 새로운 투자가 따라야 한다. 다양성은 데이터의 유형에 따라 정형.반정형.비정형 데이터, 소스에 따라 내부.외부.소셜 데이터 등으로 구분하는 등 다양한 종류와 형태를 갖는다. 이러한 데이터를 입수하 데 있어서도 투자가 필요하다.
마지막으로 속도는 데이터 생성 속도 또는 데이터 처리 속도를 의미하는데, 이를 위해 데이터를 빠르게 가공.분석하는 기술이 요구된다. 속도에 대한 고려는 현 시스템에 미치는 부하 여부에 따라 기존 아키텍처에 영향을 미치게 될 것이고, 궁극적으로 업무상 변경되거나 새롭게 추가되어 아키텍처의 변형을 일으키고 결과적으로 투자비용을 발생시키는 요소가 된다.
반면 가치는 분석 결과를 활용하거나 실질적인 실행을 통해 얻게 되는 비즈니스 효과(Return)측면의 요소라고 볼 수 있다. 이는 기업의 데이터 분석을 통해 추구하거나 달성하고자 하는 목표 가치라고 정의할 수 있다.
ROI 요소를 고려하여 데이터 분석 과제에 대한 우선쉰위 평가 기준을 정의할 수 있다. 데이터 분석 과제를 추진할 때 우선 고려해야 하는 요소는 전략적 중요도에 따른 시급성이 가장 중요한 기준이다. 데이터를 생성, 저장,가공, 분석하는 비용과 현재 기업의 분석 수준을 고려한 난이도 역시 적용 우선순위를 선정하는데 있어 중요한 기준이 될 수 있다.
시급성의 판단 기준은 전략적 중요도가 핵심이며, 이는 현재의 관점에 전략적 가치를 둘 것인지 미래의 중.장기적 관점에 전략전인 가치를 둘 것인지에 적정 시기를 고려하여 시급성 여부를 판단할 수 있다.
난이도는 현 시점에서 과제를 추진하는 것이 비용 측면과 범위 측면에서 바로 적용하기 쉬운(Easy) 것인지 또는 어려운(Difficult) 것인지에 대한 판단 기준이다.
다시 정리하면 과제의 범위를 시범 과제(Pilot 또는 PoC) 형태로 일부 수해할 것인지, 아니면 처음부터 크게 수행할 것인지, 또 데이터 소스는 기업 내부의 데이터부터 우선 활용하고 외부 데이터까지 확대해 나갈 것인지에 대한 난이도를 고려해 볼 수 있다.
난이도는 해당 기업의 현 상황에 따라 조율할 수 있다. 제2절 '분석거버넌스체계 수립'에서 제시하는 분석 준비도 및 성숙도 진단 결과에 따라 해당 기업의 분석 수준을 파악하고 이를 바탕으로 분석 적용 범위 및 방법에 따라 난이도를 조정할 수 있다.
그림은 포트폴리오 사분면(Quadrant) 분석을 통해 과제 우선순위를 선정하는 기법이다. 우선 순위 선정 기준을 토대로 난이도 또는 시급성을 고려하여 우선 추진해야 하는 분석 과제와 제한된 자원을 고려하여 단기적 또는 중장기적으로 추진해야 하는 분석 과제 등 4가지 유형으로 구분하여 분석 과제의 우선순위를 결정한다.
사분면 영역에서 가장 우선적인 분석 과제 적용이 필요한 영역은 3사분면(3 영역)이다. 또한 전략적 중요도가 현재 시점에는 상대적으로 낮은 편이지만 중.장기적으로는 경영에 미치는 영향도가 높고 분석 과제를 바로 적용하기 어려워 우선순위가 낮은 영역은 2사분면(2 영역)이다. 이런 측면에서 분석 과제의 적용 우선순위 기준을 '시급성'에 둔다면 3->4->2 영역 순이며 우선순위 기준을 '난이도'에 둔다면 3->1->2 영역 순으로 의사결정을 할 수 있다.
여기에서 특히 시급성이 높고 난이도가 높은 1사분면(1영역)은 경영진 또는 실무 담당자의 의사결정에 따라 적용 우선순위를 조정할 수 있다. 예를 들어, 그림 의 9번 과제와 같이 1사분면에 위치한 분석과제는 데이터 양, 데이터 특성, 분석 범위 등에 따라 난이도를 조율함으로써 적용 우선순위를 조정할 수 있다. 예를 들어 분석에 필요한 데이터 양의 수 TB 규모라면, 분석 대상이 되는 소스 데이터를 내부 데이터 관점에서 우선 분석할 수 있도록 데이터의 양을 줄여 난이도를 낮출 수 있다. 이를 통해 궁극적으로는 1사분면(1영역)에서 3사분면(3영역) 으로 분석 적용의 우선순위를 조정하여 추진할 수 있다.
또한 분석을 위한 기술적 요소에 따라서도 적용 우선순위를 조정할 수 있다. 기본적으로 대용량 데이터 분석은 데이터 저장.처리.분석을 위한 새로운 기술 요소들로 인하여 운영중인 시스템에 영향을 미친다. 이때 기존 시스템에 미치는 영향을 최소화하여 적용하거나 또는 운영중인 시스템과 별도 분리하여 시행함으로써 난이도 조율을 통해 우선순위를 조정할 수 있다. 끝으로 분석 범위에 따라서도 우선순위를 조정할 수 있다. 이 경우에는 분석 과제의 전체 범위를 한 번에 일괄적으로 적용하여 추진할 것이지, 일부 범위로 한정하여 시범과제 형태로 추진하고 평가를 통하여 분석 범위를 확대할 것인지에 대한 의사결정이 필요하다.
ISP와 같은 일반적인 IT 프로젝트는 과제의 우선순위 평가를 위해 전략적 중요도, 실행 용이성 등 기업에서 고려하는 중요 가치 기준에 따라 다양한 관점에서의 우선순위 기준을 수립하여 평가한다.
그러나 데이터 분석 과제의 우선순위 평가기준은 그 기업이 당면한 사항에 따라 다르고 기존의 IT 프로젝트에서의 우선순위 평가 기준과도 다른 관점에서 살펴볼 필요가 있다.
흔히 빅데이터의 핵심적인 특증을 데이터 크기(Volume), 다양한 데이터 형태(Variety), 데이터의 빠른 생성속도(Velocity)의 3V로 설명할 수 있다. 빅데이터의대부분의 비정형 데이터로 구성되어 있으며 이러한 비정형 데이터와 기존의 정형 데이터가 결합(Mesh-up)되어 분석됨으로써 새로운 가치(Value)가 창출된다는 점에서 빅데이터를 4V로 정의하기도 한다.
빅데이터의 4V를 ROI 관점으로 살펴보면 크기(Volumne), 다양성(Variety), 속도(Velocity)등 3V는 투자 비용(Investment)측면의 요소라고 볼 수 있다. 크기는 데이터의 규모 및 양을 의미하는데, 이런 대용량 데이터를 저장,처리하고 관리하기 위해서는 새로운 투자가 따라야 한다. 다양성은 데이터의 유형에 따라 정형.반정형.비정형 데이터, 소스에 따라 내부.외부.소셜 데이터 등으로 구분하는 등 다양한 종류와 형태를 갖는다. 이러한 데이터를 입수하 데 있어서도 투자가 필요하다.
마지막으로 속도는 데이터 생성 속도 또는 데이터 처리 속도를 의미하는데, 이를 위해 데이터를 빠르게 가공.분석하는 기술이 요구된다. 속도에 대한 고려는 현 시스템에 미치는 부하 여부에 따라 기존 아키텍처에 영향을 미치게 될 것이고, 궁극적으로 업무상 변경되거나 새롭게 추가되어 아키텍처의 변형을 일으키고 결과적으로 투자비용을 발생시키는 요소가 된다.
반면 가치는 분석 결과를 활용하거나 실질적인 실행을 통해 얻게 되는 비즈니스 효과(Return)측면의 요소라고 볼 수 있다. 이는 기업의 데이터 분석을 통해 추구하거나 달성하고자 하는 목표 가치라고 정의할 수 있다.
ROI 요소를 고려하여 데이터 분석 과제에 대한 우선쉰위 평가 기준을 정의할 수 있다. 데이터 분석 과제를 추진할 때 우선 고려해야 하는 요소는 전략적 중요도에 따른 시급성이 가장 중요한 기준이다. 데이터를 생성, 저장,가공, 분석하는 비용과 현재 기업의 분석 수준을 고려한 난이도 역시 적용 우선순위를 선정하는데 있어 중요한 기준이 될 수 있다.
시급성의 판단 기준은 전략적 중요도가 핵심이며, 이는 현재의 관점에 전략적 가치를 둘 것인지 미래의 중.장기적 관점에 전략전인 가치를 둘 것인지에 적정 시기를 고려하여 시급성 여부를 판단할 수 있다.
난이도는 현 시점에서 과제를 추진하는 것이 비용 측면과 범위 측면에서 바로 적용하기 쉬운(Easy) 것인지 또는 어려운(Difficult) 것인지에 대한 판단 기준이다.
다시 정리하면 과제의 범위를 시범 과제(Pilot 또는 PoC) 형태로 일부 수해할 것인지, 아니면 처음부터 크게 수행할 것인지, 또 데이터 소스는 기업 내부의 데이터부터 우선 활용하고 외부 데이터까지 확대해 나갈 것인지에 대한 난이도를 고려해 볼 수 있다.
난이도는 해당 기업의 현 상황에 따라 조율할 수 있다. 제2절 '분석거버넌스체계 수립'에서 제시하는 분석 준비도 및 성숙도 진단 결과에 따라 해당 기업의 분석 수준을 파악하고 이를 바탕으로 분석 적용 범위 및 방법에 따라 난이도를 조정할 수 있다.
그림은 포트폴리오 사분면(Quadrant) 분석을 통해 과제 우선순위를 선정하는 기법이다. 우선 순위 선정 기준을 토대로 난이도 또는 시급성을 고려하여 우선 추진해야 하는 분석 과제와 제한된 자원을 고려하여 단기적 또는 중장기적으로 추진해야 하는 분석 과제 등 4가지 유형으로 구분하여 분석 과제의 우선순위를 결정한다.
사분면 영역에서 가장 우선적인 분석 과제 적용이 필요한 영역은 3사분면(3 영역)이다. 또한 전략적 중요도가 현재 시점에는 상대적으로 낮은 편이지만 중.장기적으로는 경영에 미치는 영향도가 높고 분석 과제를 바로 적용하기 어려워 우선순위가 낮은 영역은 2사분면(2 영역)이다. 이런 측면에서 분석 과제의 적용 우선순위 기준을 '시급성'에 둔다면 3->4->2 영역 순이며 우선순위 기준을 '난이도'에 둔다면 3->1->2 영역 순으로 의사결정을 할 수 있다.
여기에서 특히 시급성이 높고 난이도가 높은 1사분면(1영역)은 경영진 또는 실무 담당자의 의사결정에 따라 적용 우선순위를 조정할 수 있다. 예를 들어, 그림 의 9번 과제와 같이 1사분면에 위치한 분석과제는 데이터 양, 데이터 특성, 분석 범위 등에 따라 난이도를 조율함으로써 적용 우선순위를 조정할 수 있다. 예를 들어 분석에 필요한 데이터 양의 수 TB 규모라면, 분석 대상이 되는 소스 데이터를 내부 데이터 관점에서 우선 분석할 수 있도록 데이터의 양을 줄여 난이도를 낮출 수 있다. 이를 통해 궁극적으로는 1사분면(1영역)에서 3사분면(3영역) 으로 분석 적용의 우선순위를 조정하여 추진할 수 있다.
또한 분석을 위한 기술적 요소에 따라서도 적용 우선순위를 조정할 수 있다. 기본적으로 대용량 데이터 분석은 데이터 저장.처리.분석을 위한 새로운 기술 요소들로 인하여 운영중인 시스템에 영향을 미친다. 이때 기존 시스템에 미치는 영향을 최소화하여 적용하거나 또는 운영중인 시스템과 별도 분리하여 시행함으로써 난이도 조율을 통해 우선순위를 조정할 수 있다. 끝으로 분석 범위에 따라서도 우선순위를 조정할 수 있다. 이 경우에는 분석 과제의 전체 범위를 한 번에 일괄적으로 적용하여 추진할 것이지, 일부 범위로 한정하여 시범과제 형태로 추진하고 평가를 통하여 분석 범위를 확대할 것인지에 대한 의사결정이 필요하다.
2018년 1월 7일 일요일
1. 분석 마스터 플랜 수립 프레임워크
중.장기적 관점의 마스터 플랜 수립을 위해서는 분석 과제를 대상으로전략적 중요도, 비즈니스 성과및 ROI, 분석 과제의 실행 용이성 등 다양한 기준을 고려해 적용할 우선쉰위를 설정할 필요가 있다. 분석 과제의 우선순위뿐 아니라 분석을 업무에 내재화할 것인지, 별도의 분석화면으로일단 적용할 것인지, 분석데이터를 내부의 데이터로 한정할 것인지, 외부의 데이터까지 포함할 것인지, 분석기술은 어느 기술요소까지 적용할 것인지 등 분석의 적용 범위 및 방식에 대해서도 종합적으로 고려하여 데이터 부석을 실행하기 위한 로드맵을 수립한다.
기업 및 공공 기관에서는 시스템의 중장기 로드맵을 정의하기 위한 정보전략계획인 ISP(Information Strategy Planning)를 수행한다. ISP는 정보기술 또는 정보시스템을 전략적으로활용하기 위하여 조직 내.외부 환경을 분석하여 기회나 문제점을 도출하고 사용자의 요구사항을 분석하여 시스템 구축 우선순위를 결정하는 등 중장기 마스터 플랜을 수립하는 절차이다. 분석 마스터 플랜은 일반적인 ISP 방법론을 활용하되 데이터 분석 기회의 특성을 고려하여 수행하고 기업에서 필요한 데이터 분석 과제를 빠짐없이 도출한 후 과제의우선순위를 결정하고 단기 및 중.장기로나누어 계획을 수립한다.
기업 및 공공 기관에서는 시스템의 중장기 로드맵을 정의하기 위한 정보전략계획인 ISP(Information Strategy Planning)를 수행한다. ISP는 정보기술 또는 정보시스템을 전략적으로활용하기 위하여 조직 내.외부 환경을 분석하여 기회나 문제점을 도출하고 사용자의 요구사항을 분석하여 시스템 구축 우선순위를 결정하는 등 중장기 마스터 플랜을 수립하는 절차이다. 분석 마스터 플랜은 일반적인 ISP 방법론을 활용하되 데이터 분석 기회의 특성을 고려하여 수행하고 기업에서 필요한 데이터 분석 과제를 빠짐없이 도출한 후 과제의우선순위를 결정하고 단기 및 중.장기로나누어 계획을 수립한다.
제4절 분석 프로젝트 관리 방안
과제 형태로 도출된 분석 기회는 프로젝트를 통해서 그 가치를 증명하고 목표를 달성해야 한다. 분석 프로젝트는 다른 프로젝트 유형처럼 범위, 일정, 품질, 리스크, 의사소통 등 영역별 관리가 수행되어야 할 뿐 아니라 다양한 데이터에 기반한 분석 기법을 적용하는 특성 때문에 그림 과 같이 5가지의 주요 속성을 고려하여 추가적인 관리가 필요하다.
__________________________________________________________________________________________
- Data Size
분석하고자 하는 데이터의 양을 고려한 관리 방안 수립이 필요하다. 하둡 환경에서의 엄청난 데이터량을 기반으로 분석하는 것과 기존 정형 데이터베이스에 있는 시간당 생성되는 데이터를 분석할 때의 관리 방식은 차이가 날 수 밖에 없다.
- Data Complexity
BI(Business Intelligence) 프로젝트처럼 정형 데이터가 분석 마트로 구성되어 있는 상태에서 분석을 하는것과 달리 텍스트, 오디오, 비디오 등의 비정형 데이터 및 다양한 시스템에 산재되어 있는 원천 데이터들을 총합해서 분석 프로젝트를 진행할 때는, 초기 데이터의확보화 통합 뿐 아니라 해당 데이터에 잘 적용될 수 있는 분석 모델의 선정 등에 대한 사전 고려가 필요하다.
- Speed
분석 결과가 도출되었을 때 이를 활용하는 시나리오 측면에서는 속도를 고려해야 한다. 일단위, 주단위 실적의 경우에는 배치(Batch)형태로 작업이 되어도 무방하지만, 실시간으로 사기(Fraud)를 탐지하거나 고객에게 개인화된 상품.서비스를 추천하는 경우에는 분석 모델의 적용 및 계산이 실시간으로 수행되어야 하기 때문에 프로젝트 수행 시 분석 모델의 성능 및 속도를 고려한 개발 및 테스트가 수행되어야 한다.
- Analytic Complexity
분석 모델의 정확도와 복잡도는 트레이드오프(Trade off)관계가 존재한다. 분석 모델이 복잡할수록 정확도는 올라가지만 해석이 어려워지는 단점이 존재하므로 이에 대한 기준점을 사전에 정의해 두어야 한다. 고객의신용을 평가하는 마케팅 시나리오에서 분석모델을 활용하여 신용 점수가 낮게 나올 때 어떠한 변수에 기인했는지를 모델에서 설명해 줄 수 없으면 영업.마케팅 직원 입장에서는 해당 고객과의 소통이 어려워지는 단점이 존재하므로, 해석이 가능하면서도 정확도를 올릴수 있는 최적모델을 찾는 방안을 사전에 모색해야한다.
- Accuracy & Precision
Accuracy는 모델과 실제 값 사이의차이가 적다는 정확도를 의미하고 Precision은 모델을 지속적으로 반복했을 때의 편차의수준으로써 일관적으로 동일한 결과를 제시한다는 것을 의미한다. 분석의활용적인 측면에서는 Accuracy가 중요하며, 안정성 측면에서는 Precision이 중요하다. 그러나 Accuracy와 Precision은 트레이드오프가 되는 경우가 많기 때문에 모델의해석 및 적용 시 사전에 고려해야 한다.
1. 분석 프로젝트의 특성
분석가의 목표는 분석의 정확도를 높이는 것이지만 프로젝트의 관점에서는 도출된 분석 과제를 잘 구현하여원하는 결과를 얻고 사용자가 원활하게 활용할 수 있도록 전체적인 과정을 고려해야 하기 때문에 개별적인 분석 업무 수행뿐만 아니라 전반적인 프로젝트 관리 또한 중요한 일이다.
분석가의 입장에서 본다면, 데이터의 원천을 다루는 데이터 영역과 결과를 활요할 비즈니스 영역의 중간에서 분석 모델을 통한 조율을 수행하는 조정자의 역활이 핵심이 될 것이다. 특히 분석 프로젝트에서는 데이터 영역과비즈니스 영역의 현황을 이해하고 프로젝트의목표인 분석의 정화도 달성과 결과에 대한 가치 이해를 전달하는 조정자로써의 분석가의 역할이 중요하다. 조정자로서의 분석가가 해당 프로젝트의 관리자까지 겸임하게 되는 경우가 대부분이므로 프로젝트 관리 방안에 대한 이해와 주요 관리 포인트를 사전에 숙지하는 것이 필수적이다.
또한 분석 프로젝트는 도출된 결과의 재해석을 통한 지속적인 반복 및 정교화가 수행되는 경우가 대부분이므로 프로토타이핑 방식의 어자일(Agile)프로젝트 관리방식에 대한 고려도 필요하다. 데이터 분석의 지속적인 반복 및 개선을 통하여 의도 했던 결과에 더욱 가까워지는 형태로 프로젝트가 진행될 수 있도록 적절한 관리 방안 수립이 사전에 필요하다.
앞서 살펴본 것처럼, 분석 프로젝트는데이터 영역과 비즈니스 영역에 대한 이해뿐만 아니라 지속적인 반복이 요구되는 분석 프로세스의 특성을 이해한 프로젝트 관리 방안을 수립하는 것이 중요하다. 분석 과제정의서를 기반으로 프로젝트를 시작하되 지속적인 개선 및 변경을 염두에 두고 기간 내에 가능한 최선의 결과를 도출할 수 있도록 프로젝트 구성원들과 협업하는 것이 분석 프로젝트의 특징이다.
2. 분석 프로젝트 관리방안
분석 프로젝트는 데이터 분석의 특성을 살려 프로젝트관리 지침(Guidence on Project Management, KS A ISO 21500:2013)을 기본 가이드로 활용할 필요가 있다. 프로젝트관리 지침의프로젝트 관리 체계는 통합(Integration), 이해관계자(Stakeholder), 범위(Scope), 자원(Resource), 시간(Time), 원가(Cost), 리스크(Risk), 품질(Quality), 조달(Procurement),의사소통(Communication)의 10개의주제 그룹으로 구성되어 있다.
주제그룹 개념 및 관련 프로세스
통합 프로젝트와 관련된 다양한 활동과 프로세스를 도출, 정의, 결합,단일화, 조정, 통제, 종료 에 필요한 프로세스
이해관계자 프로젝트 스폰서, 고객사, 기타 이해관계자를 식별하고 관리하는데 필요한 프로세스
범위 작업과 인도물을 식별하고 정의하는데 요구되는 프로세스
자원 인력, 시설, 장비, 자재, 기반 시설, 도구와 같은 적절한 프로젝트 자원을 식별하고 확보
하는데 필요한 프로세스
시간 프로젝트 활동의 일정을 수립하고 일정 통제의 진척상황을 관찰하는데 요구되는 프로세스
원가 예산 개발과 원가통제의 진척상황을 관찰하는데 요구되는 프로세스를 포함
리스크 위험과 기회를 식별하고 관리하는 프로세스
품질 품질보증과 품질통제를 계획하고확립하는데 요구되는 프로세스
조달 계획에 요구된 프로세스를 포함하며 제품 및 서비스 또는 인도물을 인수하고 공급자와의
관계를 관리하는데 요구되는 프로세스
의사소통 프로젝트와 관련된 정보를 계획, 관리, 배포하는데 요구되는 프로세스
특히 분석 프로젝트의경우에는 각각의 관리영역에서 일반 프로젝트와 다르게 좀 더 유의해야 할 요소가 존재한다. 각 영역에서 분석 프로젝트가 가지게 되는 특성과 고려해야 할 주요 관리 항목은 [표 3-1-3] 와 같다.
분석가가 분석 프로젝트에서 프로젝트 관리자의 역할을 수행하는 경우가 대부분이기 때문에 프로젝트 관리 영역에 대한 주요한 사항들은 체크포인트 형태로 관리해서 발생할 수 있는 이슈와 리스크를 숙지하고미연에 방지할 필요가 있다.
[표 3-1-3] 분석 프로젝트 영역별 주요 관리 항목
관리 영역 분석 프로젝트의특성 및 주요 관리 항목
범위 - 분석 기획단계의 프로젝트 범위가 분석을 진행하면서 데이터의 형태와 양 또는 적용 (Scope) 되는 모델의 알고리즘에 따라 범위가 빈번하게 변경됨
- 분석의 최종 결과물이 분석 보고서 형태인지 시스템인지에 따라서 투입되는 자원 및 범위가 크게 변경되므로 사전에 충분한 고려가 필요함
시간(Time) - 데이터 분석 프로젝트는 초기에 의도했던 결과(모델)가 나오기 쉽지 않기 때문에
지속적으로 반복되어 많은 시간이 소요될 수 있음
- 분석 결과에 대한 품질이 보장된다는 전제로 Time Boxing 기법으로일정 관리를
진행하는 것이 필요함
원가(Cost) - 외부 데이터를 활요한 데이터 분석인 경우 고가의비용이 소요될 수 있으므로 사전에
충분한 조사가 필요함
- 오픈소스 도구(Tool) 외에 프로젝트 수행 시 의도했던 결과를 달성하기 위하여 상용
버전의도구(Tool)가 필요할 수 있음(예: 가시화를 위한 BI 솔루션, 지리정보 표기를
위한 GIS 솔루션 등)
품질(Quality) -분석 프로젝트를 수행한 결과에 대한 품질목표를 사전에 수립하여 확정해야 함
- 프로젝트 품질은 품질통제(Quality Control)와 품질보증(Quality Assurance)으로 나누어 수행되어야 함
통합 - 프로젝트관리 프로세스들이 통합적으로 운영될 수 있도록 관리함
(Integration)
조달 - 프로젝트 목적성에 맞는 외부 소싱을 적절하게 운영할 필요가 있음
(Procurement) -PoC(Proof of Concept)형태의 프로젝트는 인프라 구매가 아닌 클라우드 등의 다양한
방안을 검토할 필요가 있음
자원 - 고급 분석 및 빅데이터 아키텍쳐링을 수행할 수 있는 인력의 공급이 부족하므로
(Resource) 프로텍트 수행 전 전문가 확보 검토 필요
리스크 -분석에 필요한 데이터 미확보로 분석 프로젝트 진행이 어려울 수 있어 관련 위험을
(Risk) 식별하고 대응방안을 사전에 수립해야 함
- 데이터 및 분석 알고리즘의 한계로 품질목표를 달성하기 어려울 수 있어 대응 방안을 수립할 필요가 있음
의사소통 -전문성이 요구되느 데이터 분석의 결과를 모든 프로젝트 이해관계자(Stakeholders)가
(Communication) 공유할 수 있도록 해야 함
- 프로젝트의원할한 진행을 위한 다양한 의사소통체계 마련 필요
이해관계자 - 데이터 분석 프로젝트는 데이터 전문가, 비즈니스 전문가, 분석 전문가, 시스템 전문가
(Stakeholder) 등 다양한 전문가가 참여하므로 이해관계자의 식별과 관리가 필요함.
__________________________________________________________________________________________
- Data Size
분석하고자 하는 데이터의 양을 고려한 관리 방안 수립이 필요하다. 하둡 환경에서의 엄청난 데이터량을 기반으로 분석하는 것과 기존 정형 데이터베이스에 있는 시간당 생성되는 데이터를 분석할 때의 관리 방식은 차이가 날 수 밖에 없다.
- Data Complexity
BI(Business Intelligence) 프로젝트처럼 정형 데이터가 분석 마트로 구성되어 있는 상태에서 분석을 하는것과 달리 텍스트, 오디오, 비디오 등의 비정형 데이터 및 다양한 시스템에 산재되어 있는 원천 데이터들을 총합해서 분석 프로젝트를 진행할 때는, 초기 데이터의확보화 통합 뿐 아니라 해당 데이터에 잘 적용될 수 있는 분석 모델의 선정 등에 대한 사전 고려가 필요하다.
- Speed
분석 결과가 도출되었을 때 이를 활용하는 시나리오 측면에서는 속도를 고려해야 한다. 일단위, 주단위 실적의 경우에는 배치(Batch)형태로 작업이 되어도 무방하지만, 실시간으로 사기(Fraud)를 탐지하거나 고객에게 개인화된 상품.서비스를 추천하는 경우에는 분석 모델의 적용 및 계산이 실시간으로 수행되어야 하기 때문에 프로젝트 수행 시 분석 모델의 성능 및 속도를 고려한 개발 및 테스트가 수행되어야 한다.
- Analytic Complexity
분석 모델의 정확도와 복잡도는 트레이드오프(Trade off)관계가 존재한다. 분석 모델이 복잡할수록 정확도는 올라가지만 해석이 어려워지는 단점이 존재하므로 이에 대한 기준점을 사전에 정의해 두어야 한다. 고객의신용을 평가하는 마케팅 시나리오에서 분석모델을 활용하여 신용 점수가 낮게 나올 때 어떠한 변수에 기인했는지를 모델에서 설명해 줄 수 없으면 영업.마케팅 직원 입장에서는 해당 고객과의 소통이 어려워지는 단점이 존재하므로, 해석이 가능하면서도 정확도를 올릴수 있는 최적모델을 찾는 방안을 사전에 모색해야한다.
- Accuracy & Precision
Accuracy는 모델과 실제 값 사이의차이가 적다는 정확도를 의미하고 Precision은 모델을 지속적으로 반복했을 때의 편차의수준으로써 일관적으로 동일한 결과를 제시한다는 것을 의미한다. 분석의활용적인 측면에서는 Accuracy가 중요하며, 안정성 측면에서는 Precision이 중요하다. 그러나 Accuracy와 Precision은 트레이드오프가 되는 경우가 많기 때문에 모델의해석 및 적용 시 사전에 고려해야 한다.
1. 분석 프로젝트의 특성
분석가의 목표는 분석의 정확도를 높이는 것이지만 프로젝트의 관점에서는 도출된 분석 과제를 잘 구현하여원하는 결과를 얻고 사용자가 원활하게 활용할 수 있도록 전체적인 과정을 고려해야 하기 때문에 개별적인 분석 업무 수행뿐만 아니라 전반적인 프로젝트 관리 또한 중요한 일이다.
분석가의 입장에서 본다면, 데이터의 원천을 다루는 데이터 영역과 결과를 활요할 비즈니스 영역의 중간에서 분석 모델을 통한 조율을 수행하는 조정자의 역활이 핵심이 될 것이다. 특히 분석 프로젝트에서는 데이터 영역과비즈니스 영역의 현황을 이해하고 프로젝트의목표인 분석의 정화도 달성과 결과에 대한 가치 이해를 전달하는 조정자로써의 분석가의 역할이 중요하다. 조정자로서의 분석가가 해당 프로젝트의 관리자까지 겸임하게 되는 경우가 대부분이므로 프로젝트 관리 방안에 대한 이해와 주요 관리 포인트를 사전에 숙지하는 것이 필수적이다.
또한 분석 프로젝트는 도출된 결과의 재해석을 통한 지속적인 반복 및 정교화가 수행되는 경우가 대부분이므로 프로토타이핑 방식의 어자일(Agile)프로젝트 관리방식에 대한 고려도 필요하다. 데이터 분석의 지속적인 반복 및 개선을 통하여 의도 했던 결과에 더욱 가까워지는 형태로 프로젝트가 진행될 수 있도록 적절한 관리 방안 수립이 사전에 필요하다.
앞서 살펴본 것처럼, 분석 프로젝트는데이터 영역과 비즈니스 영역에 대한 이해뿐만 아니라 지속적인 반복이 요구되는 분석 프로세스의 특성을 이해한 프로젝트 관리 방안을 수립하는 것이 중요하다. 분석 과제정의서를 기반으로 프로젝트를 시작하되 지속적인 개선 및 변경을 염두에 두고 기간 내에 가능한 최선의 결과를 도출할 수 있도록 프로젝트 구성원들과 협업하는 것이 분석 프로젝트의 특징이다.
2. 분석 프로젝트 관리방안
분석 프로젝트는 데이터 분석의 특성을 살려 프로젝트관리 지침(Guidence on Project Management, KS A ISO 21500:2013)을 기본 가이드로 활용할 필요가 있다. 프로젝트관리 지침의프로젝트 관리 체계는 통합(Integration), 이해관계자(Stakeholder), 범위(Scope), 자원(Resource), 시간(Time), 원가(Cost), 리스크(Risk), 품질(Quality), 조달(Procurement),의사소통(Communication)의 10개의주제 그룹으로 구성되어 있다.
주제그룹 개념 및 관련 프로세스
통합 프로젝트와 관련된 다양한 활동과 프로세스를 도출, 정의, 결합,단일화, 조정, 통제, 종료 에 필요한 프로세스
이해관계자 프로젝트 스폰서, 고객사, 기타 이해관계자를 식별하고 관리하는데 필요한 프로세스
범위 작업과 인도물을 식별하고 정의하는데 요구되는 프로세스
자원 인력, 시설, 장비, 자재, 기반 시설, 도구와 같은 적절한 프로젝트 자원을 식별하고 확보
하는데 필요한 프로세스
시간 프로젝트 활동의 일정을 수립하고 일정 통제의 진척상황을 관찰하는데 요구되는 프로세스
원가 예산 개발과 원가통제의 진척상황을 관찰하는데 요구되는 프로세스를 포함
리스크 위험과 기회를 식별하고 관리하는 프로세스
품질 품질보증과 품질통제를 계획하고확립하는데 요구되는 프로세스
조달 계획에 요구된 프로세스를 포함하며 제품 및 서비스 또는 인도물을 인수하고 공급자와의
관계를 관리하는데 요구되는 프로세스
의사소통 프로젝트와 관련된 정보를 계획, 관리, 배포하는데 요구되는 프로세스
특히 분석 프로젝트의경우에는 각각의 관리영역에서 일반 프로젝트와 다르게 좀 더 유의해야 할 요소가 존재한다. 각 영역에서 분석 프로젝트가 가지게 되는 특성과 고려해야 할 주요 관리 항목은 [표 3-1-3] 와 같다.
분석가가 분석 프로젝트에서 프로젝트 관리자의 역할을 수행하는 경우가 대부분이기 때문에 프로젝트 관리 영역에 대한 주요한 사항들은 체크포인트 형태로 관리해서 발생할 수 있는 이슈와 리스크를 숙지하고미연에 방지할 필요가 있다.
[표 3-1-3] 분석 프로젝트 영역별 주요 관리 항목
관리 영역 분석 프로젝트의특성 및 주요 관리 항목
범위 - 분석 기획단계의 프로젝트 범위가 분석을 진행하면서 데이터의 형태와 양 또는 적용 (Scope) 되는 모델의 알고리즘에 따라 범위가 빈번하게 변경됨
- 분석의 최종 결과물이 분석 보고서 형태인지 시스템인지에 따라서 투입되는 자원 및 범위가 크게 변경되므로 사전에 충분한 고려가 필요함
시간(Time) - 데이터 분석 프로젝트는 초기에 의도했던 결과(모델)가 나오기 쉽지 않기 때문에
지속적으로 반복되어 많은 시간이 소요될 수 있음
- 분석 결과에 대한 품질이 보장된다는 전제로 Time Boxing 기법으로일정 관리를
진행하는 것이 필요함
원가(Cost) - 외부 데이터를 활요한 데이터 분석인 경우 고가의비용이 소요될 수 있으므로 사전에
충분한 조사가 필요함
- 오픈소스 도구(Tool) 외에 프로젝트 수행 시 의도했던 결과를 달성하기 위하여 상용
버전의도구(Tool)가 필요할 수 있음(예: 가시화를 위한 BI 솔루션, 지리정보 표기를
위한 GIS 솔루션 등)
품질(Quality) -분석 프로젝트를 수행한 결과에 대한 품질목표를 사전에 수립하여 확정해야 함
- 프로젝트 품질은 품질통제(Quality Control)와 품질보증(Quality Assurance)으로 나누어 수행되어야 함
통합 - 프로젝트관리 프로세스들이 통합적으로 운영될 수 있도록 관리함
(Integration)
조달 - 프로젝트 목적성에 맞는 외부 소싱을 적절하게 운영할 필요가 있음
(Procurement) -PoC(Proof of Concept)형태의 프로젝트는 인프라 구매가 아닌 클라우드 등의 다양한
방안을 검토할 필요가 있음
자원 - 고급 분석 및 빅데이터 아키텍쳐링을 수행할 수 있는 인력의 공급이 부족하므로
(Resource) 프로텍트 수행 전 전문가 확보 검토 필요
리스크 -분석에 필요한 데이터 미확보로 분석 프로젝트 진행이 어려울 수 있어 관련 위험을
(Risk) 식별하고 대응방안을 사전에 수립해야 함
- 데이터 및 분석 알고리즘의 한계로 품질목표를 달성하기 어려울 수 있어 대응 방안을 수립할 필요가 있음
의사소통 -전문성이 요구되느 데이터 분석의 결과를 모든 프로젝트 이해관계자(Stakeholders)가
(Communication) 공유할 수 있도록 해야 함
- 프로젝트의원할한 진행을 위한 다양한 의사소통체계 마련 필요
이해관계자 - 데이터 분석 프로젝트는 데이터 전문가, 비즈니스 전문가, 분석 전문가, 시스템 전문가
(Stakeholder) 등 다양한 전문가가 참여하므로 이해관계자의 식별과 관리가 필요함.
제3절 분석 과제 발굴
분석 과제는 풀어야 할 다양한 문제를 데이터 분석 문제로 변환한 후 이해관계자들이 이해하고 프로젝트로 수행할 수 있는 과제정의서 형태로 도출된다. 분석 과제를 도출하기 위한 방식은 크게 2가지로 나누어진다.
- 하향식 접근 방식(Top Down Approach)
문제가 주어지고 이에 대한 해법을 찾기 위하여 각 과정이 체계적으로 단계화되어 수행하는 방식
- 상향식 접근 방식(Bottom Up Approach)
문제의 정의 자체가 어려운 경우 데이터를 기반으로 문제의 재정의 및 해결 방안을 탐새갛고 이를 지속적으로 개선하는 방식
문제가 주어져 잇는 상태에서 답을 구하는 하향식 접근 방식이 전통적으로 수행되었던 분석 과제 발굴 방식이다. 그러나 대규모의 다양한 데이터를 생성하고 빠르게 변하는 기업환경에서는 문제 자체의 변화가 심해 정확하게 문제를 사전에 정의하는 것이 어려워지고 있다. 이에 따라 단순히 주어진 문제를 잘 푸는 것뿐만 아니라 데이터를 활용하여 생각하지 못했던 인사이트(Insight)를 도출하고 시행착오를 통해서 개선해가는 상향식 접근 방식의 유용성이 점차 증가하고 있는 추세이다.
__________________________________________________________________
그림에 나와 있는 디자인 사고(Deging Thinking)프로세스의 예처럼 새로운 상품을 개발하거나 전략 수립 등 중요한 의사결정을 할 때 가능한 오션을 도축하는 상향식 접근 방식(Bottom Up Approach)의 발산(Diverge)단계와 도출된 옵션을 분석하고 검증하는 하향식 접근 방식(Top Down Approach)의 수렵(Converge)단계를 반복적으로 수행하는 식으로 상호 본완하는 것이 동적인 환경에서 분석의 가치를 높일수 있는 최적의 의사결정 방식이 된다.
분석 과제 발굴을 두가지 접근 방식으로 나누었지만 실제 분석 과정에서는 혼용되어 활용되는 경우가 많다. 그런 경우 능동적으로 대처하기 위해서 각 접근 방식의 특징을 잘 이해하고 적절한 절차 및 관리 방안의 활용이 필요하다.
1. 하향식 접근법(Top Down Approach)
하향식 분석 접근법은 현황 분석을 통해서 또는 인식된 문제점 혹은 전략으로부터 기회나 문제를 탐색(Probleam Discovery)하고 해당 문제를 데이터 문제로 정의(Problem Definition)한 후 해결방안 탐색(Solution Search), 그리고 데이터 분석의 타당성 평가(Feasibility Study)를 거쳐 분석 과제를 도출하는 과정으로 이루어져 진다.
가. 문제 탑색(Problem Discovery) 단계
개별적으로 인지하고 있는 문제를 단순히 정리하는 것보다 전체적인 관점의 기준 모델을 활용하여 빠짐없이 문제를 도출하고 식별하는 것이 중요하다. 전체적인 관점의 기준 모델로는 기업 내.외부 환경을 포괄하는 비즈니스 모델과 외부 참조모델이 있다. 과제 발굴 단계에서는 현재 데이터를 소유하고 있는지, 이를 해결하기 위한 방안은 무엇인지 등에 대한 세부적인 구현 및 솔루션에 중점을 두는것이 아니라 문제를 해결함으로써 발생하는 가치에 중점을 두는것이 중요하다.
1) 비즈니스 모델 기반 문제 탐색
과제 발굴을 위한 기본 틀로써 기업 내.외부 환경을 포괄하는 비즈니스 모델이라는 틀(Frame)을 활용하여 가치가 창출될 문제를 노락없이 도출할 수 있다. 비즈니스 모델 관점에서는 해당기업의 사업 모델을 도식화한 비즈니스 모델 캔버스의 9가지 블록을 단순화하여 업무(Operation), 제품(Product), 고객(Customer) 단위로 문제를 발굴하고, 이를 관리하는 두 가지의 영역인 규제와 감사(Audit & Regulation)영역과 지원 인프라(IT & Human Resource) 영역에 대한 기회를 추가로 도축하는 작업을 수행한다.
1) 업무(Operation)
제품 및 서비스를 생산하기 위해서 운영하는 내부 프로세스 및 주용 자원(Resource)관련 주제 도출
예) 생산 공정 최적화, 재고량 최소화 등
2) 제품(Product)
생산 및 제공하는 페품.서비스를 개선하기 위한 관련 주제 도출
예) 제품의 주요 기능 개선, 서비스 모니터링 지표 도출 등
3) 고객(Customer)
제품.서비스를 제공받는 사용자 및 고객, 이를 제공하는 채널의 관점에서 관련 주제 도출
예) 고객 Call 대기 시간 최소화, 영업점 위치 최적화 등
4) 규제와 감사(Regulation & Audit)
제품.서비스를 제공받는 사용자 및 고객, 이를 제공하는 채널의 관점에서 관련 주제 도출
예) 제공 서비스 품질의 이상 징후 관리, 새로운환경 규제 시 예상되는 제품 추출 등
5) 지원 인프라(IT & Human Resource)
분석을 수행하는 시스템 영역 및 이를 운영.관리하는 인력의 관점에서 주제 도출
예) EDW 최적화, 적정 운영 인력 도출 등
현재의 사업 방식 및 비즈니스에 대한 문제 해결은 최적화 및 단기 과제 형식으로 도출될 가능성이 높기 때문에 새로운 문제의 발굴 및 장기적인 접근을 위해서는 기업이 현재 수행하고 있는 비즈니스뿐만 아니라 환경과 경쟁 구조의 변화 및 역량의 재해석을 통한 "혁신(Innovation)"의 관점에서 분석 기회를 추가 도출하는 것이 요구된다. 즉, 현재 사업을 영위하고 있는 환경, 경쟁자, 보유하고 있는 역량, 제공하고 있는 시장 등을 넘어서 거시적 관점의 요인, 경쟁자의 동향, 시장의 니즈 변화, 역량의 재해석 등 새로운 관점의 접근을 통해 새로운 유형의 분석 기회 및 주제 발굴을 수행해야 한다. 이러한 작업을 수행할 때는 분석가뿐만 아니라 해당 기능을 수행하는 직원 및 관련자에 대한 폭넓은 인터뷰와 워크숍 형태의 아이디어 발굴(Ideation)작업이 필요하다.
1) 거시적 관점의 메가 트렌드에서는 현재의 조직 및 해당 산업에 폭넓게 영향을 미치는 사회.경제적 용인을 STEEP로 요약되는 Social(사회), Technological(기술), Economic(경제), Environmental(환경), Political(정치) 영역으로나누어서 좀 더 폭넓게 기회 탐색을 수행한다.
- 사회(Social) 영역
비즈니스 모델의 고객(Customer)영역에 존재하는 현재 고객을 확장하여 전체 시장을 대상으로 사회적 문화적, 구조적 트렌드 변화에 기반한 분석 기회 도출
예) 노령화, 밀레니얼 세대의 등장, 저출산에 따른 해당 사업 모델의 변화 등
- 기술(Technological) 영역
과학, 기술, 의학 등 최신기술의 등장 및 변화에 따른 역량 내재화와 제품.서비스 개발에 대한 분석 기회 도출
예) 나노 기술, IT 융합 기술, 로봇 기술의 고도화에 따른 기존 제품의 Smart화 등
- 경제(Economic) 영역
산업과 금융 전반의 변동성 및 경제 구조 변화 동향에 따른 시장의 흐름을 파악하고 이에 대한 분석 기회 도출
예) 원자재 가격, 환율, 금리 변동에 따른 구매 전략의 변화 등
- 환경(Environmental) 영역
환경과 관련된 정부, 사회단체, 시민사회의 관심과 규체 동향을 파악하고 이에 대한 분석 기회 도출
예) 탄소 배출 규제 및 거래 시장 등장에 따른 원가 절감 및 정보 가시화 등
- 정치(Political) 영역
주요 정책방향, 정세, 지정학적 동향 등의 거시적인 흐름을 토대로 한 분석 기회 도출
예) 대북 관계 동향에 따른 원자재 구매 거래선의 다변화 등
2)경쟁자 확대 관점에서는 현재 수행하고 있는 사업 영역의 직접 경쟁사 및 제품.서비스뿐만 아니라 대체재와 신규 진입자 등으로 관점을 확대하여 위협이 될 수 있는 상황에 대한 분석 기회 발굴의 폭을 넓혀서 탐색한다.
- 대체제(Substitute) 영역
융합적인 경쟁 환경에서 현재 생산을 수행하고있는 제품.서비스의 대체재를 파악하고 이를 고려한 분석 기회 도출
예) 현재 오프라인으로 제공하고 있는 자사의 상품.서비스를 온라인으로 제공하는 것에 대한 탐색 및 잠재적 위협 파악
- 경쟁자(Competitor) 영역
현재 생산하고 있는 제품.서비스의 주요 경쟁자에 대한 동향을 파악하여 이를 고려한 분석 기회 도출
예) 식별된 주요 경쟁사의 제품.서비스 카탈로그 및 전략을 분석하고 이에 대한 잠재적 위협 파악
- 신규 진입자(New Entrant) 영역
현재 직접적인 제품.서비스의 경쟁자는 아니지만, 향후 시장에 대해서 파괴적인 역할을 수행할 수 있는 신규 진입자에 대한 동향을 파악하여 이를 고려한 분석 기회 도출
예) 새로운 제품에 대한 크라우드 소싱(Crowd Sourcing) 서비스인 Kickstarter의 유사 제품을 분석하고 자사의 제품에 대한 잠재적 위협 파악
3) 시장의 니즈 탐색 관점에서는 현재 수행하고 있는 사업에서의 직접 고객 뿐만 아니라 고객과 접촉하는 역할을 수행하는 채널(Channel) 및 고객의 구매와 의사결정에 영향을 미치는 영향자들(Influencer)에 대한 폭넓은 관점을 바탕으로 분석 기회를 탐색한다.
- 고객(Customer) 영역
고객의 구매 동향 및 고객의 컨텍스트를 더욱 깊게 이해하여 제품.서비스의 개선 필요에 필요한 분석 기회 도출.
예) 철강 기업의 경우 조선 산업과 자동차 산업의 동향 및 주요 거래선의 경영 현황 등을 파악하고 분석 기회 도출 등
- 채널(Channel) 영역
영업 사원, 직판 대리점, 홈페이지 등의 자체적으로 운영하는 채널뿐만 아니라 최종 고객에게 상품.서비스를 전달하는 것에 경로로 존재하는 가능한 경로를 파악하여 해당 경로에 존재하는 채널별로 분석 기회를 확대하여 탐색
예) 은행의 경우 인터넷전문은행 등 온라인 채널의 등장에 따른 변화에 대한 전략 분석 기회 도출 등
- 영향자들(Influencer) 영역
기업 의사결정에 영향을 미치는 주주.투자자.협회 및 기타 이해관계가즤 주요 관심사항에 대해서 파악하고 분석기회 탐색
예)M&A 시장 확대에 따른 유사 업종의 신규 기업 인수 기회 탐색 등
4) 역량의 재해석 관점에서는 현재 해당 조직 및 기업이 보유한 역량뿐만 아니라 해당 조직의 비즈니스에 영향을 끼치는 파트너 너트워크를 포함한 활용 가능한 역량을 토대로 폴넓은 분석 기회를 탐색한다.
- 내부 역량(Competency) 영역
지적 재산권, 기술력 등 기본적인 것 뿐만 아니라 중요하면서도 자칫 간과하기 쉬운 지식, 기술, 스킬등의 노하우와 인프라적인 유형 자산에 대해서 폭넓게 재해석하고 해당 영역에서 분석 기회를 탐색한다.
예) 자사 소유 부동산을 활용한 부가 가치 창출 기회 발굴 등
- 파트너와 네트워크(Partners & Network) 영역
자사가 직접 보유하고 있지는 않지만 밀접한 관계를 유지하고 이쓴 관계사와공급사 등의 역량을 활용해 수행할 수 있는 기능을 파악해보고 이에 대한 분석 기회를 추가적으로도출
예) 수출입.통관 노하우를 활용한 추가 사업기회 탐색 등
2) 외부 참조 모델 기반 문제 탐색
잘 알려진 분제를 푸는 것뿐만 아니라 새로운 문제를 발굴하기 위해서는(문제와 과제를 도출해 내는 기준 모델로서) 유사.동종의 환경에서 기존에 수행한 분석 과제를 살펴보는 것도 주요한 시사점을 도출해 준다.
유사.동종 사례 벤치마킹을 통한 분석기회 발굴은 제공되는 산업별, 업무 서비스별 분석테마 후보 그룹(Pool)을 통해 "Quick & Easy"방식으로 필요한 분석 기회가 무엇인지에 대한 아이디어를 얻고 기업에 적용할 분석테마 후보 목록을 위크숍 형태의 브레인스토밍(Brain Storming)을 통해 빠르게 도출하는 방법이다.
특히 현재 환경에서는 데이터를 활용하지 않은 업종 및 서비스가 사실상 존재하지 않기 때문에 데이터를 분석을 통한 인사이트(Insight)를 도출하고 업무에 활용하는 사례들을 발굴하여 자사의 업종 및 업무 서비스 에 적용할 수 있다. 따라서 산업 및 업종을 불문하고 데이터 분석 사례를 기반으로 분석테마 후보 그룹을 미리 정의하고 그 후보 그룹을 통해 해당 기업에 벤치마킹할 대상인 분석기회를 고려한다면 빠르고 쉽게 분석기회를 도출할 수 있다.
평상시 지속적인 조사와 데이터 분석을 통한 가치 발굴 사례를 정리하여 풀(Pool)로 만들어 둔다면 과제 발굴 및 탐색 시 빠르고 의미 있는 분석 기회 도출이 가능하다. 또한 유사.동종 업계뿐만 아니라 타 업종 및 분양의 데이터 부석 활용 사례 또한 정리해 놓을 경우 새로운 주제 탐색에 도움이 된다.
3) 분석 유즈 게이스(Analytics Use Case) 정의
현재의 비즈니스 모델 및 유사.동종사례 탐색을 통해서 빠짐없이 도출한 분석 기회들을 구체적인 과제로 만들기에 앞서 분석 유즈 게이스로 표기하는 것이 필요하다. 분석 유즈케이스는 풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 해결했을 때 발생하는 효과를 명시함으로써 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용하도록 한다.
분석 유즈 케이스 예시
업무 분석 유즈 게이스 설명 효과
재무 자금 시재 예측 일별로 예정된 자금 지출과 입금을 추정 자금 과부족 현상 예방,
자금 운용 효율화
구매 최적화 구매 유형과 구매자별로 과거 실적과 구매 구매 비용 절감
조건을 비교.분석하여 구매 방안 도출
고객 서비스 수준 유지 서비스별로 달성 수준을 측정하고 평가한 품질수준 제고,
뒤 목표 수준을 벗아났으면 경보 발행 고객만족 제고
고개간족 달성 고객 세그먼트별로 만족 수준을 측정하고 고객만족 제고,
이상이 있으면 원인을 분석하여 대책 강구 고객유지 향상
파이프라인 최적화 파이프라인 단계별로 고객 상태를 파악하고 목표 매추 달성,
수조 규모를 예상하여 필요한 고객 기회를 고객반응률 향상
추정하여 영업 촉진
판매 영업성과 분석 영업 직원별 사용 원가(급여 포함)와 실적을 영업 수율 향상,
분석하고 부진한 영업 직원 세그먼트를 식별 영업 직원 생산성 제고
하여 영업 정책에 반영
나. 문제 정의(Problem Definition)단계
식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계이다. 앞서 수행한 문제 탐색의 단계가 무엇을(What) 어떤 목적으로(Why)수행해야 하는지에 대한 과점이었다면, 본 단계에서는 이를 달성하기 위해서 필요한 데이터 및 기법(How)을 정의하기 위한 데이터 분석의 문제로의 변환을 수행하게 된다. 예를 들어, '고객 이탈의 증대'라는 비즈니스 문제는 '고객의 이탈에 영향을 미치는 요인을 식별하고 이탈 가능성을 예측'하는 데이터 분석 문제로 변환될 수 있다.
데이터 분석 문제의 정의 및 요구사항은 분석을 수행하는 당사자뿐만 아니라 해당 문제가 혜결되었을 때 효요을 얻을 수 있는 최종사용자(End User)과전ㅁ에서 이루어져야 한다. 데이터 분석 문제가 잘 정의되었을때 필요한 데이터의 정의 및 기법 발굴이 용이하기 때문에 가능한 정확하게 분석의 관점으로 문제를 재정의할 필요가 있다.
다. 해결방안 탐색(Solution Search)단계
이 단계에서는 정의된 데이터 분석 문제를 해결하기 위한 다양한 방안이 모색된다. 동일한 데이터 분석문제라 해도 어떤 데이터 또는 분석 시스템을 사용할 것인지에 따라서 소용되는 예산 및 활용 가능한 도구(Tool)가 다르기 때문에 다각도로 고려할 필요가 있다. 즉, 기존 정보시스템의 단순한 보완으로 분석이 가능한지, 엑셀 등의 간단한 도구로 분석이 가능한지, 또는 하둡 등 분산 병렬처리를 활용한 빅데이터 분석 도구를 통해 보다 체계적이고 심도 있는 방안이 고려되는지 등등 여러 대안이 도출될 수 있다. 또한 분석 역량을 기존에 가지고 있는 지의 여부를 파악하여 보유하고 있지 않은 경우에는 교육이나 전문 인력 채용을 통한 역량을 확보하거나 분석 전문 업체를 활용하여 과제를 해결하는 방안에 대해 사전 검토를 수행한다.
라. 타당성 검토(Feasibility Study)단계
도출된 분석 문제나 가설에 대한 대안을 과제화하기 위해서는 다음과 같은 다각적인 타당성 분석이 수행되어야 한다.
1) 경제적 타당성
비용 대비 편익 분석 관점의 접근이 필요하다. 비용 항목은 데이터, 시스템, 인력, 유지보수 등과 같은 분석 비용으로 구성된다. 편익으로는 분석 결과를 적용함으로서 실질적 비용 절감, 추가적 매출과 수익 등과 같은 경제적 가치로 산출된다.
2) 데이터 및 기술적 타당성
데이터 분석에는 데이터 존재 여부, 분석 시스템 환경, 그리고 분석 역량이 필요하다. 특히, 분석 역량의 경우 그림 처럼 실제 프로젝트 수행 시 걸림돌이 되는 경우가 많기 때문에 기술적 타당성 분석시 역량 확보 방안을 사전에 수립해야 한다. 이를 효과적으로 평가하기 위해서는 비즈니스 지식과 기술적지식이 요구되기 때문에 비즈니스 분석가, 데이터 분석가, 시스템 엔지니어 등과의 협업이 수반되어야 한다.
______________________________________________________________________________________________________
도출된 여러 대안 중에서 평가 과정을 거쳐 가장 우월한 대안을 선택한다. 도출한 데이터 분석 문제 및 선정된 솔루션 방안을 포함하여 이를 분석 과제 정의서의 형태로 명시하는 후속작업을 시행하며 이는 프로젝트 계획의 입력물로 활용횐다.
2. 상향식 접근법(Bottom Up Approach)
한 의약제조사는 특허기간이 만료된 의약품 약 2천 종류의 데이터를 분석, 상호 결합하여 새로운 의약품을 개발하려고 시도하였다. 의약품 집합으로부터 두 개의 조합을 선택할 수 있는 방법은 백만 개 이상이기 때문에 이 회사는 새로운 결합의 효과성을 검정하기 위하여 다양한 기법을 적용하여 데이터를 분석하였다. 이런한 분석 사례는 절차가 규정된 하향식 문제해결 방식이 아니라 경험적인 과거 데이터를 무작정 결합하여 상향식으로 정보 혹은 지식을 얻고자 하는 새로운 분석 패러다임이라 할 수 있다.
여기에서는 전통적인 하향식 문제 해결 방식과 대비하여 기업에서 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 상향식 접근방법을 기술한다. 사향식 접근방법은 그림처럼 다양한 원천 데이터를 대상으로 분석을 수행하여 가치 잇는 문제를 도출하는 일련의 과정이다.
- 기존 하향식 접근법의 한계를 극복하기위한 분석 방법론
지금까지 가장 일반적으로 사용되고 있는 문제 해결 방식은 앞서 설명한 것과 같은 하향식의 놀리적인 단계별 접근법이다. 기존 접근 방법인 논리적인 단계별 접근법은 문제의 구조가 분영하고 문제를 해결하고 해결책을 도출하기위한 데이터가 분석가 및 의사결정자에게 주어져 있음을 가정하고 있기 때문에 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계가 있다. 따라서 기존의 논리적인 단계별 접근법에 기반한 문제해결 방식은 최근 복잡하고 다양한 환경에서 발생하는 문제에는 적합하지 않을 수 있다.
이를 해결하기 위새서 스탠포드 대학의 d.shool(Institute of Design at Stanford)은 디자인 사고(Design Thinking)접근법을 통해서 전동적인 분석적 사고를 극복하려고 한다. "이미 우리가 알고 있는 것" 즉 분석가의 문제에 대한 분석 접근법의 한계를 극복하기 위해서 현장 관찰과 감정이입, 즉 대상의 관점으로의 전환을 수행한다. 통상적인 관점에서는 분석적으로 사물을 인식하려는 'Why'를 갖오하지만, 이는 우리가 알고 있다고가정하는 것이기 때문에 문제와 맞지 않는 솔류션인 경우 오류가 발생할 소지가 있다. 그렇기 때문에, 답을 미리 내는 것이 아니라 사물을 있는 그대로 인식하는 'What' 관점에서 보아야 한다는 것이다. 객과적으로 존재하는 데이터 그 자체를 관찰하고 실제적으로 행동에 옮김으로써 대상을 좀 잘 이해하는 장식으로의 접근을 수행하는 것이다. 이와 같은 점을 고려하여 d.school 에서는 첫 단계로 감정이임(Empathize)을 강조하고 있다.
_______________________________________________________________________________________________
일반적으로 상향식 접근 방식의 데이터 분석은 비지도학습(Unsupervised Learning)방법에 의해 수행된다. 비지도학습은 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것이다. 데이터 마이닝 기법을 예로들면, 장바구니 분석, 근집 분석, 기술 통계 및 프로파일링 등이 이에 속한다.
이와 반대로 명확한 목적하에 데이터분석을 실시하는 것은 지도학습(Supervised Learning)이라고하며 분류, 추측, 예측, 최적화를 통해 사용자의 주도 하에 분석을 실시하고 지식을 도축하는 것이 목적이다. 예를 들어서 그림에서 O와 X를 구분 짓게 하는 분류(Classification)는 지도학습에 해당되고, 인자들 간의 유사성을 바탕으로 수행하는 군집화(Clustering)는 비지도학습에 해당한다. 지도학습의 경우 결과로 도출되는 값에 대새서 사전에 인지하고 어떠한 데이터를 넣었을 때 어떠한 결과가 나올지를 예츨하는것이라면 비지도학습의 경우 목표값을 사전에 정의하지 않고 데이터 자체만을 가지고 그룹들을 도출함으로써 해석이 용이하지는 않지만 새로운 유형의 인사이트를 도출하기에 유용한 방식으로 활용할 수 있다.
__________________________________________________________________________________________________
통계적 분석에서는 인과관계 분석을 위해 가설 을 설정하고 이를 검정하기 위해 모집단으로부터 표본을 추출하고 그 표본을 이용한 가설검정을 실시하는 방식으로 문제를 해결하였다. 그러나 빅데이터 환경에서는 이와 같은 노리적인 인과관계 분석뿐만 아니라 상관과계 분석 또는 연관 분석을 통하여 다양한 문제 해결에 도움을 받을 수 있다. 즉, 인과관계(Know-why)로 부터 상관관계(Know-affinity)분석으로의 이동이 빅데이터 분석에서의 주요 변화라고 할 수 있다. 다양의 데이터 분석을 통해서 "왜" 그러한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의 할 수 있는 것이 상향식 접근 방법이다.
- 시행착오를 통한 문제 해결
프로토타이핑(Prototyping)접근법은 사용자가 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 일단 분석을 시도해 보고 그 결과를 확인해 가면서 반복적으로 개선해 나가는 방법을 말한다. 하향식 접근방식은 문제가 정형화되어 있고 문제해결을 위한 데이터가 완벽하게 조직에 존재할 경우에 효과적이다. 이에 반하여, 프로토타이핑 방법론은 비록 완전하지는 못하다 해도 신속하게 해결책이나 모형을 제시함으로써 이를 바탕으로 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화할 수 있게 하는 유용한 상향식 접근 방식이다.
프로토타이핑 접근법의 기본적인 프로세스는 가설의 생성(Hypotheses), 디자인에 대한 실험(Design Experiments), 실제 환경에서의 테스트(Test), 테스트 결과에서의 통찰(Insight) 도출 및 가설 확인으로 구성된다. 학습이라는 목표를 가지고 잘 설계된 프로토타이핑을 지속하는 경우에, 실험이 가지고 있는 불명확성(Uncertainty)은 감소하고 의도했던 결과를 도출할 수 있는 성공 가능성은 높아진다. 한 번의 분석을 통해서 의도했던 겨로가가 나오기 쉽지 않은 동적인 환경에서 최대한 빨리 결과를 보여주고 해당 내용을 토대로 지속적인 반복을 수행하는 프로토타이핑 방식이 빅데이터 분석 환경에서는 보다 유용하다고 알려져 있다.
빅데이터 분석 환경에서 프로토타이핑의 필요성을 상세히 정리하면 다음과 같다.
- 문제에 대한 인식 수준: 문제 정의가 불명확하거나 이전에 접해보지 못한 새로운 문제일 경우 사용자 및 이해 관계자는 프로토타입을 이용하여 문제를 이해하고 이를 바탕으로 구체화하는데 도움을 받을 수 있다.
- 필요 데이터 준재 여부의 불확실성: 문제 해결을 위해 필요한 데이터의 집합이 모두 존재하지 않을 경우, 그 데이터의 수집을 어떻게 할 것인지 또는 그 데이터를 다른 데이터로 대체할 것인지 등에 대한 데이터 사용자와 분석가 간의 반복적이고 순환적인 협의 과정이 필요하다. 대체 불가능한 데이터가 존재하는지 사전에 확인한다면 불가능한 프로젝트를 수행하는 리스크를 사전에 방지할 수 있다.
- 데이터의 사용목적의 가변성: 데이터의 가치는 사전에 정해진 수집목적에 따라 확정되는 것이 아니고 그 가치가 지속적으로 변화할 수 있다. 따라서 조직에서 보유중인 데이터라 하더라도 기존의 데이터정의를 재검토하여 데이터의 사용목적과 범위를 확대할 수 있을 것이다. 예를 들면, 이동통신사에서 수집하는 사용자의 위치추적은 사용자의 호울을 효율적으로 처리하기 위한 원래의 목적으로부터, 사용자들의 즉정 시간에 많이 모이는 장소가 어디 인가를 분석하는 정보로 활용이 가능하다.
3. 분석과제 정의
다양한 방식을 통해서 도출한 분석과제를 분석과제 정의서 양식을 활용하여 보다 상세하게 정의한다.
분석과제 정의서는 향후 프로젝트 수행계획의입력물로 사용되기 때문에 프로젝트 수행하는 이해관계자가 프로젝트의 방향을 설정하고 성공여부를 판별할 수 있는 주요한 자료로서 명확하게 작성되어야 한다.
분석과제 정의서를 통해 분석별로 필요한 소스 데이터, 분석방법, 데이터 입수 및 분석의 난이도, 분석수행주기, 분석결과에 대한 검증 오너십, 상세 분석 과정 등을 정의한다. 분석 데이터 소스는 내.외부의 비구조적인 데이터와 소셜 미디어및 오픈 데이터까지 범위를 확장하여 고려하고 분석 방법 또한 상세하게 작성한다.
- 하향식 접근 방식(Top Down Approach)
문제가 주어지고 이에 대한 해법을 찾기 위하여 각 과정이 체계적으로 단계화되어 수행하는 방식
- 상향식 접근 방식(Bottom Up Approach)
문제의 정의 자체가 어려운 경우 데이터를 기반으로 문제의 재정의 및 해결 방안을 탐새갛고 이를 지속적으로 개선하는 방식
문제가 주어져 잇는 상태에서 답을 구하는 하향식 접근 방식이 전통적으로 수행되었던 분석 과제 발굴 방식이다. 그러나 대규모의 다양한 데이터를 생성하고 빠르게 변하는 기업환경에서는 문제 자체의 변화가 심해 정확하게 문제를 사전에 정의하는 것이 어려워지고 있다. 이에 따라 단순히 주어진 문제를 잘 푸는 것뿐만 아니라 데이터를 활용하여 생각하지 못했던 인사이트(Insight)를 도출하고 시행착오를 통해서 개선해가는 상향식 접근 방식의 유용성이 점차 증가하고 있는 추세이다.
__________________________________________________________________
그림에 나와 있는 디자인 사고(Deging Thinking)프로세스의 예처럼 새로운 상품을 개발하거나 전략 수립 등 중요한 의사결정을 할 때 가능한 오션을 도축하는 상향식 접근 방식(Bottom Up Approach)의 발산(Diverge)단계와 도출된 옵션을 분석하고 검증하는 하향식 접근 방식(Top Down Approach)의 수렵(Converge)단계를 반복적으로 수행하는 식으로 상호 본완하는 것이 동적인 환경에서 분석의 가치를 높일수 있는 최적의 의사결정 방식이 된다.
분석 과제 발굴을 두가지 접근 방식으로 나누었지만 실제 분석 과정에서는 혼용되어 활용되는 경우가 많다. 그런 경우 능동적으로 대처하기 위해서 각 접근 방식의 특징을 잘 이해하고 적절한 절차 및 관리 방안의 활용이 필요하다.
1. 하향식 접근법(Top Down Approach)
하향식 분석 접근법은 현황 분석을 통해서 또는 인식된 문제점 혹은 전략으로부터 기회나 문제를 탐색(Probleam Discovery)하고 해당 문제를 데이터 문제로 정의(Problem Definition)한 후 해결방안 탐색(Solution Search), 그리고 데이터 분석의 타당성 평가(Feasibility Study)를 거쳐 분석 과제를 도출하는 과정으로 이루어져 진다.
가. 문제 탑색(Problem Discovery) 단계
개별적으로 인지하고 있는 문제를 단순히 정리하는 것보다 전체적인 관점의 기준 모델을 활용하여 빠짐없이 문제를 도출하고 식별하는 것이 중요하다. 전체적인 관점의 기준 모델로는 기업 내.외부 환경을 포괄하는 비즈니스 모델과 외부 참조모델이 있다. 과제 발굴 단계에서는 현재 데이터를 소유하고 있는지, 이를 해결하기 위한 방안은 무엇인지 등에 대한 세부적인 구현 및 솔루션에 중점을 두는것이 아니라 문제를 해결함으로써 발생하는 가치에 중점을 두는것이 중요하다.
1) 비즈니스 모델 기반 문제 탐색
과제 발굴을 위한 기본 틀로써 기업 내.외부 환경을 포괄하는 비즈니스 모델이라는 틀(Frame)을 활용하여 가치가 창출될 문제를 노락없이 도출할 수 있다. 비즈니스 모델 관점에서는 해당기업의 사업 모델을 도식화한 비즈니스 모델 캔버스의 9가지 블록을 단순화하여 업무(Operation), 제품(Product), 고객(Customer) 단위로 문제를 발굴하고, 이를 관리하는 두 가지의 영역인 규제와 감사(Audit & Regulation)영역과 지원 인프라(IT & Human Resource) 영역에 대한 기회를 추가로 도축하는 작업을 수행한다.
1) 업무(Operation)
제품 및 서비스를 생산하기 위해서 운영하는 내부 프로세스 및 주용 자원(Resource)관련 주제 도출
예) 생산 공정 최적화, 재고량 최소화 등
2) 제품(Product)
생산 및 제공하는 페품.서비스를 개선하기 위한 관련 주제 도출
예) 제품의 주요 기능 개선, 서비스 모니터링 지표 도출 등
3) 고객(Customer)
제품.서비스를 제공받는 사용자 및 고객, 이를 제공하는 채널의 관점에서 관련 주제 도출
예) 고객 Call 대기 시간 최소화, 영업점 위치 최적화 등
4) 규제와 감사(Regulation & Audit)
제품.서비스를 제공받는 사용자 및 고객, 이를 제공하는 채널의 관점에서 관련 주제 도출
예) 제공 서비스 품질의 이상 징후 관리, 새로운환경 규제 시 예상되는 제품 추출 등
5) 지원 인프라(IT & Human Resource)
분석을 수행하는 시스템 영역 및 이를 운영.관리하는 인력의 관점에서 주제 도출
예) EDW 최적화, 적정 운영 인력 도출 등
현재의 사업 방식 및 비즈니스에 대한 문제 해결은 최적화 및 단기 과제 형식으로 도출될 가능성이 높기 때문에 새로운 문제의 발굴 및 장기적인 접근을 위해서는 기업이 현재 수행하고 있는 비즈니스뿐만 아니라 환경과 경쟁 구조의 변화 및 역량의 재해석을 통한 "혁신(Innovation)"의 관점에서 분석 기회를 추가 도출하는 것이 요구된다. 즉, 현재 사업을 영위하고 있는 환경, 경쟁자, 보유하고 있는 역량, 제공하고 있는 시장 등을 넘어서 거시적 관점의 요인, 경쟁자의 동향, 시장의 니즈 변화, 역량의 재해석 등 새로운 관점의 접근을 통해 새로운 유형의 분석 기회 및 주제 발굴을 수행해야 한다. 이러한 작업을 수행할 때는 분석가뿐만 아니라 해당 기능을 수행하는 직원 및 관련자에 대한 폭넓은 인터뷰와 워크숍 형태의 아이디어 발굴(Ideation)작업이 필요하다.
1) 거시적 관점의 메가 트렌드에서는 현재의 조직 및 해당 산업에 폭넓게 영향을 미치는 사회.경제적 용인을 STEEP로 요약되는 Social(사회), Technological(기술), Economic(경제), Environmental(환경), Political(정치) 영역으로나누어서 좀 더 폭넓게 기회 탐색을 수행한다.
- 사회(Social) 영역
비즈니스 모델의 고객(Customer)영역에 존재하는 현재 고객을 확장하여 전체 시장을 대상으로 사회적 문화적, 구조적 트렌드 변화에 기반한 분석 기회 도출
예) 노령화, 밀레니얼 세대의 등장, 저출산에 따른 해당 사업 모델의 변화 등
- 기술(Technological) 영역
과학, 기술, 의학 등 최신기술의 등장 및 변화에 따른 역량 내재화와 제품.서비스 개발에 대한 분석 기회 도출
예) 나노 기술, IT 융합 기술, 로봇 기술의 고도화에 따른 기존 제품의 Smart화 등
- 경제(Economic) 영역
산업과 금융 전반의 변동성 및 경제 구조 변화 동향에 따른 시장의 흐름을 파악하고 이에 대한 분석 기회 도출
예) 원자재 가격, 환율, 금리 변동에 따른 구매 전략의 변화 등
- 환경(Environmental) 영역
환경과 관련된 정부, 사회단체, 시민사회의 관심과 규체 동향을 파악하고 이에 대한 분석 기회 도출
예) 탄소 배출 규제 및 거래 시장 등장에 따른 원가 절감 및 정보 가시화 등
- 정치(Political) 영역
주요 정책방향, 정세, 지정학적 동향 등의 거시적인 흐름을 토대로 한 분석 기회 도출
예) 대북 관계 동향에 따른 원자재 구매 거래선의 다변화 등
2)경쟁자 확대 관점에서는 현재 수행하고 있는 사업 영역의 직접 경쟁사 및 제품.서비스뿐만 아니라 대체재와 신규 진입자 등으로 관점을 확대하여 위협이 될 수 있는 상황에 대한 분석 기회 발굴의 폭을 넓혀서 탐색한다.
- 대체제(Substitute) 영역
융합적인 경쟁 환경에서 현재 생산을 수행하고있는 제품.서비스의 대체재를 파악하고 이를 고려한 분석 기회 도출
예) 현재 오프라인으로 제공하고 있는 자사의 상품.서비스를 온라인으로 제공하는 것에 대한 탐색 및 잠재적 위협 파악
- 경쟁자(Competitor) 영역
현재 생산하고 있는 제품.서비스의 주요 경쟁자에 대한 동향을 파악하여 이를 고려한 분석 기회 도출
예) 식별된 주요 경쟁사의 제품.서비스 카탈로그 및 전략을 분석하고 이에 대한 잠재적 위협 파악
- 신규 진입자(New Entrant) 영역
현재 직접적인 제품.서비스의 경쟁자는 아니지만, 향후 시장에 대해서 파괴적인 역할을 수행할 수 있는 신규 진입자에 대한 동향을 파악하여 이를 고려한 분석 기회 도출
예) 새로운 제품에 대한 크라우드 소싱(Crowd Sourcing) 서비스인 Kickstarter의 유사 제품을 분석하고 자사의 제품에 대한 잠재적 위협 파악
3) 시장의 니즈 탐색 관점에서는 현재 수행하고 있는 사업에서의 직접 고객 뿐만 아니라 고객과 접촉하는 역할을 수행하는 채널(Channel) 및 고객의 구매와 의사결정에 영향을 미치는 영향자들(Influencer)에 대한 폭넓은 관점을 바탕으로 분석 기회를 탐색한다.
- 고객(Customer) 영역
고객의 구매 동향 및 고객의 컨텍스트를 더욱 깊게 이해하여 제품.서비스의 개선 필요에 필요한 분석 기회 도출.
예) 철강 기업의 경우 조선 산업과 자동차 산업의 동향 및 주요 거래선의 경영 현황 등을 파악하고 분석 기회 도출 등
- 채널(Channel) 영역
영업 사원, 직판 대리점, 홈페이지 등의 자체적으로 운영하는 채널뿐만 아니라 최종 고객에게 상품.서비스를 전달하는 것에 경로로 존재하는 가능한 경로를 파악하여 해당 경로에 존재하는 채널별로 분석 기회를 확대하여 탐색
예) 은행의 경우 인터넷전문은행 등 온라인 채널의 등장에 따른 변화에 대한 전략 분석 기회 도출 등
- 영향자들(Influencer) 영역
기업 의사결정에 영향을 미치는 주주.투자자.협회 및 기타 이해관계가즤 주요 관심사항에 대해서 파악하고 분석기회 탐색
예)M&A 시장 확대에 따른 유사 업종의 신규 기업 인수 기회 탐색 등
4) 역량의 재해석 관점에서는 현재 해당 조직 및 기업이 보유한 역량뿐만 아니라 해당 조직의 비즈니스에 영향을 끼치는 파트너 너트워크를 포함한 활용 가능한 역량을 토대로 폴넓은 분석 기회를 탐색한다.
- 내부 역량(Competency) 영역
지적 재산권, 기술력 등 기본적인 것 뿐만 아니라 중요하면서도 자칫 간과하기 쉬운 지식, 기술, 스킬등의 노하우와 인프라적인 유형 자산에 대해서 폭넓게 재해석하고 해당 영역에서 분석 기회를 탐색한다.
예) 자사 소유 부동산을 활용한 부가 가치 창출 기회 발굴 등
- 파트너와 네트워크(Partners & Network) 영역
자사가 직접 보유하고 있지는 않지만 밀접한 관계를 유지하고 이쓴 관계사와공급사 등의 역량을 활용해 수행할 수 있는 기능을 파악해보고 이에 대한 분석 기회를 추가적으로도출
예) 수출입.통관 노하우를 활용한 추가 사업기회 탐색 등
2) 외부 참조 모델 기반 문제 탐색
잘 알려진 분제를 푸는 것뿐만 아니라 새로운 문제를 발굴하기 위해서는(문제와 과제를 도출해 내는 기준 모델로서) 유사.동종의 환경에서 기존에 수행한 분석 과제를 살펴보는 것도 주요한 시사점을 도출해 준다.
유사.동종 사례 벤치마킹을 통한 분석기회 발굴은 제공되는 산업별, 업무 서비스별 분석테마 후보 그룹(Pool)을 통해 "Quick & Easy"방식으로 필요한 분석 기회가 무엇인지에 대한 아이디어를 얻고 기업에 적용할 분석테마 후보 목록을 위크숍 형태의 브레인스토밍(Brain Storming)을 통해 빠르게 도출하는 방법이다.
특히 현재 환경에서는 데이터를 활용하지 않은 업종 및 서비스가 사실상 존재하지 않기 때문에 데이터를 분석을 통한 인사이트(Insight)를 도출하고 업무에 활용하는 사례들을 발굴하여 자사의 업종 및 업무 서비스 에 적용할 수 있다. 따라서 산업 및 업종을 불문하고 데이터 분석 사례를 기반으로 분석테마 후보 그룹을 미리 정의하고 그 후보 그룹을 통해 해당 기업에 벤치마킹할 대상인 분석기회를 고려한다면 빠르고 쉽게 분석기회를 도출할 수 있다.
평상시 지속적인 조사와 데이터 분석을 통한 가치 발굴 사례를 정리하여 풀(Pool)로 만들어 둔다면 과제 발굴 및 탐색 시 빠르고 의미 있는 분석 기회 도출이 가능하다. 또한 유사.동종 업계뿐만 아니라 타 업종 및 분양의 데이터 부석 활용 사례 또한 정리해 놓을 경우 새로운 주제 탐색에 도움이 된다.
3) 분석 유즈 게이스(Analytics Use Case) 정의
현재의 비즈니스 모델 및 유사.동종사례 탐색을 통해서 빠짐없이 도출한 분석 기회들을 구체적인 과제로 만들기에 앞서 분석 유즈 게이스로 표기하는 것이 필요하다. 분석 유즈케이스는 풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 해결했을 때 발생하는 효과를 명시함으로써 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용하도록 한다.
분석 유즈 케이스 예시
업무 분석 유즈 게이스 설명 효과
재무 자금 시재 예측 일별로 예정된 자금 지출과 입금을 추정 자금 과부족 현상 예방,
자금 운용 효율화
구매 최적화 구매 유형과 구매자별로 과거 실적과 구매 구매 비용 절감
조건을 비교.분석하여 구매 방안 도출
고객 서비스 수준 유지 서비스별로 달성 수준을 측정하고 평가한 품질수준 제고,
뒤 목표 수준을 벗아났으면 경보 발행 고객만족 제고
고개간족 달성 고객 세그먼트별로 만족 수준을 측정하고 고객만족 제고,
이상이 있으면 원인을 분석하여 대책 강구 고객유지 향상
파이프라인 최적화 파이프라인 단계별로 고객 상태를 파악하고 목표 매추 달성,
수조 규모를 예상하여 필요한 고객 기회를 고객반응률 향상
추정하여 영업 촉진
판매 영업성과 분석 영업 직원별 사용 원가(급여 포함)와 실적을 영업 수율 향상,
분석하고 부진한 영업 직원 세그먼트를 식별 영업 직원 생산성 제고
하여 영업 정책에 반영
나. 문제 정의(Problem Definition)단계
식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계이다. 앞서 수행한 문제 탐색의 단계가 무엇을(What) 어떤 목적으로(Why)수행해야 하는지에 대한 과점이었다면, 본 단계에서는 이를 달성하기 위해서 필요한 데이터 및 기법(How)을 정의하기 위한 데이터 분석의 문제로의 변환을 수행하게 된다. 예를 들어, '고객 이탈의 증대'라는 비즈니스 문제는 '고객의 이탈에 영향을 미치는 요인을 식별하고 이탈 가능성을 예측'하는 데이터 분석 문제로 변환될 수 있다.
데이터 분석 문제의 정의 및 요구사항은 분석을 수행하는 당사자뿐만 아니라 해당 문제가 혜결되었을 때 효요을 얻을 수 있는 최종사용자(End User)과전ㅁ에서 이루어져야 한다. 데이터 분석 문제가 잘 정의되었을때 필요한 데이터의 정의 및 기법 발굴이 용이하기 때문에 가능한 정확하게 분석의 관점으로 문제를 재정의할 필요가 있다.
다. 해결방안 탐색(Solution Search)단계
이 단계에서는 정의된 데이터 분석 문제를 해결하기 위한 다양한 방안이 모색된다. 동일한 데이터 분석문제라 해도 어떤 데이터 또는 분석 시스템을 사용할 것인지에 따라서 소용되는 예산 및 활용 가능한 도구(Tool)가 다르기 때문에 다각도로 고려할 필요가 있다. 즉, 기존 정보시스템의 단순한 보완으로 분석이 가능한지, 엑셀 등의 간단한 도구로 분석이 가능한지, 또는 하둡 등 분산 병렬처리를 활용한 빅데이터 분석 도구를 통해 보다 체계적이고 심도 있는 방안이 고려되는지 등등 여러 대안이 도출될 수 있다. 또한 분석 역량을 기존에 가지고 있는 지의 여부를 파악하여 보유하고 있지 않은 경우에는 교육이나 전문 인력 채용을 통한 역량을 확보하거나 분석 전문 업체를 활용하여 과제를 해결하는 방안에 대해 사전 검토를 수행한다.
라. 타당성 검토(Feasibility Study)단계
도출된 분석 문제나 가설에 대한 대안을 과제화하기 위해서는 다음과 같은 다각적인 타당성 분석이 수행되어야 한다.
1) 경제적 타당성
비용 대비 편익 분석 관점의 접근이 필요하다. 비용 항목은 데이터, 시스템, 인력, 유지보수 등과 같은 분석 비용으로 구성된다. 편익으로는 분석 결과를 적용함으로서 실질적 비용 절감, 추가적 매출과 수익 등과 같은 경제적 가치로 산출된다.
2) 데이터 및 기술적 타당성
데이터 분석에는 데이터 존재 여부, 분석 시스템 환경, 그리고 분석 역량이 필요하다. 특히, 분석 역량의 경우 그림 처럼 실제 프로젝트 수행 시 걸림돌이 되는 경우가 많기 때문에 기술적 타당성 분석시 역량 확보 방안을 사전에 수립해야 한다. 이를 효과적으로 평가하기 위해서는 비즈니스 지식과 기술적지식이 요구되기 때문에 비즈니스 분석가, 데이터 분석가, 시스템 엔지니어 등과의 협업이 수반되어야 한다.
______________________________________________________________________________________________________
도출된 여러 대안 중에서 평가 과정을 거쳐 가장 우월한 대안을 선택한다. 도출한 데이터 분석 문제 및 선정된 솔루션 방안을 포함하여 이를 분석 과제 정의서의 형태로 명시하는 후속작업을 시행하며 이는 프로젝트 계획의 입력물로 활용횐다.
2. 상향식 접근법(Bottom Up Approach)
한 의약제조사는 특허기간이 만료된 의약품 약 2천 종류의 데이터를 분석, 상호 결합하여 새로운 의약품을 개발하려고 시도하였다. 의약품 집합으로부터 두 개의 조합을 선택할 수 있는 방법은 백만 개 이상이기 때문에 이 회사는 새로운 결합의 효과성을 검정하기 위하여 다양한 기법을 적용하여 데이터를 분석하였다. 이런한 분석 사례는 절차가 규정된 하향식 문제해결 방식이 아니라 경험적인 과거 데이터를 무작정 결합하여 상향식으로 정보 혹은 지식을 얻고자 하는 새로운 분석 패러다임이라 할 수 있다.
여기에서는 전통적인 하향식 문제 해결 방식과 대비하여 기업에서 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 상향식 접근방법을 기술한다. 사향식 접근방법은 그림처럼 다양한 원천 데이터를 대상으로 분석을 수행하여 가치 잇는 문제를 도출하는 일련의 과정이다.
- 기존 하향식 접근법의 한계를 극복하기위한 분석 방법론
지금까지 가장 일반적으로 사용되고 있는 문제 해결 방식은 앞서 설명한 것과 같은 하향식의 놀리적인 단계별 접근법이다. 기존 접근 방법인 논리적인 단계별 접근법은 문제의 구조가 분영하고 문제를 해결하고 해결책을 도출하기위한 데이터가 분석가 및 의사결정자에게 주어져 있음을 가정하고 있기 때문에 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계가 있다. 따라서 기존의 논리적인 단계별 접근법에 기반한 문제해결 방식은 최근 복잡하고 다양한 환경에서 발생하는 문제에는 적합하지 않을 수 있다.
이를 해결하기 위새서 스탠포드 대학의 d.shool(Institute of Design at Stanford)은 디자인 사고(Design Thinking)접근법을 통해서 전동적인 분석적 사고를 극복하려고 한다. "이미 우리가 알고 있는 것" 즉 분석가의 문제에 대한 분석 접근법의 한계를 극복하기 위해서 현장 관찰과 감정이입, 즉 대상의 관점으로의 전환을 수행한다. 통상적인 관점에서는 분석적으로 사물을 인식하려는 'Why'를 갖오하지만, 이는 우리가 알고 있다고가정하는 것이기 때문에 문제와 맞지 않는 솔류션인 경우 오류가 발생할 소지가 있다. 그렇기 때문에, 답을 미리 내는 것이 아니라 사물을 있는 그대로 인식하는 'What' 관점에서 보아야 한다는 것이다. 객과적으로 존재하는 데이터 그 자체를 관찰하고 실제적으로 행동에 옮김으로써 대상을 좀 잘 이해하는 장식으로의 접근을 수행하는 것이다. 이와 같은 점을 고려하여 d.school 에서는 첫 단계로 감정이임(Empathize)을 강조하고 있다.
_______________________________________________________________________________________________
일반적으로 상향식 접근 방식의 데이터 분석은 비지도학습(Unsupervised Learning)방법에 의해 수행된다. 비지도학습은 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것이다. 데이터 마이닝 기법을 예로들면, 장바구니 분석, 근집 분석, 기술 통계 및 프로파일링 등이 이에 속한다.
이와 반대로 명확한 목적하에 데이터분석을 실시하는 것은 지도학습(Supervised Learning)이라고하며 분류, 추측, 예측, 최적화를 통해 사용자의 주도 하에 분석을 실시하고 지식을 도축하는 것이 목적이다. 예를 들어서 그림에서 O와 X를 구분 짓게 하는 분류(Classification)는 지도학습에 해당되고, 인자들 간의 유사성을 바탕으로 수행하는 군집화(Clustering)는 비지도학습에 해당한다. 지도학습의 경우 결과로 도출되는 값에 대새서 사전에 인지하고 어떠한 데이터를 넣었을 때 어떠한 결과가 나올지를 예츨하는것이라면 비지도학습의 경우 목표값을 사전에 정의하지 않고 데이터 자체만을 가지고 그룹들을 도출함으로써 해석이 용이하지는 않지만 새로운 유형의 인사이트를 도출하기에 유용한 방식으로 활용할 수 있다.
__________________________________________________________________________________________________
통계적 분석에서는 인과관계 분석을 위해 가설 을 설정하고 이를 검정하기 위해 모집단으로부터 표본을 추출하고 그 표본을 이용한 가설검정을 실시하는 방식으로 문제를 해결하였다. 그러나 빅데이터 환경에서는 이와 같은 노리적인 인과관계 분석뿐만 아니라 상관과계 분석 또는 연관 분석을 통하여 다양한 문제 해결에 도움을 받을 수 있다. 즉, 인과관계(Know-why)로 부터 상관관계(Know-affinity)분석으로의 이동이 빅데이터 분석에서의 주요 변화라고 할 수 있다. 다양의 데이터 분석을 통해서 "왜" 그러한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의 할 수 있는 것이 상향식 접근 방법이다.
- 시행착오를 통한 문제 해결
프로토타이핑(Prototyping)접근법은 사용자가 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 일단 분석을 시도해 보고 그 결과를 확인해 가면서 반복적으로 개선해 나가는 방법을 말한다. 하향식 접근방식은 문제가 정형화되어 있고 문제해결을 위한 데이터가 완벽하게 조직에 존재할 경우에 효과적이다. 이에 반하여, 프로토타이핑 방법론은 비록 완전하지는 못하다 해도 신속하게 해결책이나 모형을 제시함으로써 이를 바탕으로 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화할 수 있게 하는 유용한 상향식 접근 방식이다.
프로토타이핑 접근법의 기본적인 프로세스는 가설의 생성(Hypotheses), 디자인에 대한 실험(Design Experiments), 실제 환경에서의 테스트(Test), 테스트 결과에서의 통찰(Insight) 도출 및 가설 확인으로 구성된다. 학습이라는 목표를 가지고 잘 설계된 프로토타이핑을 지속하는 경우에, 실험이 가지고 있는 불명확성(Uncertainty)은 감소하고 의도했던 결과를 도출할 수 있는 성공 가능성은 높아진다. 한 번의 분석을 통해서 의도했던 겨로가가 나오기 쉽지 않은 동적인 환경에서 최대한 빨리 결과를 보여주고 해당 내용을 토대로 지속적인 반복을 수행하는 프로토타이핑 방식이 빅데이터 분석 환경에서는 보다 유용하다고 알려져 있다.
빅데이터 분석 환경에서 프로토타이핑의 필요성을 상세히 정리하면 다음과 같다.
- 문제에 대한 인식 수준: 문제 정의가 불명확하거나 이전에 접해보지 못한 새로운 문제일 경우 사용자 및 이해 관계자는 프로토타입을 이용하여 문제를 이해하고 이를 바탕으로 구체화하는데 도움을 받을 수 있다.
- 필요 데이터 준재 여부의 불확실성: 문제 해결을 위해 필요한 데이터의 집합이 모두 존재하지 않을 경우, 그 데이터의 수집을 어떻게 할 것인지 또는 그 데이터를 다른 데이터로 대체할 것인지 등에 대한 데이터 사용자와 분석가 간의 반복적이고 순환적인 협의 과정이 필요하다. 대체 불가능한 데이터가 존재하는지 사전에 확인한다면 불가능한 프로젝트를 수행하는 리스크를 사전에 방지할 수 있다.
- 데이터의 사용목적의 가변성: 데이터의 가치는 사전에 정해진 수집목적에 따라 확정되는 것이 아니고 그 가치가 지속적으로 변화할 수 있다. 따라서 조직에서 보유중인 데이터라 하더라도 기존의 데이터정의를 재검토하여 데이터의 사용목적과 범위를 확대할 수 있을 것이다. 예를 들면, 이동통신사에서 수집하는 사용자의 위치추적은 사용자의 호울을 효율적으로 처리하기 위한 원래의 목적으로부터, 사용자들의 즉정 시간에 많이 모이는 장소가 어디 인가를 분석하는 정보로 활용이 가능하다.
3. 분석과제 정의
다양한 방식을 통해서 도출한 분석과제를 분석과제 정의서 양식을 활용하여 보다 상세하게 정의한다.
분석과제 정의서는 향후 프로젝트 수행계획의입력물로 사용되기 때문에 프로젝트 수행하는 이해관계자가 프로젝트의 방향을 설정하고 성공여부를 판별할 수 있는 주요한 자료로서 명확하게 작성되어야 한다.
분석과제 정의서를 통해 분석별로 필요한 소스 데이터, 분석방법, 데이터 입수 및 분석의 난이도, 분석수행주기, 분석결과에 대한 검증 오너십, 상세 분석 과정 등을 정의한다. 분석 데이터 소스는 내.외부의 비구조적인 데이터와 소셜 미디어및 오픈 데이터까지 범위를 확장하여 고려하고 분석 방법 또한 상세하게 작성한다.
피드 구독하기:
글 (Atom)