페이지

2024년 10월 3일 목요일

데이터 마트는 어떻게 작동하나요?

데이터 마트는 원시 정보를 특정 비즈니스 부서를 위해 의미 있는 정형 콘텐츠로 변환합니다. 이를 위해 데이터 엔지니어는 데이터 웨어하우스에서 또는 외부 데이터 소스에서 직접 정보를 수신하도록 데이터 마트를 설정합니다. 

데이터 웨어하우스에 연결되면 데이터 마트는 비즈니스 단위와 관련된 선택 정보를 검색합니다. 정보에 요약 데이터가 포함되는 경우가 많으며 불필요하거나 상세한 데이터는 제외됩니다. 

ETL 

추출, 전환, 적재(ETL)는 다양한 데이터 소스의 정보를 단일 물리적 데이터베이스로 통합하고 전송하는 프로세스입니다. 데이터 마트는 ETL을 사용하여 데이터 웨어하우스에서 가져오지 않는 외부 소스에서 정보를 검색합니다. 이 프로세스에는 다음 단계가 포함됩니다.

  • 추출: 다양한 소스에서 원시 정보 수집
  • 전환: 공통 형식으로 정보 구조화
  • 적재: 데이터베이스로 처리된 데이터 전송

ETL 도구가 스프레드시트, 앱 및 텍스트 문서와 같은 외부 소스에서 정보를 복사합니다. 그런 다음 데이터 마트가 정보를 정형 형식으로 처리, 구성 및 저장합니다. 

분석

비즈니스 분석가는 소프트웨어 도구를 사용하여 데이터 마트에서 데이터를 검색, 분석 및 표시합니다. 예를 들어, 비즈니스 인텔리전스 분석, 보고 대시보드 및 클라우드 애플리케이션을 위해 데이터 마트에 저장된 정보를 사용합니다. 

각 데이터 마트는 소수의 사용자에게 서비스를 제공합니다. 예를 들어, 마케팅 관리자와 수석 마케팅 담당자는 데이터 마트에 액세스할 수 있으므로 보고서와 그래프를 생성하거나 예측 분석을 수행하는 데 걸리는 시간이 단축됩니다.

데이터 마트가 중요한 이유는 무엇일까요?

기업에서 데이터 마트를 사용할 수 있는 몇 가지 좋은 이유가 여기에 있습니다. 

보다 효율적으로 데이터 검색

기업은 데이터 마트를 사용하여 특정 정보에 보다 효율적으로 액세스할 수 있습니다. 데이터 웨어하우스와 비교할 때 데이터 마트에는 부서에서 자주 액세스하는 관련 세부 정보가 포함되어 있습니다. 따라서 비즈니스 관리자는 성과 보고서 또는 그래픽을 생성하기 위해 전체 데이터 웨어하우스를 검색할 필요가 없습니다.

의사 결정 간소화

기업은 데이터 마트를 사용하여 데이터 웨어하우스에서 데이터의 하위 세트를 만들 수 있습니다. 그러면 부서 내의 직원이 데이터를 분석하고 동일한 정보 세트를 기반으로 결정을 내릴 수 있습니다. 

보다 효과적으로 정보 제어

데이터 마트는 직원들에게 매우 세분화된 액세스 권한을 제공합니다. 즉, 회사는 특정 사용자에게 특정 데이터를 보거나 검색할 수 있는 권한을 부여할 수 있습니다. 이는 기업이 데이터 거버넌스를 개선하고 정보 액세스 정책을 시행하는 데 도움이 됩니다. 예를 들어, 데이터 마트를 사용하여 데이터 웨어하우스의 특정 정보에 대한 사용자 액세스를 직원에게 제공할 수 있습니다.

유연하게 데이터 관리

데이터 마트는 데이터 웨어하우스보다 더 작고 테이블 수가 적습니다. 즉, 데이터 엔지니어가 주요 데이터베이스 변경 없이 데이터 마트에서 정보를 관리하고 변경할 수 있습니다.

다른 유형의 데이터 스토리지 시스템과 데이터 마트 비교

회사는 데이터 관리 및 분석을 위해 여러 유형의 데이터 스토리지 시스템을 사용합니다. 기업에서 데이터 마트를 사용하는 상황을 이해하기 위해 몇 가지 일반적인 유형의 데이터 스토리지를 살펴보겠습니다.

데이터베이스

데이터베이스는 컴퓨터 시스템이 정보를 저장, 검색 및 분석하는 데 사용하는 조직화된 스토리지입니다. 관계형 데이터베이스와 같은 다양한 유형의 데이터베이스가 있습니다. 관계형 데이터베이스는 행과 열로 구성된 테이블에 정보를 저장합니다. 서로 다른 테이블의 데이터는 키라고 하는 고유 식별자로 연결됩니다. 키는 특정 열의 반복되지 않는 값입니다.

데이터 마트와 데이터베이스 비교

데이터 마트는 부서 데이터의 전면 요소 역할을 합니다.  데이터 마트를 사용하여 정보를 검색하고 분석할 수 있습니다. 한편 데이터베이스는 정보를 수집, 관리 및 저장합니다. 그런 다음 도구를 사용하여 저장된 정보를 처리하고 형식을 지정하고 데이터 마트로 전송할 수 있습니다. 

데이터 웨어하우스  

데이터 웨어하우스 는 전체 비즈니스에 대한 정보를 저장하는 광범위한 데이터베이스 시스템입니다. 비즈니스 소프트웨어 및 소셜 미디어 피드와 같은 다양한 소스에서 원시 정보를 수집하고 테이블 형식으로 저장된 정형 데이터로 처리합니다. 기업은 엔터프라이즈 데이터 웨어하우스를 비즈니스 인텔리전스 도구에 연결하여 보다 현명한 결정을 내릴 수 있습니다. 

데이터 마트와 데이터 웨어하우스 비교

데이터 마트는 데이터 웨어하우스의 많은 특성을 공유합니다. 차이점은 데이터 웨어하우스에는 다양한 주제에 대한 전사적 데이터가 포함되어 있다는 것입니다. 한편 데이터 마트는 특정 주제와 밀접하게 관련된 정보를 저장합니다. 예를 들어, 데이터 웨어하우스는 마케팅, 인사, 조달 및 고객 지원 부서에 대한 정보를 저장할 수 있습니다. 그러나 데이터 마트는 단일 부서와 관련된 트랜잭션 데이터만 저장할 수 있습니다. 데이터 마트 빌드의 매력은 데이터 마트를 관리하는 부서가 데이터 로드 및 관리를 완전히 제어할 수 있다는 것입니다. 

많은 조직에서 데이터 공유와 같은 기술을 사용하여 데이터 마트를 중앙 데이터 웨어하우스에 게시하고 있습니다.  이를 통해 소유권을 분산시키고 워크로드를 격리하여 더 민첩해질 수 있습니다.  유사하게, 데이터 공유를 통해 부서별 데이터 마트는 데이터 웨어하우스 또는 기타 데이터 마트에서 공유된 데이터를 사용할 수 있습니다.

데이터 레이크 

데이터 레이크 는 원시 및 비정형 정보를 보관하는 데이터 스토리지로서 파일과 폴더에는 정보를 저장하지 않습니다. 대신 처리되지 않은 정보를 대규모 스토리지의 플랫 계층 구조에 저장합니다. 데이터 레이크는 텍스트 문서, 이미지, 비디오, 오디오 등 다양한 유형의 원시 정보를 저장합니다. 

데이터 분석가는 데이터 레이크를 사용하여 비정형 데이터에서 예측 분석을 수행합니다. 예를 들어, 데이터 레이크는 기업이 감정 분석에 사용할 수 있는 소셜 미디어 리뷰의 텍스트를 저장할 수 있습니다. 데이터 분석가는 감정 분석을 사용하여 회사에 대한 부정적인 의견 추세를 감지할 수 있습니다. 

데이터 마트와 데이터 레이크 비교

데이터 레이크는 처리되지 않은 데이터를 저장하기 때문에 일부 정보는 중복되거나 회사에 의미가 없을 수 있습니다. 한편, 데이터 마트는 특정 요구에 맞는 처리된 데이터를 저장합니다. 데이터 레이크는 데이터 마트의 소스가 될 수 있습니다. 기업은 데이터 마트의 기록 데이터를 보고 데이터 추세를 결정하지만 데이터 레이크를 사용하여 저장된 정보를 심층적으로 분석합니다. 

OLAP

온라인 분석 처리(OLAP)는 데이터를 여러 차원으로 표현하는 방법입니다. 예를 들어, 데이터 분석가는 OLAP 큐브를 사용하여 월, 도시 및 제품을 기준으로 판매 수익을 동시에 표시합니다. OLAP 데이터 구조는 광범위하며 필드가 팩트 또는 차원으로 분류되어 데이터 중복이 발생합니다.  이는 좁은 구조와 적은 데이터 중복을 선호하는 기존의 관계형 데이터베이스와 대조됩니다.

데이터 마트와 OLAP 큐브 비교

OLAP은 데이터를 넓은 테이블로 비정규화하는 특정 정보 저장 전략입니다. OLAP은 다차원 데이터의 복잡한 표현을 단순화합니다. 일부 데이터 마트는 OLAP을 사용하여 정보를 구조화할 수 있지만 다른 데이터 마트는 기존의 정규화된 구조를 사용합니다. 비즈니스 분석가는 OLAP 구조를 활용하여 데이터 마트의 정보를 시각화합니다. 

운영 데이터 스토어

운영 데이터 스토어(ODS)는 데이터 소스와 데이터 웨어하우스 간의 중개자 역할을 하는 정보 스토리지입니다. 데이터 분석가는 ODS를 사용하여 트랜잭션 데이터에 대한 실시간에 가까운 보고를 제공합니다. ODS는 간단한 쿼리를 지원하며 제한된 양의 정보만 제공합니다. 예를 들어, ODS는 지난 12시간 동안의 판매 레코드만 저장할 수 있습니다. 

데이터 마트와 ODS 비교 

데이터 마트는 데이터 웨어하우스에서 주제 지향 정보를 추출하지만 ODS는 처리를 위해 정보를 데이터 웨어하우스로 전송합니다. 데이터 마트는 분석할 수 있는 기록 정보를 제공하지만 ODS는 현재 작업에 대한 업데이트된 보기를 제공합니다. 예를 들어, 데이터 마트를 사용하여 지난 분기의 판매 패턴을 식별하고 ODS에서 시간별 판매 수치 업데이트를 수신할 수 있습니다. 

데이터 마트란

데이터 마트는 조직의 사업부와 관련된 정보를 포함하는 데이터 스토리지 시스템입니다. 여기에는 회사가 더 큰 스토리지 시스템에 저장하는 데이터의 일부만 포함됩니다. 기업은 데이터 마트를 사용하여 부서별 정보를 보다 효율적으로 분석합니다. 주요 이해 관계자가 정보에 입각한 결정을 신속하게 내리는 데 사용할 수 있는 요약 데이터를 제공합니다. 

예를 들어, 회사는 공급업체 정보, 주문, 센서 데이터, 직원 정보 및 재무 레코드와 같은 다양한 소스의 데이터를 데이터 웨어하우스 또는 데이터 레이크에 저장할 수 있습니다. 그러나 회사는 소셜 미디어 리뷰 및 고객 레코드와 같은 마케팅 부서와 관련된 정보를 데이터 마트에 저장합니다.

2024년 10월 2일 수요일

워크플로우 자동화 및 비즈니스 프로세스 관리의 이점

자동화된 시스템이나 공식적인 분석 전략을 사용해 기업 전반의 워크플로우를 개선함으로써 이해 당사자는 다음과 같은 다양한 이점을 얻을 수 있습니다.

  • 의사 결정 개선(데이터에 기반하여 합리적이고 일관성 있는 의사 결정).

  • 비용 및 위험 감소.

  • 운영 프로세스 속도 개선 및 병목 현상 제거.

  • 현재 상태와 원하는 미래 상태 사이의 격차를 해소하는 방법과 운영에 대해 더 심도 있게 파악.

  • 더 좋아지고 일관적인 고객 경험.

  • 직무에서 지루하고 반복적인 작업을 제거하여 직원들이 더 창의적이고 가치가 높은 업무에 집중할 수 있도록 함.

  • 애플리케이션, 시스템, 첨단 인지 기술의 통합.

워크플로우 사용 사례

수동 프로세스는 인적 오류, 비효율성 및 일관성 결여에 노출되기 쉬워 제품 품질과 고객 경험을 저해할 수 있는 반면, 자동화된 시스템은 본질적으로 효율적이고 일관적이며 확장성이 뛰어납니다.  비즈니스 프로세스 관리(BPM)는  로보틱 프로세스 자동화 (RPA)라는 기술을 사용하여 일상적인 작업을 자동화하도록 지원할 수 있습니다. RPA는 고객이 요청서를 작성할 때 이메일 응답을 자동으로 생성하거나, 거래를 처리하거나, 보험금 청구 처리 중 여러 데이터베이스와 통신하는 등의 반복적인 작업을 수행하는 데 적합합니다.

모든 업계의 거의 모든 운영 절차가 반복 가능한 단계로 구성되어 있다고 가정하면 이러한 운영 절차를 워크플로우로 설명할 수 있습니다. 몇 가지 사용 사례는 다음과 같습니다.

  • 회사 구매 주문: 승인 워크플로우는 조직 내 관리자와 재무 및 조달 팀을 지원합니다. 경영진은 승인 절차를 거쳐 재무팀과 함께 예산을 수립하고, 조달 담당자는 서드파티 기관이 파트너십에 대한 회사 및 법적 요구 사항을 충족하도록 지원합니다.
     
  • 전자상거래: 고객이 주문과 신용카드 정보를 제출한 후 거래가 처리되고 결제를 받습니다. 그런 다음 주문한 품목을 창고에서 픽업하여 배송할 수 있도록 포장합니다. 그 이후 택배를 고객에게 배송합니다.

  • 신규 직원 온보딩: 신입 사원이 팀에 합류하면 일반적으로 법적 서류 작업, IT 리소스에 대한 액세스, 조직에 대한 관련 교육 및 오리엔테이션이 포함된 온보딩 워크플로우를 완료해야 합니다.

  • 고객 서비스 및 지원: 티켓팅 시스템이 디지털 워크플로우에 포함됩니다. 티켓팅 시스템은 지원팀이 실시간으로 다양한 질문에 답변하고 일상적인 단계에 따라 체계적으로 문제를 해결할 수 있도록 설계됩니다.

  • 은행 계좌 등록: 신규 고객이 계좌를 개설하면 일련의 순차적 작업을 거칩니다. 고객이 신원 인증을 제공하면 금융 기관에서 공개 명세서 및 관련 계좌 정보를 제공합니다. 거래 기록은 감사 목적으로 문서화되고 유지 관리됩니다.

  • 의료 관리: 병원을 방문하는 모든 환자에 대해 표준 분류, 진단 및 관리 절차가 진행됩니다.

  • 제조 시 잡샵(job shop) 및 플로우샵(flow shop): 제품은 절대 변동되지 않는 선형적인 단계 순서로 공정을 진행할 수도 있고(플로우샵), 제조되는 제품에 따라 다양한 패턴으로 여러 기계를 통과해 진행할 수도 있습니다(잡샵). 산업 프로세스는 개념이 복잡한 워크플로우가 처음으로 사용된 분야이며, 오늘날까지도 제조 분야에서 여전히 흔하게 사용되는 용어입니다.

워크플로우 매핑 및 다이어그램

워크플로우는 개별적인 단계별 작업으로 구성되어 있으므로 다이어그램이나 순서도를 통해 쉽게 시각화할 수 있습니다. 프로세스 매핑 이라고도 하는 워크플로우 매핑은 전체 워크플로우 프로세스에 대한 심층적인 이해를 제공하여 최적화 및/또는 전체 자동화나 부분 자동화를 실현할 수 있도록 합니다.

워크플로우 다이어그램 작성 단계:

  1. 매핑할 프로세스를 결정합니다. 일부 유형의 워크플로우에는 매개변수가 매우 좁고 내부 프로세스의 변화가 거의 없는 독립적인 워크플로우도 있고, 더 느슨하게 정의된 워크플로우도 있습니다. 가장 큰 영향을 미치려면 결과 달성에 어려움을 겪고 있는 프로세스나 고객 만족도에 영향을 미치는 프로세스를 우선순위로 지정할 수 있습니다.

  2. 정보를 수집하고 이해 당사자를 식별합니다.  최적화하려는 프로세스에 대해 깊이 있는 지식을 가진 인력을 모읍니다. 이렇게 모은 해당 분야 전문가(SME)는 이해 당사자, 단계 순서, 타임라인, 리소스 등 프로세스의 핸드오프가 발생하는 지점에 대해 더 자세한 설명을 제공합니다. 또한, 병목 현상과 중복 등 효율성을 저하시킬 수 있는 일부 문제 영역을 강조할 수도 있습니다. 프로세스의 이 단계에서는 프로세스와 관련된 모든 정보를 문서화하려 합니다. 
     
  3. 워크플로우 단계를 간략하게 설명합니다. 현재 프로세스의 시작 위치와 끝 위치, 그 사이의 단계 순서를 결정합니다. 세부 사항의 수준은 다양할 수 있지만 일반적으로 입력, 출력, 메트릭, 이해 당사자에 대한 정보가 포함됩니다.

  4. 워크플로우 프로세스를 순서도로 나타냅니다. 워크플로우 도구는 문서화에 이상적이며 종이가 필요 없는 중앙 집중식 공간을 제공하여 팀원들이 프로세스 정보를 쉽게 공유하고 액세스할 수 있습니다. 이 단계에서는 프로세스의 중복을 더 쉽게 확인할 수 있어 주어진 프로세스를 간소화하는 방법을 촉진합니다. 

  5. 피드백을 받습니다. 이해관계자와 함께 이 워크플로우 템플릿을 검토하여 검증 및 피드백을 받습니다. 팀은 오류나 병목 현상이 자주 발생하는 영역을 파악하여 단계의 통합, 제거 또는 재정렬 등 프로세스 개선에 대해 함께 조정할 수 있습니다. 이 단계에서 지속적인 개선을 위한 식스 시그마 및 카이젠(Kaizen) 철학 등 널리 사용되는 프로세스 방법론을 적용할 수도 있습니다.

  6. 순서도를 완성합니다. 여기에는 피드백에 따른 조정이 포함되어야 합니다. 워크플로우 엔진은 팀이 운영되는 방식을 부분적으로 자동화하여 개인이 특정 프로세스의 다음 작업으로 진행하도록 합니다.