1. 소스와 마트

먼저 소스는 원장성 데이터를 말한다. 흔히 말하는 기간계 데이터를 직접 바라보고, 만든 2차 데이터다. 그리고 마트성 데이터는 이 2차 데이터를 어떤 목적을 가지고 집계하고 가공한 데이터를 말한다.

​

예를 들면, 월 단위로 집계되는 고객 거래 정보 데이터는 소스로 볼 수 있다. 그리고 상품추천을 위해 고객 거래 정보 등을 이용한 추천 마트는 마트성 데이터에 해당한다. 즉, 원천성 데이터는 범용성을 목적으로 구성되면, 마트성 데이터는 특수 목적을 위해 만들어진다는 차이가 있다.

​

하지만, 간혹 마트성 데이터에 집계된 결과가 신규 과제에서 필요한 변수와 유사한 경우가 있다. 이 경우 마트성 데이터를 잘 활용하면 좋을 수도 있다. 변수에 대한 업무정의나 검증을 하지 않아도 되기 때문이다. 그리고, 굳이 변수를 만들지 않아도 된다는 장점도 있다.

​

[더 알아보기] 기간계와 정보계

보통 기간계와 정보계로 나누어 데이터를 관리한다. 기간계는 운영에 사용되는 데이터를 말한다. 예를 들면, 실시간으로 쌓이는 계약이나 거래 정보를 기록하는 데이터다. 기간계 데이터베이스에 문제가 생기면, 기업 운영에 치명적인 피해가 발생한다. 반면, 정보계는 마케팅, CRM 등과 같은 업무를 목적으로 관리하는 데이터베이스다. 보통 일이나 월 단위로 기간계 데이터를 집계해 정보계에 쌓는다. 이때, 기간계에서 정보계로 직접 쌓는 데이터를 '소스'라고 정의했다.

분석 시스템 구축 시 주의할 점, 마트는 마트를 바라보지 않는다

분석 시스템 구축 프로젝트를 수행하다 보면, 다른 시스템의 결과 데이터를 사용하고 싶은 욕구가 가끔 생긴다. 만들어진 데이터를 가져다 쓰면, 굳이 로직을 새롭게 정의할 필요가 없다. 그리고 굳이 직접 코딩할 이유도 없다. 일이 줄어든다. 하지만 다른 시스템의 결과를 이용하는 경우 단기적으로는 좋지만, 중장기적으로 보았을 때 잠재적인 문제점들이 많다.

데이터 마트를 구현하는 단계는 무엇인가요?

클라우드 데이터 엔지니어는 다음을 수행하여 데이터 마트를 설정합니다.

1. 클라우드 네이티브 데이터 플랫폼을 시작합니다.
2. 비즈니스 데이터로 데이터 마트를 채웁니다. 데이터 형식이 올바르고 비즈니스 사용자와 관련이 있는지 확인합니다.
3. 여러 사용자가 데이터에 액세스할 수 있도록 데이터 마트를 설정합니다. 예를 들어, 데이터 마트에 보고 대시보드를 설치합니다. 
4. 데이터 마트가 실행될 때 계속해서 문제를 모니터링, 최적화 및 해결합니다.

데이터 마트의 구조는 무엇인가요?

데이터 마트는 이러한 구조를 사용하여 정보를 저장하고 표시합니다. 

스타

스타 구조의 중심에 팩트 테이블이 있고 여러 차원 테이블로 분기됩니다. 그 결과 스타 모양의 연결이 됩니다. 팩트 테이블은 분석 목적으로 사용할 수 있는 요약 데이터가 포함된 데이터 테이블입니다. 한편, 차원 테이블은 팩트 테이블에 설명 정보를 담고 있습니다. 각 차원 테이블은 외래 키를 사용하여 팩트 테이블에 연결됩니다. 외래 키는 제품 ID 또는 공급업체 ID와 같은 고유 식별자입니다. 

예를 들어, 판매 트랜잭션에 대한 팩트 테이블에는 다음과 같은 열이 있습니다.

• 영업 ID
• 제품 ID
• 공급업체 ID
• 판매 금액

제품의 차원 테이블에는 다음 정보가 저장됩니다.

• 제품 ID
• 제품 이름
• 제품 비용

공급업체 차원 테이블에는 다음과 같은 열이 있습니다.

• 공급업체 ID
• 공급업체 이름
• 구/군/시

장점

스타 구조에서 차원 테이블은 추가 테이블로 확장되지 않도록 비정규화됩니다. 즉, 차원 테이블에 중복 데이터가 포함될 수 있지만 검색 및 검색 속도가 향상됩니다. 또한 차원 테이블을 저장하는 데 필요한 공간도 줄어듭니다.

비즈니스 분석가는 스타 구조의 데이터 마트를 사용하여 복잡한 쿼리를 간단하게 만들 수 있습니다. 특정 판매 레코드를 검색할 때 데이터 관리 시스템은 팩트 테이블을 검색합니다. 데이터 마트 시스템이 올바른 레코드를 찾으면 제품 ID와 공급업체 ID를 사용하여 각 차원 테이블에서 데이터를 쿼리합니다. 

비정규화됨

비정규화된 구조는 모든 관련 데이터를 단일 테이블에 저장합니다. 팩트 테이블과 차원 테이블 간에 복잡한 결합이 없습니다. 데이터 분석가는 쿼리 속도를 향상시키기 때문에 비정규화된 데이터 마트를 사용합니다. 예를 들어, 판매 레코드 검색은 다음과 같이 비정규화된 단일 테이블에서 수행됩니다.

• 영업 ID
• 제품 
• 제품 이름
• 제품 비용
• 모델 이름
• 무게 
• 크기
• 공급업체 
• 공급업체 이름
• 구/군/시
• 판매 금액

비정규화된 데이터 마트는 단일 테이블 접근 방식 때문에 실시간 보고에 적합합니다. 그러나 데이터 마트를 비정규화하면 데이터가 중복됩니다. 예를 들어, 동일한 제품 이름이 여러 레코드에 나타날 수 있습니다. 이로 인해 스토리지 공간이 추가되고 구현 비용이 많이 듭니다.

데이터 마트 유형으로 무엇이 있나요?

다음은 다양한 유형의 데이터 마트입니다. 

종속 데이터 마트

종속 데이터 마트는 중앙 집중식 데이터 웨어하우스의 정보 하위 세트로 스토리지를 채웁니다. 데이터 웨어하우스는 데이터 소스에서 모든 정보를 수집합니다. 그런 다음 데이터 마트는 데이터 웨어하우스에서 주제별 정보를 쿼리하고 검색합니다. 

장점과 단점

대부분의 데이터 관리 작업은 데이터 웨어하우스에서 수행됩니다. 즉, 비즈니스 분석가가 데이터 마트의 정보를 사용하기 위해 데이터베이스 관리에 고도로 숙련되지 않아도 됩니다. 종속 데이터 마트는 정보를 훨씬 쉽게 검색할 수 있게 만들지만 단일 장애 지점을 나타냅니다. 데이터 웨어하우스에 장애가 발생하면 연결된 모든 데이터 마트도 실패합니다. 

독립 데이터 마트

독립 데이터 마트는 중앙 데이터 웨어하우스나 다른 데이터 마트에 의존하지 않습니다. 각 데이터 마트는 데이터 웨어하우스가 아닌 소스에서 정보를 수집합니다. 독립 데이터 마트는 소규모 회사에 적합하지만 특정 부서만 정보에 액세스하고 분석하면 됩니다.

장점과 단점

기업은 비교적 쉽게 독립적인 데이터 마트를 설정할 수 있습니다. 그러나 이를 관리하기는 어려울 수 있습니다. 비즈니스 분석가는 각 데이터 마트에서 데이터베이스 관리 작업을 수행해야 하기 때문입니다. 데이터 공유와 같은 전략을 사용하여 서로 다른 데이터 마트 간에 데이터를 공유하는 것은 간단합니다. 부서에서는 다른 부서의 데이터를 읽고 자체 데이터로 데이터를 보강할 수도 있습니다.  그러나 각 부서가 보고 있는 내용을 알 수 있도록 강력한 데이터 목록 작성 전략을 마련해야 합니다. 

하이브리드 데이터 마트

하이브리드 데이터 마트는 데이터 웨어하우스와 외부 소스에서 정보를 수집합니다. 이를 통해 기업은 데이터를 데이터 웨어하우스로 보내기 전에 독립적인 데이터 소스를 유연하게 테스트할 수 있습니다. 

예를 들어, 새 제품을 출시하고 초기 판매 데이터를 분석하려고 한다고 가정해 보겠습니다. 데이터 마트는 전자 상거래 소프트웨어에서 직접 가져온 판매 정보를 사용하고 데이터 마트에서 다른 제품의 판매 레코드를 검색합니다. 제품이 스토어의 영구적인 고정 제품이 된 후 거래 세부 정보를 데이터 웨어하우스로 보냅니다.

데이터 마트는 어떻게 작동하나요?

데이터 마트는 원시 정보를 특정 비즈니스 부서를 위해 의미 있는 정형 콘텐츠로 변환합니다. 이를 위해 데이터 엔지니어는 데이터 웨어하우스에서 또는 외부 데이터 소스에서 직접 정보를 수신하도록 데이터 마트를 설정합니다. 

데이터 웨어하우스에 연결되면 데이터 마트는 비즈니스 단위와 관련된 선택 정보를 검색합니다. 정보에 요약 데이터가 포함되는 경우가 많으며 불필요하거나 상세한 데이터는 제외됩니다. 

ETL 

추출, 전환, 적재(ETL)는 다양한 데이터 소스의 정보를 단일 물리적 데이터베이스로 통합하고 전송하는 프로세스입니다. 데이터 마트는 ETL을 사용하여 데이터 웨어하우스에서 가져오지 않는 외부 소스에서 정보를 검색합니다. 이 프로세스에는 다음 단계가 포함됩니다.

• 추출: 다양한 소스에서 원시 정보 수집
• 전환: 공통 형식으로 정보 구조화
• 적재: 데이터베이스로 처리된 데이터 전송

ETL 도구가 스프레드시트, 앱 및 텍스트 문서와 같은 외부 소스에서 정보를 복사합니다. 그런 다음 데이터 마트가 정보를 정형 형식으로 처리, 구성 및 저장합니다. 

분석

비즈니스 분석가는 소프트웨어 도구를 사용하여 데이터 마트에서 데이터를 검색, 분석 및 표시합니다. 예를 들어, 비즈니스 인텔리전스 분석, 보고 대시보드 및 클라우드 애플리케이션을 위해 데이터 마트에 저장된 정보를 사용합니다. 

각 데이터 마트는 소수의 사용자에게 서비스를 제공합니다. 예를 들어, 마케팅 관리자와 수석 마케팅 담당자는 데이터 마트에 액세스할 수 있으므로 보고서와 그래프를 생성하거나 예측 분석을 수행하는 데 걸리는 시간이 단축됩니다.

데이터 마트가 중요한 이유는 무엇일까요?

기업에서 데이터 마트를 사용할 수 있는 몇 가지 좋은 이유가 여기에 있습니다. 

보다 효율적으로 데이터 검색

기업은 데이터 마트를 사용하여 특정 정보에 보다 효율적으로 액세스할 수 있습니다. 데이터 웨어하우스와 비교할 때 데이터 마트에는 부서에서 자주 액세스하는 관련 세부 정보가 포함되어 있습니다. 따라서 비즈니스 관리자는 성과 보고서 또는 그래픽을 생성하기 위해 전체 데이터 웨어하우스를 검색할 필요가 없습니다.

의사 결정 간소화

기업은 데이터 마트를 사용하여 데이터 웨어하우스에서 데이터의 하위 세트를 만들 수 있습니다. 그러면 부서 내의 직원이 데이터를 분석하고 동일한 정보 세트를 기반으로 결정을 내릴 수 있습니다. 

보다 효과적으로 정보 제어

데이터 마트는 직원들에게 매우 세분화된 액세스 권한을 제공합니다. 즉, 회사는 특정 사용자에게 특정 데이터를 보거나 검색할 수 있는 권한을 부여할 수 있습니다. 이는 기업이 데이터 거버넌스를 개선하고 정보 액세스 정책을 시행하는 데 도움이 됩니다. 예를 들어, 데이터 마트를 사용하여 데이터 웨어하우스의 특정 정보에 대한 사용자 액세스를 직원에게 제공할 수 있습니다.

유연하게 데이터 관리

데이터 마트는 데이터 웨어하우스보다 더 작고 테이블 수가 적습니다. 즉, 데이터 엔지니어가 주요 데이터베이스 변경 없이 데이터 마트에서 정보를 관리하고 변경할 수 있습니다.