[Data Cloud]Data Ingestion and Modeling (20%)

1. 데이터 모델 관리의 두 가지 단계 -  Data Ingestion & Data Modeling

데이터 모델 관리에는 두 가지 주요 단계가 있다.

• 데이터 수집(Data Ingestion): 외부 소스에서 데이터를 Data Cloud로 가져오는 단계.
• 데이터 모델링(Data Modeling): 수집된 데이터를 표준화하고, 구조화하여 시스템 내에서 사용 가능한 형식으로 변환하는 단계.

2. DSO, DLO 및 DMO에 대한 이해

• DSO (Data Source Object): 외부 시스템에서 수집한 원본 데이터를 나타냄
• DLO (Data Lake Object): 데이터가 원시 상태로 저장되는 저장소 역할을 한다. 데이터 스트림(Data Stream)을 통해 데이터 클라우드에 데이터를 수집하면 데이터 레이크 개체(DLO)에 저장됨.
• DMO (Data Model Object): 데이터 모델링 과정에서 데이터를 정규화한 후 저장되는 객체.
  즉, DC에서 사용할 수 있도록 DLO에서 가져온 데이터를 비즈니스 분석이나 프로필 통합에 사용할 수 있도록 구조화한 객체이다.
  이를 기반으로 ID 확인(Identity Resolution), 계산된 인사이트(Calculated Insights), 세그멘테이션(Segmentation) 등 다양한 기능을 사용할 수 있다.

3. 데이터 스트림 생성 및 카테고리

데이터 스트림(Data Stream)을 생성할 때 데이터는 다음과 같은 카테고리로 구분된다

• 프로필(Profile): 고객의 기본 정보를 관리하는 데 사용됨. 개인의 이름, 이메일, 전화번호, 주소 등과 같은 식별 가능한 데이터.
• 참여 데이터(Engagement): 고객이 브랜드와 상호작용한 데이터.
• 기타 데이터(Other): Profile이나 Engagement에 속하지 않은 모든 기타 데이터.

4. 데이터 모델 엔터티 (Data Model Entities)

데이터 모델 엔터티는 DLO(Data Lake Object)에서 수집된 데이터를 비즈니스 요구에 맞게 구조화한다.
데이터 모델의 주요 엔터티는 다음과 같다.

• 이메일 연락처(Contact Point Email): 이메일 정보를 나타낸다
• 전화 연락처(Contact Point Phone): 전화 번호 정보를 나타낸다
• 주소 연락처(Contact Point Address): 고객의 주소 정보를 포함한다
• 개인(Individual): 고객 개개인을 식별하고 관리하는 기본 엔터티로, 이름, 나이, 성별 등의 정보를 저장한다.

5. ID 확인(Identity Resolution)을 위한 데이터 모델링 요구사항

Identity Resolution을 위한 데이터 모델링은 고객의 개인 정보(Individual Data), 연락처 정보(Contact Point Data), 파티 식별 정보(Party Identification Data)를 기반으로 데이터가 통합될 수 있도록 데이터를 매핑하는 것이 핵심이다.

• 개인(Individual): 통합된 프로필을 구성하는 기본 개체, 고객 개개인을 식별하는 데 필요한 핵심 데이터.
• 연락처 또는 파티 식별 데이터(Contact Point or Party Identification Data): 외부 ID(예: 고객의 멤버십 ID, 로열티 ID 등)를 기반으로 고객을 식별하는 경우, 파티 식별 정보(Party Identification) 데이터 모델이 필요합니다. 이는 고객이 여러 시스템에 걸쳐 있는 경우, 외부 시스템과의 통합을 통해 고객 데이터를 연결하는 데 사용된다

추가적으로 필요한 것.

• 조정 규칙(Reconciliation Rules): ID 확인(Identity Resolution)과정에서 어떤 데이터가 우선시되어 Unified profile(통합 프로필)에 포함될지 결정하는 규칙
• 고유 식별자(Unique Identifier): 여러 데이터 소스에서 같은 고객을 하나의 프로필로 통합하기 위해 고유 식별자(Unique Identifier)가 필요함. 이 식별자는 고객의 ID, 이메일, 전화번호와 같은 정보를 기준으로 함.

6. 변환(Transformations)과 수식 필드(Formula Fields)의 차이점

• 변환(Transformations): 데이터를 변환하여 새 값을 생성하는 과정.
• 수식 필드(Formula Fields): Salesforce에서 제공하는 필드로, 특정 필드에 대한 동적 계산을 수행한다. 데이터 레코드마다 즉시 계산되는 값임.

7. 새로고침 모드 차이점 (Refresh Mode Differences)

• 전체 새로고침(Full Refresh): 기존 데이터를 완전히 덮어쓰고 새로 데이터를 입력하는 방식. 즉, 기존 데이터는 모두 삭제되고 새로운 데이터로 대체 됨.
• 업서트(Upsert): 기존 데이터를 업데이트하고, 새 데이터를 추가하는 방식. 주로 데이터를 병합하고 중복을 방지하는 데 사용됨.