한 조직이 웹 및 모바일 애플리케이션에서 고객 데이터를 처리합니다. 데이터에는 이름, 이메일, 전화번호 및 위치 기록이 포함됩니다. 데이터는 배치 파일(SFTP를 통해 매일 전송)과 스트리밍 JSON 이벤트(Kafka를 통해 실시간으로 전송) 형태로 수신됩니다.
데이터 개인정보 보호 정책을 준수하려면 다음 요건을 충족해야 합니다.
- 이메일, 전화번호 등의 개인 식별 정보(PII)
번호와 IP 주소는 저장하기 전에 마스킹 또는 익명화해야 합니다.
- 배치 파이프라인과 스트리밍 파이프라인 모두 일관된 개인 식별 정보(PII)를 적용해야 합니다.
손질.
- 마스킹 로직은 감사 가능하고 재현 가능해야 합니다.
- 마스킹된 데이터는 후속 분석에 계속 사용할 수 있어야 합니다.
데이터 엔지니어는 배치 모드와 스트리밍 모드를 모두 지원하고, 개인 식별 정보(PII)에 데이터 마스킹을 적용하며, 감사 추적성을 유지하는 Databricks 기반의 규정 준수 데이터 파이프라인을 어떻게 설계해야 할까요?

• A. 노트북을 사용하여 배치 데이터를 로드하고 SQL Warehouses를 사용하여 스트리밍 데이터를 수집합니다. 저장 후 Silver 테이블에서 Unity Catalog 열 마스크를 사용하여 필드를 수정합니다.
• B. 배치 및 스트리밍 데이터 수집을 위해 Lakeflow 선언적 파이프라인을 사용하고, 개인 식별 정보(PII) 마스킹 기능을 정의하고, Delta Lake에 기록하기 전에 Bronze 데이터 수집 중에 해당 기능을 적용합니다.
• C. 계보 추적을 위해 Bronze 테이블에는 개인 식별 정보(PII)를 마스킹하지 않고 저장한 다음, 보고에 사용되는 Gold 테이블에서 마스킹 로직을 적용합니다.
• D. Lakeflow 선언적 파이프라인을 사용하여 배치 및 스트리밍 데이터를 모두 수집하고, 수집 중에 데이터가 수정되지 않도록 읽기 시점에 Unity 카탈로그 열 마스크를 통해 마스킹을 적용합니다.

데이터 엔지니어가 세 개의 노트북을 오케스트레이션하는 멀티태스킹 Databricks 작업을 배포합니다. 그중 한 작업이 간헐적으로 종료 코드 1로 실패하지만 재시도하면 성공합니다. 엔지니어는 실패한 시도에 대한 자세한 로그(표준 출력/표준 오류 및 클러스터 수명 주기 컨텍스트 포함)를 수집하여 플랫폼 팀과 공유해야 합니다. 데이터 엔지니어는 내장 도구를 사용하여 어떤 단계를 따라야 할까요?

• A. 노트북 실행 결과를 HTML로 내보냅니다. 이 번들에는 모든 작업에 대한 전체 표준 출력, 표준 오류 및 클러스터 이벤트 기록이 포함됩니다.
• B. 작업 실행 세부 정보 페이지에서 작업 로그를 내보내거나 로그 전달을 구성한 다음, 컴퓨팅 세부 정보 페이지에서 컴퓨팅 드라이버 로그 및 이벤트 로그를 검색하여 stdout/stderr을 클러스터 이벤트와 연관시킵니다.
• C. Spark UI에서 워커 로그를 직접 다운로드하고 드라이버 로그는 무시합니다. 워커 로그에는 모든 작업 및 클러스터 이벤트에 대한 stdout/stderr이 포함되어 있습니다.
• D. 노트북 대화형 디버거를 사용하여 전체 멀티태스킹 작업을 다시 실행하고 실패한 작업에 대한 단계별 추적을 캡처합니다.

데이터 엔지니어가 데이터 편향과 빈번하게 변경되는 쿼리 필터 열로 인해 문제가 발생하는 관리형 델타 테이블을 최적화하고 있습니다. 엔지니어는 쿼리 패턴이 변화할 때 발생하는 비용이 많이 드는 데이터 재작성을 피하고자 합니다. 테이블 크기는 1TB 미만입니다. 데이터 엔지니어는 이 요구 사항을 어떻게 충족해야 할까요?

• A. Hive 스타일 파티셔닝을 사용하면 효율적인 데이터 건너뛰기가 가능하고 언제든지 파티션 열을 쉽게 변경할 수 있습니다.
• B. 데이터 불균형을 효율적으로 처리하고, 기존 데이터를 덮어쓰지 않고 클러스터링 키를 변경할 수 있으며, 변화하는 쿼리 패턴에 적응할 수 있는 유동적 클러스터링을 활성화합니다.
• C. Z 정렬을 적용하십시오. Z 정렬은 기존 파일을 수정하지 않고도 데이터 레이아웃을 유연하게 재구성할 수 있으며 새로운 필터 열에 쉽게 적용할 수 있습니다.
• D. 쿼리 패턴이 변경될 때 유연성을 극대화하고 유지 관리를 최소화하기 위해 파티셔닝과 Z-순서를 결합합니다.

데이터 엔지니어가 여러 타사 Python 라이브러리가 필요한 Databricks 노트북 작업을 진행하고 있습니다. 이러한 라이브러리 중 일부는 PyPI에서 사용할 수 있지만, 다른 일부는 직접 개발되어 S3 버킷에 local.wheel(.whl) 및 source(.tar.gz) 파일 형태로 저장되어 있습니다. 목표는 Unity Catalog가 활성화된 워크스페이스의 자동화된 클러스터에서 실행되는 여러 작업에서 모든 종속성이 설치되고 올바르게 사용 가능하도록 하는 것입니다. 엔지니어는 대화형 노트북과 작업 전반에 걸쳐 일관된 환경 설정을 보장하고 워크스페이스 보안 정책(인터넷 액세스 금지)을 준수하는 방식으로 필요한 종속성을 설치해야 합니다. 재현성과 규정 준수를 보장하면서 이러한 종속성을 설치하고 관리하기 위해 엔지니어는 어떤 접근 방식을 사용해야 할까요?

• A. 전체 프로젝트에 대한 Python wheel 파일을 생성하고, 이를 Databricks Workspace Files 또는 Volumes에 업로드한 다음, Databricks Asset Bundle 내의 requirements.txt 파일에 선언된 클러스터 라이브러리 또는 pip install 명령어를 사용하여 설치합니다.
• B. 대화형 클러스터의 드라이버 노드에 모든 종속성을 수동으로 설치한 다음 환경을 내보내고 %conda를 사용하여 작업 클러스터에 다시 가져옵니다.
• C. 클러스터에서 초기화 스크립트를 사용하여 로컬 파일 시스템을 참조하여 pip를 통해 모든 종속성을 설치합니다.
• D. 모든 노트북과 작업에서 `%pip install` 명령어를 사용하여 PyPl 및 사용자 지정 S3 경로에서 패키지를 직접 설치하세요.