DP-203 Korean 無料問題集「Microsoft Data Engineering on Microsoft Azure (DP-203 Korean Version)」
폴더가 포함된 Azure Blob 저장소 계정이 있습니다. 폴더에는 120,000개의 파일이 있습니다. 각 파일에는 62개의 열이 있습니다.
매일 1,500개의 새 파일이 폴더에 추가됩니다.
각각의 새 파일에서 Azure Synapse Analytics 작업 영역으로 5개의 데이터 열을 증분식으로 로드할 계획입니다.
증분 로드를 수행하는 데 걸리는 시간을 최소화해야 합니다.
파일과 형식을 저장하기 위해 무엇을 사용해야 합니까?

매일 1,500개의 새 파일이 폴더에 추가됩니다.
각각의 새 파일에서 Azure Synapse Analytics 작업 영역으로 5개의 데이터 열을 증분식으로 로드할 계획입니다.
증분 로드를 수행하는 데 걸리는 시간을 최소화해야 합니다.
파일과 형식을 저장하기 위해 무엇을 사용해야 합니까?

正解:

Explanation:
Box 1 = timeslice partitioning in the foldersThis means that you should organize your files into folders based on a time attribute, such as year, month, day, or hour. For example, you can have a folder structure like /yyyy
/mm/dd/file.csv. This way, you can easily identify and load only the new files that are added each day by using a time filter in your Azure Synapse pipeline12. Timeslice partitioning can also improve the performance of data loading and querying by reducing the number of files that need to be scanned Box = 2 Apache Parquet This is because Parquet is a columnar file format that can efficiently store and compress data with many columns. Parquet files can also be partitioned by a time attribute, which can improve the performance of incremental loading and querying by reducing the number of files that need to be scanned123. Parquet files are supported by both dedicated SQL pool and serverless SQL pool in Azure Synapse Analytics2.
Server1이라는 논리적 Microsoft SQL 서버가 포함된 Azure 구독이 있습니다. Server1은 Pool1이라는 Azure Synapse Analytics SQL 전용 풀을 호스팅합니다.
Server1용 TDE(투명한 데이터 암호화) 솔루션을 권장해야 합니다. 솔루션은 다음 요구 사항을 충족해야 합니다.
암호화 키 사용을 추적합니다.
암호화 키의 가용성에 영향을 미치는 Azure 데이터 센터 중단이 발생할 경우 Pool1에 대한 클라이언트 앱의 액세스를 유지합니다.
추천서에 무엇을 포함해야 합니까? 대답하려면 대답 영역에서 적절한 옵션을 선택하십시오.
참고: 각 올바른 선택은 1점의 가치가 있습니다.

Server1용 TDE(투명한 데이터 암호화) 솔루션을 권장해야 합니다. 솔루션은 다음 요구 사항을 충족해야 합니다.
암호화 키 사용을 추적합니다.
암호화 키의 가용성에 영향을 미치는 Azure 데이터 센터 중단이 발생할 경우 Pool1에 대한 클라이언트 앱의 액세스를 유지합니다.
추천서에 무엇을 포함해야 합니까? 대답하려면 대답 영역에서 적절한 옵션을 선택하십시오.
참고: 각 올바른 선택은 1점의 가치가 있습니다.

正解:

Explanation:

Box 1: TDE with customer-managed keys
Customer-managed keys are stored in the Azure Key Vault. You can monitor how and when your key vaults are accessed, and by whom. You can do this by enabling logging for Azure Key Vault, which saves information in an Azure storage account that you provide.
Box 2: Create and configure Azure key vaults in two Azure regions
The contents of your key vault are replicated within the region and to a secondary region at least 150 miles away, but within the same geography to maintain high durability of your keys and secrets.
Reference:
https://docs.microsoft.com/en-us/azure/synapse-analytics/security/workspaces-encryption
https://docs.microsoft.com/en-us/azure/key-vault/general/logging
Azure AD(Azure Active Directory) 통합을 사용하여 Azure Data Lake Storage Gen2에 자동으로 연결하는 Azure Databricks 클러스터를 구현해야 합니다. 새로운 클러터를 어떻게 구성해야 합니까? 대답하려면 대답에서 적절한 옵션을 선택하십시오. 참고: 각 올바른 선택은 1점의 가치가 있습니다.


正解:

Explanation:

https://docs.azuredatabricks.net/spark/latest/data-sources/azure/adls-passthrough.html
16개의 파티션이 있는 retailhub라는 Azure 이벤트 허브가 있습니다. 트랜잭션은 retailhub에 게시됩니다. 각 거래에는 거래 ID, 개별 항목 및 결제 세부정보가 포함됩니다. 트랜잭션 ID는 파티션 키로 사용됩니다.
소매점에서 잠재적 사기 거래를 식별하기 위해 Azure Stream Analytics 작업을 설계하고 있습니다. 작업은 retailhub를 입력으로 사용합니다. 이 작업은 트랜잭션 ID, 개별 라인 항목, 결제 세부 정보, 사기 점수 및 사기 지표를 출력합니다.
사기 허브라는 Azure 이벤트 허브로 출력을 보낼 계획입니다.
사기 탐지 솔루션의 확장성이 뛰어나고 트랜잭션을 가능한 한 빨리 처리하는지 확인해야 합니다.
Stream Analytics 작업의 출력을 어떻게 구성해야 합니까? 대답하려면 대답 영역에서 적절한 옵션을 선택하십시오.
참고: 각 올바른 선택은 1점의 가치가 있습니다.

소매점에서 잠재적 사기 거래를 식별하기 위해 Azure Stream Analytics 작업을 설계하고 있습니다. 작업은 retailhub를 입력으로 사용합니다. 이 작업은 트랜잭션 ID, 개별 라인 항목, 결제 세부 정보, 사기 점수 및 사기 지표를 출력합니다.
사기 허브라는 Azure 이벤트 허브로 출력을 보낼 계획입니다.
사기 탐지 솔루션의 확장성이 뛰어나고 트랜잭션을 가능한 한 빨리 처리하는지 확인해야 합니다.
Stream Analytics 작업의 출력을 어떻게 구성해야 합니까? 대답하려면 대답 영역에서 적절한 옵션을 선택하십시오.
참고: 각 올바른 선택은 1점의 가치가 있습니다.

正解:

Explanation:

Box 1: 16
For Event Hubs you need to set the partition key explicitly.
An embarrassingly parallel job is the most scalable scenario in Azure Stream Analytics. It connects one partition of the input to one instance of the query to one partition of the output.
Box 2: Transaction ID
Reference:
https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-features#partitions
참고: 이 질문은 동일한 시나리오를 제시하는 일련의 질문 중 일부입니다. 시리즈의 각 질문에는 명시된 목표를 충족할 수 있는 고유한 솔루션이 포함되어 있습니다. 일부 질문 세트에는 하나 이상의 올바른 솔루션이 있을 수 있지만 다른 질문 세트에는 올바른 솔루션이 없을 수 있습니다.
이 섹션의 질문에 답한 후에는 해당 질문으로 돌아갈 수 없습니다. 결과적으로 이러한 질문은 검토 화면에 나타나지 않습니다.
Table1이라는 테이블이 포함된 Azure Synapse Analytics 전용 SQL 풀이 있습니다.
수집되어 container1이라는 Azure Data Lake Storage Gen2 컨테이너에 로드되는 파일이 있습니다.
container1에 있는 파일의 데이터를 Table1에 삽입하고 데이터 a를 변환할 계획입니다. 파일의 각 데이터 행은 Table1의 제공 계층에서 하나의 행을 생성합니다.
소스 데이터 파일이 container1에 로드될 때 DateTime이 Table1에 추가 열로 저장되는지 확인해야 합니다.
솔루션: Azure Synapse Analytics 서버리스 SQL 풀을 사용하여 추가 DateTime 열이 있는 외부 테이블을 만듭니다.
이것이 목표를 달성합니까?
이 섹션의 질문에 답한 후에는 해당 질문으로 돌아갈 수 없습니다. 결과적으로 이러한 질문은 검토 화면에 나타나지 않습니다.
Table1이라는 테이블이 포함된 Azure Synapse Analytics 전용 SQL 풀이 있습니다.
수집되어 container1이라는 Azure Data Lake Storage Gen2 컨테이너에 로드되는 파일이 있습니다.
container1에 있는 파일의 데이터를 Table1에 삽입하고 데이터 a를 변환할 계획입니다. 파일의 각 데이터 행은 Table1의 제공 계층에서 하나의 행을 생성합니다.
소스 데이터 파일이 container1에 로드될 때 DateTime이 Table1에 추가 열로 저장되는지 확인해야 합니다.
솔루션: Azure Synapse Analytics 서버리스 SQL 풀을 사용하여 추가 DateTime 열이 있는 외부 테이블을 만듭니다.
이것이 목표를 달성합니까?
正解:B
解答を投票する
解説: (JPNTest メンバーにのみ表示されます)
Twitter 피드에 대한 데이터 수집 및 저장 솔루션을 설계해야 합니다. 솔루션은 고객 감정 분석 요구 사항을 충족해야 합니다.
솔루션에 무엇을 포함해야 합니까? 대답하려면 대답 영역에서 적절한 옵션을 선택하십시오. 참고: 각 정답은 1점의 가치가 있습니다.

솔루션에 무엇을 포함해야 합니까? 대답하려면 대답 영역에서 적절한 옵션을 선택하십시오. 참고: 각 정답은 1점의 가치가 있습니다.

正解:

Explanation:

Box 1: Configure Evegent Hubs partitions
Scenario: Maximize the throughput of ingesting Twitter feeds from Event Hubs to Azure Storage without purchasing additional throughput or capacity units.
Event Hubs is designed to help with processing of large volumes of events. Event Hubs throughput is scaled by using partitions and throughput-unit allocations.
Event Hubs traffic is controlled by TUs (standard tier). Auto-inflate enables you to start small with the minimum required TUs you choose. The feature then scales automatically to the maximum limit of TUs you need, depending on the increase in your traffic.
Box 2: An Azure Data Lake Storage Gen2 account
Scenario: Ensure that the data store supports Azure AD-based access control down to the object level.
Azure Data Lake Storage Gen2 implements an access control model that supports both Azure role-based access control (Azure RBAC) and POSIX-like access control lists (ACLs).
Reference:
https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-features
https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-access-control
다음 그림과 같이 소스 제어를 위해 Git 저장소를 사용하도록 구성된 Azure 데이터 팩토리가 있습니다.

그래픽에 제시된 정보를 토대로 각 진술문을 완성하는 답변 선택지를 선택하려면 드롭다운 메뉴를 사용하세요.
참고사항: 정답 하나당 1점입니다.


그래픽에 제시된 정보를 토대로 각 진술문을 완성하는 답변 선택지를 선택하려면 드롭다운 메뉴를 사용하세요.
참고사항: 정답 하나당 1점입니다.

正解:

온도라는 Apache Spark DataFrame이 있습니다. 데이터 샘플은 다음 표에 나와 있습니다.

Spark SQL 쿼리를 사용하여 다음 테이블을 생성해야 합니다.

쿼리를 어떻게 완료해야 합니까? 응답하려면 적절한 값을 올바른 대상으로 드래그하십시오. 각 값은 한 번, 두 번 이상 사용되거나 전혀 사용되지 않을 수 있습니다. 콘텐츠를 보려면 창 사이의 분할 막대를 끌거나 스크롤해야 할 수 있습니다.
참고: 각 올바른 선택은 1점의 가치가 있습니다.


Spark SQL 쿼리를 사용하여 다음 테이블을 생성해야 합니다.

쿼리를 어떻게 완료해야 합니까? 응답하려면 적절한 값을 올바른 대상으로 드래그하십시오. 각 값은 한 번, 두 번 이상 사용되거나 전혀 사용되지 않을 수 있습니다. 콘텐츠를 보려면 창 사이의 분할 막대를 끌거나 스크롤해야 할 수 있습니다.
참고: 각 올바른 선택은 1점의 가치가 있습니다.

正解:

Explanation:

Box 1: PIVOT
PIVOT rotates a table-valued expression by turning the unique values from one column in the expression into multiple columns in the output. And PIVOT runs aggregations where they're required on any remaining column values that are wanted in the final output.
Reference:
https://learnsql.com/cookbook/how-to-convert-an-integer-to-a-decimal-in-sql-server/
https://docs.microsoft.com/en-us/sql/t-sql/queries/from-using-pivot-and-unpivot