[2025年12月]更新のDatabricks-Certified-Data-Engineer-Associate日本語問題集完全版解答でDatabricks Certification試験学習ガイド
試験問題と解答Databricks-Certified-Data-Engineer-Associate日本語学習ガイド
質問 # 61
データエンジニアに、product列とrevenue列を持つdfというPySparkデータフレームが提供されています。データエンジニアは、各商品の総収益、平均収益、およびトランザクション数を算出するために、複雑な集計を行う必要があります。
データ エンジニアはどのコード スニペットを使用すべきでしょうか?
- A.
- B.
- C.
- D.
正解：B
質問 # 62
データエンジニアは個人用ラップトップで作業しており、クラウドストレージ上のDelta Lakeに保存されているデータに対して複雑な変換を実行する必要があります。エンジニアは、Databricksクラスターと連携し、ローカルIDEで作業するためにDatabricks Connectを使用することにしました。
Databricks Connect を使用すると、エンジニアはどのようにして Databricks クラスターと対話しながら、ローカル マシン上でシームレスにコードを開発、テスト、デバッグできるようになるのでしょうか。
- A. Databricks ランタイムを模倣したローカル環境を提供することで、エンジニアが好みの IDE を使用してコードを開発、テスト、デバッグできるようになります。
- B. ネットワーク接続を必要とせずにローカルマシンからSparkジョブを直接実行できるようにすることで
- C. Databricksランタイムを模倣したローカル環境を提供することで、エンジニアはDatabricks独自のWebインターフェースを通じてのみコードを開発、テスト、デバッグできるようになります。
- D. Databricks ランタイムを模倣したローカル環境を提供することで、エンジニアは Databricks に必要な特定の IDE を使用してコードを開発、テスト、デバッグできるようになります。
正解：A
質問 # 63
データ エンジニアは次のコマンドを使用して新しいデータベースを作成しました。
customer360 が存在しない場合はデータベースを作成します。
customer360 データベースは次のどの場所に配置されますか?
- A. dbfs:/user/hive/warehouse
- B. 正しい応答を決定するには、さらに情報が必要です
- C. dbfs:/user/hive/database/customer360
- D. dbfs:/user/hive/customer360
正解：A
解説：
dbfs:/user/hive/warehouse Thereby showing "dbfs:/user/hive/warehouse/customer360.db The location of the customer360 database depends on the value of the spark.sql.warehouse.dir configuration property, which specifies the default location for managed databases and tables. If the property is not set, the default value is dbfs:/user/hive/warehouse. Therefore, the customer360 database will be located in dbfs:/user
/hive/warehouse/customer360.db. However, if the property is set to a different value, such as dbfs:/user/hive
/database, then the customer360 database will be located in dbfs:/user/hive/database/customer360.db. Thus, more information is needed to determine the correct response.
Option A is not correct, as dbfs:/user/hive/database/customer360 is not the default location for managed databases and tables, unless the spark.sql.warehouse.dir property is explicitly set to dbfs:/user/hive/database.
Option B is not correct, as dbfs:/user/hive/warehouse is the default location for the root directory of managed databases and tables, not for a specific database. The database name should be appended with .db to the directory path, such as dbfs:/user/hive/warehouse/customer360.db.
Option C is not correct, as dbfs:/user/hive/customer360 is not a valid location for a managed database, as it does not follow the directory structure specified by the spark.sql.warehouse.dir property.
:
Databases and Tables
[Databricks Data Engineer Professional Exam Guide]
質問 # 64
Auto Loader がデータを増分処理するために使用するツールはどれですか?
- A. Unity カタログ
- B. Spark構造化ストリーミング
- C. チェックポイント
- D. データブリックスSQL
正解：B
解説：
Auto Loader in Databricks utilizes Spark Structured Streaming for processing data incrementally. This allows Auto Loader to efficiently ingest streaming or batch data at scale and to recognize new data as it arrives in cloud storage. Spark Structured Streaming provides the underlying engine that supports various incremental data loading capabilities like schema inference and file notification mode, which are crucial for the dynamic nature of data lakes.
References:Databricks documentation on Auto Loader: Auto Loader Overview
質問 # 65
あるデータエンジニアは、データ処理パイプラインの実行時エラーを最小限に抑え、高可用性を実現するという厳格なサービスレベルアグリーメント（SLA）を満たす必要がある組織で働いています。データエンジニアは、クラスターの管理とチューニングに伴う運用上のオーバーヘッドを回避したいと考えています。
どのアーキテクチャソリューションが要件を満たすでしょうか?
- A. 社内の IT スタッフによって最適化された専用の手動管理クラスターをデプロイします。
- B. ユーザーが構成および監視する自動スケーリング クラスターを使用します。
- C. リソースを自動的に最適化し、クラスター管理を抽象化する Databricks サーバーレス コンピューティングを活用します。
- D. カスタム クラウド VM 上でスケジュールされたバッチ ジョブを使用したハイブリッド アプローチを実装します。
正解：C
質問 # 66
Databricks Lakehouse プラットフォームを使用する利点のうち、Delta Lake によって提供されるものはどれですか?
- A. さまざまな言語を使用して同じデータを操作する能力
- B. クエリ失敗時のアラートを設定する機能
- C. バッチおよびストリーミングワークロードをサポートする機能
- D. 複雑なデータ操作を分散する機能
- E. 1つのノートブックでリアルタイムに共同作業できる機能
正解：C
解説：
Delta Lake is the optimized storage layer that provides the foundation for storing data and tables in the Databricks lakehouse. Delta Lake is fully compatible with Apache Spark APIs, and was developed for tight integration with Structured Streaming, allowing you to easily use a single copy of data for both batch and streaming operations and providing incremental processing at scale1. Delta Lake supports upserts using the merge operation, which enables you to efficiently update existing data or insert new data into your Delta tables2. Delta Lake also provides time travel capabilities, which allow you to query previous versions of your data or roll back to a specific point in time3. Reference: 1: What is Delta Lake? | Databricks on AWS 2: Upsert into a table using merge | Databricks on AWS 3: [Query an older snapshot of a table (time travel) | Databricks on AWS] Learn more
質問 # 67
データ エンジニアは、フランスに住む顧客の名前を含む新しいテーブルを作成したいと考えています。
彼らは次のコマンドを書きました:
上級データ エンジニアは、新しいテーブルに個人を特定できる情報 (PII) が含まれていることを示すテーブル プロパティを含めることが組織のポリシーであると述べています。
次のコード行のうち、上記の空白を埋めてタスクを正常に完了するものはどれですか?
- A. コメント「PII が含まれています」
- B. 追加
- C. テーブルプロパティ PII
- D. 「コメント PII」
- E. テーブルに PII が含まれているかどうかを示す方法はありません。
正解：A
解説：
In Databricks, when creating a table, you can add a comment to columns or the entire table to provide more information about the data it contains. In this case, since it's organization policy to indicate that the new table includes personally identifiable information (PII), option D is correct. The line of code would be added after defining the table structure and before closing with a semicolon. References: Data Engineer Associate Exam Guide, CREATE TABLE USING (Databricks SQL)
質問 # 68
次のデータ ワークロードのうち、ソースとしてゴールド テーブルを利用するものはどれですか。
- A. クリーンアップされていないデータを集約して標準的な要約統計を作成するジョブ
- B. タイムスタンプを人間が読める形式に解析してデータを充実させるジョブ
- C. ストリーミングソースから生データをレイクハウスに取り込むジョブ
- D. ダッシュボードにフィードするために設計された集計データをクエリするジョブ
- E. 不正な形式のレコードを削除してデータをクリーンアップするジョブ
正解：D
解説：
A Gold table is a table that contains highly refined and aggregated data that powers analytics, machine learning, and production applications. It represents data that has been transformed into knowledge, rather than just information. A Gold table is typically the final output of a medallion lakehouse architecture, where data flows from Bronze to Silver to Gold tables, with each layer improving the structure and quality of data. A job that queries aggregated data designed to feed into a dashboard is an example of a data workload that will utilize a Gold table as its source, as it requires data that is ready for consumption and analysis. The other options are either data workloads that will use a Bronze or Silver table as their source, or data workloads that will produce a Gold table as their output. Reference: Databricks Documentation - What is the medallion lakehouse architecture?, Databricks Documentation - What is a Medallion Architecture?, K21Academy - Delta Lake Architecture & Azure Databricks Workspace.
質問 # 69
データエンジニアは、Delta Live Tables（DLT）パイプラインに3つのテーブルを配置しています。各テーブルで無効なレコードを削除するようにパイプラインを設定しています。DLTパイプラインのどこかの時点で、品質上の懸念から一部のデータが削除されていることに気付きました。パイプラインのどのテーブルでデータが削除されているのかを特定したいと考えています。
データ エンジニアがレコードを削除しているテーブルを識別するために実行できるアプローチは次のどれですか。
- A. レコードが削除されたときに電子メールで通知するように DLT を設定できます。
- B. DLT パイプライン ページに移動し、「エラー」ボタンをクリックして、現在のエラーを確認できます。
- C. DLT パイプラインを開発するときに、テーブルごとに個別の期待値を設定できます。
- D. DLT パイプライン ページに移動し、各テーブルをクリックして、データ品質の統計を表示できます。
- E. どのテーブルがレコードを削除しているかを判断できません。
正解：D
解説：
One of the features of DLT is that it provides data quality metrics for each dataset in the pipeline, such as the number of records that pass or fail expectations, the number of records that are dropped, and the number of records that are written to the target. These metrics can be accessed from the DLT pipeline page, where the data engineer can click on each table and view the data quality statistics for the latest update or any previous update. This way, they can identify which table is dropping the records and why. Reference:
Monitor Delta Live Tables pipelines
Manage data quality with Delta Live Tables
質問 # 70
データ エンジニアは、データ パイプラインの一部として Delta テーブルを使用する必要がありますが、適切な権限があるかどうかがわかりません。
データ エンジニアはどこでテーブルに対する権限を確認できますか?
- A. ジョブ
- B. ダッシュボード
- C. カタログエクスプローラー
- D. 休憩
正解：C
質問 # 71
データ エンジニアは、特定の培地内の細菌の個体数を計算する関数を Databricks Notebook に記述しました。
アナリストはノートブックでこの関数を使用しますが、間違ったデータ型の入力引数を指定することがあり、実行中にエラーが発生する可能性があります。
入力として誤ったデータ型が指定されているかどうかをデータ エンジニアが迅速に識別するのに役立つ Databricks の機能はどれですか。
- A. Databricksデバッガーは、間違ったデータ型が送信された場合にエラーを発生させるブレークポイントを有効にします。
- B. Spark ユーザー インターフェイスには、このセッションで使用される変数を含むデバッグ タブがあります。
- C. データ エンジニアは、変数が何であるかを調べるために print ステートメントを追加する必要があります。
- D. Databricks デバッガーでは、変数エクスプローラーを使用して変数の値を一目で確認できます。
正解：D
質問 # 72
重複レコードの書き込みを回避しながら Delta テーブルにデータを書き込むために使用できるコマンドはどれですか。
- A. ゴー
- B. 無視
- C. 追加
- D. ドロップ
- E. 挿入
正解：A
解説：
The MERGE command can be used to upsert data from a source table, view, or DataFrame into a target Delta table. It allows you to specify conditions for matching and updating existing records, and inserting new records when no match is found. This way, you can avoid writing duplicate records into a Delta table1. The other commands (DROP, IGNORE, APPEND, INSERT) do not have this functionality and may result in duplicate records or data loss234. References: 1: Upsert into a Delta Lake table using merge | Databricks on AWS 2: SQL DELETE | Databricks on AWS 3: SQL INSERT INTO | Databricks on AWS 4: SQL UPDATE
| Databricks on AWS
質問 # 73
データ エンジニアは、テーブルから読み取り、データを操作し、新しいテーブルにストリーミング書き込みを実行するように構造化ストリーミング ジョブを構成しました。
データ エンジニアが使用するコード ブロックは次のとおりです。
データ エンジニアが、クエリでマイクロバッチを実行して 5 秒ごとにデータを処理するだけの場合、空白を埋めるためにどのコード行を使用する必要がありますか。
- A. trigger(once="5 seconds")
- B. trigger(processingTime="5 seconds")
- C. trigger("5 seconds")
- D. trigger(continuous="5 seconds")
正解：B
質問 # 74
Auto Loader と互換性のあるワークロードの種類は何ですか?
- A. バッチワークロード
- B. 機械学習ワークロード
- C. サーバーレスワークロード
- D. ストリーミングワークロード
正解：D
質問 # 75
「Students」テーブルのデルタトランザクションログは、「DESCRIBE HISTORY students」コマンドを使用して表示されます。データエンジニアは、ログに記録されているUPDATE操作前のテーブルの状態をクエリする必要があります。
これを実現するためにデータ エンジニアが使用すべきコマンドはどれですか? (2 つ選択してください。)
- A. students@v4 から * を選択
- B. 学生から '2024-04-22T 14:32:47.000+00:00' のタイムスタンプを選択して * ください
- C. SELECT * FROM students TIMESTAMP AS OF '2024-04-22T 14:32:58.000+00:00'
- D. 学生バージョン 5 以降から * を選択
- E. SELECT * FROM students FROM HISTORY VERSION AS OF 3
正解：A、B
質問 # 76
データエンジニアは、eコマース取引のデルタテーブルのデータレイアウトとクエリパフォーマンスを最適化する必要があります。テーブルは「purchase_date」という日付列でパーティション分割されています。これは時間ベースのクエリには役立ちますが、高カーディナリティ列であるユーザー統計「customer_id」の検索には適していません。
テーブルは通常、「customer_i」のフィルターを使用してクエリされます。
特定の日付範囲内で「d」というデータが生成されますが、このデータは各パーティション内の複数のファイルに分散されているため、完全なパーティション スキャンが必要となり、実行時間とコストが増加します。
データ エンジニアは、効率的な読み取りのためにデータ レイアウトをどのように最適化すればよいでしょうか。
- A. テーブルを「customer_id」でパーティション分割するように変更します。
- B. パフォーマンス向上のため、頻繁な読み取りがキャッシュされるように、クラスター上でデルタ キャッシュを有効にします。
- C. 「customer_id」と「purchase_date」で Liquid クラスタリングを実装するテーブルを変更します。
- D. 既存のパーティションを維持しながら、「customerid」に Liquid Clustering を実装するテーブルを変更します。
正解：C
質問 # 77
データエンジニアは、クラウド内の社内カスタム定義ネットワーク内にあるデータベースに保存されているデータに対して探索的分析を実施する必要があります。このタスクにはSQLを使用しています。
どのタイプの SQL ウェアハウスを使用すると、データ エンジニアが大量のクエリを迅速かつコスト効率よく処理できるようになりますか?
- A. クラシック SQL ウェアハウス
- B. サーバーレス SQL ウェアハウス
- C. ノートブック向けサーバーレスコンピューティング
- D. プロ SQL ウェアハウス
正解：B
質問 # 78
Delta Live Table パイプラインには、STREAMING LIVE TABLE を使用して定義された 2 つのデータセットが含まれます。LIVE TABLE を使用して Delta Lake テーブル ソースに対して 3 つのデータセットが定義されています。
テーブルは、継続パイプライン モードを使用して開発モードで実行されるように構成されています。
以前に処理されていないデータが存在し、すべての定義が有効であると仮定すると、[開始] をクリックしてパイプラインを更新した後の予想される結果は何ですか?
- A. すべてのデータセットが一度更新され、パイプラインはシャットダウンされます。コンピューティングリソースは追加のテストのために保持されます。
- B. すべてのデータセットは一度更新され、パイプラインは処理されずに保持されます。コンピューティングリソースは保持されますが、使用されません。
- C. すべてのデータセットが一度更新され、パイプラインがシャットダウンされます。コンピューティングリソースは終了します。
- D. パイプラインがシャットダウンされるまで、すべてのデータセットは設定された間隔で更新されます。コンピューティングリソースは追加のテストのために保持されます。
- E. パイプラインがシャットダウンされるまで、すべてのデータセットは設定された間隔で更新されます。コンピューティングリソースはパイプラインがシャットダウンされるまで保持されます。
正解：E
解説：
The Continuous Pipeline Mode for Delta Live Tables allows the pipeline to run continuously and process data as it arrives. This mode is suitable for streaming ingest and CDC workloads that require low-latency updates.
The Development mode for Delta Live Tables allows the pipeline to run on a dedicated cluster that is not shared with other pipelines. This mode is useful for testing and debugging the pipeline logic before deploying it to production. Therefore, the correct answer is B, because the pipeline will run continuously on a dedicated cluster until it is manually stopped, and the compute resources will be released only after the pipeline is shut down. References: Databricks Documentation - Configure pipeline settings for Delta Live Tables, Databricks Documentation - Continuous vs. triggered pipeline execution, Databricks Documentation - Development vs.
production mode.
質問 # 79
データエンジニアは、製造チームというグループへのアクセス権限を付与する必要があります。このチームには、品質スキーマにテーブルを作成する権限が必要です。
どの SQL コマンド セットが、manufacturing-team というグループに、manufacturing という親カタログを持つ production というスキーマ内にテーブルを作成することを最小限の権限で許可しますか。
- A. SCHEMA manufacturing.quality に対する CREATE TABLE 権限を Manufacturing-team に付与します。SCHEMA manufacturing.quality に対する CREATE SCHEMA 権限を Manufacturing-team に付与します。CATALOG manufacturing に対する CREATE CATALOG 権限を Manufacturing-team に付与します。
- B. SCHEMA manufacturing.quality に対する CREATE TABLE 権限を Manufacturing-team に付与します。SCHEMA manufacturing.quality に対する USE SCHEMA 権限を Manufacturing-team に付与します。CATALOG manufacturing に対する USE CATALOG 権限を Manufacturing-team に付与します。
- C. SCHEMA manufacturing.quality に対する TABLE の使用権限を Manufacturing-team に付与します。SCHEMA manufacturing.quality に対する CHEMA の使用権限を Manufacturing-team に付与します。CATALOG に対する CATALOG の使用権限を Manufacturing-team に付与します。
- D. SCHEMA manufacturing.quality に対する CREATE TABLE 権限を Manufacturing-team に付与します。SCHEMA manufacturing.quality に対する CREATE SCHEMA 権限を Manufacturing-team に付与します。CATALOG manufacturing に対する USE CATALOG 権限を Manufacturing-team に付与します。
正解：B
解説：
To create a table within a schema, a principal must have CREATE TABLE on the schema, USE SCHEMA on that schema, and USE CATALOG on the parent catalog. This combination ensures the group has just enough privileges to create objects in that schema without excessive permissions like CREATE SCHEMA or CREATE CATALOG.
Reference Source: Databricks Unity Catalog Privilege Model - "Privileges Required to Create a Table."
質問 # 80
データエンジニアはnew_uableテーブルにアクセスする必要がありますが、適切な権限がありません。テーブルの所有者に権限を尋ねることはできますが、テーブルの所有者が誰なのかがわかりません。
new_table の所有者を識別するにはどのアプローチを使用できますか?
- A. テーブルの所有者を識別する方法はありません
- B. データエクスプローラーのテーブルのページで所有者フィールドを確認します。
- C. データエクスプローラーのテーブルのページの権限タブを確認します
- D. クラウド ストレージ ソリューションのテーブルのページの所有者フィールドを確認します。
正解：B
解説：
To find the owner of a table in Databricks, one can utilize the Data Explorer feature. The Data Explorer provides detailed information about various data objects, including tables. By navigating to the specific table's page in Data Explorer, a data engineer can review the Owner field, which identifies the individual or role that owns the table. This information is crucial for obtaining the necessary permissions or for any administrative actions related to the table.
Reference:
Databricks documentation on Data Explorer: Using Data Explorer in Databricks
質問 # 81
データ組織のリーダーは、データ分析チームのレポートがデータエンジニアリングチームのレポートと異なることに不満を抱いています。リーダーは、組織のデータエンジニアリングとデータ分析のアーキテクチャがサイロ化していることが原因だと考えています。
データ レイクハウスがこの問題をどのように軽減できるかを説明しているのは次のうちどれですか。
- A. 両チームは同じ部門に報告するように再編成される
- B. 両チームはデータサイズの変化に応じて作業を自動スケールします
- C. 両チームは同じ情報源を使って作業を進める
- D. 両チームがリアルタイムでプロジェクトに協力できるようになります
- E. 両チームともアドホックリクエストに迅速に対応できるようになります
正解：C
解説：
A data lakehouse is a data management architecture that combines the flexibility, cost-efficiency, and scale of data lakes with the data management and ACID transactions of data warehouses, enabling business intelligence (BI) and machine learning (ML) on all data12. By using a data lakehouse, both the data analysis and data engineering teams can access the same data sources and formats, ensuring data consistency and quality across their reports. A data lakehouse also supports schema enforcement and evolution, data validation, and time travel to old table versions, which can help resolve data conflicts and errors1. References: 1: What is a Data Lakehouse? - Databricks 2: What is a data lakehouse? | IBM
質問 # 82
Delta Live Table パイプラインには、ストリーミングライブテーブルを使用して定義された 2 つのデータセットが含まれています。ライブテーブルを使用して、Delta Lake テーブルソースに対して 3 つのデータセットが定義されています。
テーブルは、継続パイプライン モードを使用してプロダクション モードで実行されるように構成されています。
以前に処理されていないデータが存在し、すべての定義が有効であると仮定して、[開始] をクリックしてパイプラインを更新した後、どのような結果が期待されますか?
- A. パイプラインがシャットダウンされるまで、すべてのデータセットは設定された間隔で更新されます。コンピューティングリソースは、追加のテストを可能にするために保持されます。
- B. パイプラインがシャットダウンされるまで、すべてのデータセットは設定された間隔で更新されます。コンピューティングリソースは更新のためにデプロイされ、パイプラインが停止すると終了します。
- C. すべてのデータセットが一度更新され、パイプラインはシャットダウンされます。コンピューティングリソースは、追加のテストのために保持されます。
- D. すべてのデータセットが一度更新され、パイプラインがシャットダウンされます。コンピューティングリソースは終了します。
正解：B
解説：
In Delta Live Tables (DLT), when configured to run in Continuous Pipeline Mode, particularly in a production environment, the system is designed to continuously process and update data as it becomes available. This mode keeps the compute resources active to handle ongoing data processing and automatically updates all datasets defined in the pipeline at predefined intervals. Once the pipeline is manually stopped, the compute resources are terminated to conserve resources and reduce costs. This mode is suitable for production environments where datasets need to be kept up-to-date with the latest data.
References:Databricks documentation on Delta Live Tables: Delta Live Tables Guide
質問 # 83
データアナリストはSQLプログラムに一連のクエリを作成しています。このプログラムを毎日実行したいと考えています。プログラムの最後のクエリは日曜日のみ実行したいと考えており、このタスクを完了するためにデータエンジニアリングチームに支援を求めています。
データ エンジニアリング チームがこのタスクを完了するために使用できるアプローチは次のどれですか。
- A. データ モデルを再設計して、最終クエリで使用されるデータを新しいテーブルに分離することができます。
- B. プログラム全体を実行できるのは日曜日のみでした。
- C. この機能を追加するには、Databricks に機能リクエストを送信することができます。
- D. PySpark を使用してクエリをラップし、Python の制御フロー システムを使用して最終クエリをいつ実行するかを決定できます。
- E. 最終クエリでソース テーブルへのアクセスを自動的に制限し、日曜日のみアクセスできるようにすることができます。
正解：D
解説：
This approach would allow the data engineering team to use the existing SQL program and add some logic to control the execution of the final query based on the day of the week. They could use the datetime module in Python to get the current date and check if it is a Sunday. If so, they could run the final query, otherwise they could skip it. This way, they could schedule the program to run every day without changing the data model or the source table. Reference: PySpark SQL Module, Python datetime Module, Databricks Jobs
質問 # 84
ある組織は、AWS上のDatabricksワークスペースに保存されている大規模なデータセットを、AzureでホストされているDatabricksワークスペースを持つパートナー組織と共有する計画を立てています。データエンジニアは、安全かつ効率的なデータ共有を確保しながら、データ転送コストを最小限に抑えたいと考えています。
クラウド間のデータ共有に関連するデータ送信コストを削減する戦略はどれですか?
- A. 共有前にデータセットをCloudflare R2オブジェクトストレージに移行する
- B. 送信コストを監視せずに、署名済み URL 経由でデータを共有する
- C. AWS と Azure 間の VPN 接続を構成して、データ共有を高速化します。
- D. 追加の設定なしでデルタ共有を使用する
正解：D
質問 # 85
......
Databricks Certified Data Engineer Associate Exam (Databricks-Certified-Data-Engineer-Associate日本語版)無料で更新される100%試験高合格率保証：https://www.jpntest.com/shiken/Databricks-Certified-Data-Engineer-Associate-JPN-mondaishu