試験準備には欠かさない！Databricks-Certified-Data-Engineer-Associate日本語問題解答でDatabricks-Certified-Data-Engineer-Associate日本語試験問題集
リアルDatabricks Databricks-Certified-Data-Engineer-Associate日本語試験問題 [更新されたのは2025年]
質問 # 37
次の構造化ストリーミング クエリのうち、シルバー テーブルからゴールド テーブルへのホップを実行しているのはどれですか。
- A.
- B.
- C.
- D.
- E.
正解：C
解説：
The best practice is to use "Complete" as output mode instead of "append" when working with aggregated tables. Since gold layer is work final aggregated tables, the only option with output mode as complete is option E.
質問 # 38
データエンジニアは、毎朝仕事を始める前に実行される単一タスクのジョブを持っています。上流のデータの問題を特定した後、元のタスクの前に新しいノートブックを実行するための別のタスクを設定する必要があります。
データ エンジニアが新しいタスクを設定するために使用できるアプローチは次のどれですか。
- A. 新しいジョブを最初から作成し、両方のタスクを追加して同時に実行することができます。
- B. 既存のジョブに新しいタスクを作成し、元のタスクを新しいタスクの依存関係として追加できます。
- C. 既存のジョブに新しいタスクを作成し、それを元のタスクの依存関係として追加できます。
- D. 既存のジョブ内の既存のタスクを複製し、更新して新しいノートブックを実行できます。
- E. 既存のタスクを新しいジョブに複製し、それを編集して新しいノートブックを実行できます。
正解：C
解説：
To set up the new task to run a new notebook prior to the original task in a single-task Job, the data engineer can use the following approach: In the existing Job, create a new task that corresponds to the new notebook that needs to be run. Set up the new task with the appropriate configuration, specifying the notebook to be executed and any necessary parameters or dependencies. Once the new task is created, designate it as a dependency of the original task in the Job configuration. This ensures that the new task is executed before the original task.
質問 # 39
Delta Live Table パイプラインには、STREAMING LIVE TABLE を使用して定義された 2 つのデータセットが含まれます。LIVE TABLE を使用して Delta Lake テーブル ソースに対して 3 つのデータセットが定義されています。
テーブルは、継続パイプライン モードを使用してプロダクション モードで実行されるように構成されています。
以前に処理されていないデータが存在し、すべての定義が有効であると仮定すると、[開始] をクリックしてパイプラインを更新した後の予想される結果は何ですか?
- A. すべてのデータセットが一度更新され、パイプラインがシャットダウンされます。コンピューティングリソースは終了します。
- B. パイプラインがシャットダウンされるまで、すべてのデータセットは設定された間隔で更新されます。コンピューティングリソースは更新のためにデプロイされ、パイプラインが停止すると終了します。
- C. パイプラインがシャットダウンされるまで、すべてのデータセットは設定された間隔で更新されます。コンピューティングリソースは、追加のテストを可能にするために保持されます。
- D. すべてのデータセットは一度更新され、パイプラインは処理されずに保持されます。コンピューティングリソースは保持されますが、使用されません。
- E. すべてのデータセットが一度更新され、パイプラインはシャットダウンされます。コンピューティングリソースは、追加のテストのために保持されます。
正解：B
解説：
In Production mode, the pipeline runs continuously and updates the output tables whenever new data is available in the input sources. The compute resources are allocated on demand and released when the pipeline is stopped. This mode is suitable for production workloads that require high availability and reliability. Reference: Configure pipeline settings for Delta Live Tables, Tutorial: Run your first Delta Live Tables pipeline, Building Reliable Data Pipelines Using DataBricks' Delta Live Tables
質問 # 40
データ エンジニアは、テーブルから読み取り、データを操作し、新しいテーブルにストリーミング書き込みを実行するように構造化ストリーミング ジョブを構成しました。
データ エンジニアが使用するコード ブロックは次のとおりです。
データ エンジニアが、クエリでマイクロバッチを実行して 5 秒ごとにデータを処理するだけの場合、空白を埋めるためにどのコード行を使用する必要がありますか。
- A. trigger(processingTime="5 seconds")
- B. trigger("5 seconds")
- C. trigger(continuous="5 seconds")
- D. trigger(once="5 seconds")
正解：A
質問 # 41
Structured Streaming が処理の正確な進行状況を確実に追跡し、再起動や再処理によってあらゆる種類の障害に対処できるようにするには、Spark が各トリガーで処理されるデータのオフセット範囲を記録するために使用する次の 2 つのアプローチのどちらですか。
- A. チェックポイントとべき等シンク
- B. 先行書き込みログとべき等シンク
- C. 構造化ストリーミングでは、各トリガーで処理されるデータのオフセット範囲を記録できません。
- D. チェックポイントと先行書き込みログ
- E. 再生可能なソースとべき等なシンク
正解：D
解説：
Structured Streaming uses checkpointing and write-ahead logs to record the offset range of the data being processed in each trigger. This ensures that the engine can reliably track the exact progress of the processing and handle any kind of failure by restarting and/or reprocessing. Checkpointing is the mechanism of saving the state of a streaming query to fault-tolerant storage (such as HDFS) so that it can be recovered after a failure. Write-ahead logs are files that record the offset range of the data being processed in each trigger and are written to the checkpoint location before the processing starts. These logs are used to recover the query state and resume processing from the last processed offset range in case of a failure. Reference: Structured Streaming Programming Guide, Fault Tolerance Semantics
質問 # 42
次のシナリオのうち、データ エンジニアが INSERT INTO コマンドの代わりに MERGE INTO コマンドを使用する必要があるのはどれですか。
- A. ソースがデルタテーブルではない場合
- B. ソーステーブルを削除できる場合
- C. データの場所を変更する必要がある場合
- D. 対象テーブルに重複レコードを含めることができない場合
- E. 対象テーブルが外部テーブルの場合
正解：D
解説：
The MERGE INTO command is used to perform upserts, which are a combination of insertions and updates, based on a source table into a target Delta table1. The MERGE INTO command can handle scenarios where the target table cannot contain duplicate records, such as when there is a primary key or a unique constraint on the target table. The MERGE INTO command can match the source and target rows based on a merge condition and perform different actions depending on whether the rows are matched or not. For example, the MERGE INTO command can update the existing target rows with the new source values, insert the new source rows that do not exist in the target table, or delete the target rows that do not exist in the source table1.
The INSERT INTO command is used to append new rows to an existing table or create a new table from a query result2. The INSERT INTO command does not perform any updates or deletions on the existing target table rows. The INSERT INTO command can handle scenarios where the location of the data needs to be changed, such as when the data needs to be moved from one table to another, or when the data needs to be partitioned by a certain column2. The INSERT INTO command can also handle scenarios where the target table is an external table, such as when the data is stored in an external storage system like Amazon S3 or Azure Blob Storage3. The INSERT INTO command can also handle scenarios where the source table can be deleted, such as when the source table is a temporary table or a view4. The INSERT INTO command can also handle scenarios where the source is not a Delta table, such as when the source is a Parquet, CSV, JSON, or Avro file5.
Reference:
1: MERGE INTO | Databricks on AWS
2: [INSERT INTO | Databricks on AWS]
3: [External tables | Databricks on AWS]
4: [Temporary views | Databricks on AWS]
5: [Data sources | Databricks on AWS]
質問 # 43
あるプロジェクトに新しいデータエンジニアリングチームが配属されました。チームは、既存のテーブルを確認するためにデータベースの顧客にアクセスする必要があります。チームには独自のグループチームがあります。
新しいチームにデータベース全体に対する必要な権限を付与するには、次のコマンドのどれを使用できますか?
- A. データベース customers の使用権限を team に付与します。
- B. データベース 顧客に対する CREATE 権限を team に付与します。
- C. カタログ顧客のビューをチームに付与します。
- D. データベース team に対する CREATE 権限を customer に付与します。
- E. カタログ チームの使用権限を顧客に付与します。
正解：A
解説：
The correct command to grant the necessary permission on the entire database to the new team is to use the GRANT USAGE command. The GRANT USAGE command grants the principal the ability to access the securable object, such as a database, schema, or table. In this case, the securable object is the database customers, and the principal is the group team. By granting usage on the database, the team will be able to see what tables already exist in the database. Option E is the only option that uses the correct syntax and the correct privilege type for this scenario. Option A uses the wrong privilege type (VIEW) and the wrong securable object (CATALOG). Option B uses the wrong privilege type (CREATE), which would allow the team to create new tables in the database, but not necessarily see the existing ones. Option C uses the wrong securable object (CATALOG) and the wrong principal (customers). Option D uses the wrong securable object (team) and the wrong principal (customers). Reference: GRANT, Privilege types, Securable objects, Principals
質問 # 44
特定のユースケースに特化したサイロ化されたデータ アーキテクチャを簡素化および統合するために使用できるのは次のどれですか。
- A. データウェアハウス
- B. どれでもない
- C. データレイク
- D. これらすべて
- E. データレイクハウス
正解：E
解説：
A data lakehouse is a new paradigm that can be used to simplify and unify siloed data architectures that are specialized for specific use cases. A data lakehouse combines the best of both data lakes and data warehouses, providing a single platform that supports diverse data types, open standards, low-cost storage, high-performance queries, ACID transactions, schema enforcement, and governance. A data lakehouse enables data engineers to build reliable and scalable data pipelines that can serve various downstream applications and users, such as data science, machine learning, analytics, and reporting. A data lakehouse leverages the power of Delta Lake, a storage layer that brings reliability and performance to data lakes. Reference: What is a data lakehouse?, Delta Lake, Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
質問 # 45
Spark SQL の配列関数によって提供される利点は次のどれですか?
- A. 特定のパーティションとウィンドウ内のデータを操作する機能
- B. 指定された間隔で時間関連のデータを処理する機能
- C. 手続きの自動化のためにテーブルの配列を操作する機能
- D. JSONファイルから取り込んだ複雑なネストされたデータを扱う機能
- E. 一度にさまざまなタイプのデータを処理する機能
正解：D
解説：
The array functions from Spark SQL are a subset of the collection functions that operate on array columns1. They provide an ability to work with complex, nested data ingested from JSON files or other sources2. For example, the explode function can be used to transform an array column into multiple rows, one for each element in the array3. The array_contains function can be used to check if a value is present in an array column4. The array_join function can be used to concatenate all elements of an array column with a delimiter. These functions can be useful for processing JSON data that may have nested arrays or objects. Reference: 1: Spark SQL, Built-in Functions - Apache Spark 2: Spark SQL Array Functions Complete List - Spark By Examples 3: Spark SQL Array Functions - Syntax and Examples - DWgeek.com 4: Spark SQL, Built-in Functions - Apache Spark : Spark SQL, Built-in Functions - Apache Spark : [Working with Nested Data Using Higher Order Functions in SQL on Databricks - The Databricks Blog]
質問 # 46
SQL を使用して Delta Live Tables (DLT) テーブルを作成するときに、CREATE LIVE TABLE 構文ではなく CREATE STREAMING LIVE TABLE (以前の CREATE INCREMENTAL LIVE TABLE) 構文を使用する必要があるのはどれですか。
- A. 複雑な集計を通じてデータを処理する必要がある場合は、CREATE STREAMING LIVE TABLE を使用する必要があります。
- B. データを増分的に処理する必要がある場合は、CREATE STREAMING LIVE TABLE を使用する必要があります。
- C. CREATE STREAMING LIVE TABLE は DLT では冗長なので、使用する必要はありません。
- D. DLT パイプラインの前のステップが静的である場合は、CREATE STREAMING LIVE TABLE を使用する必要があります。
- E. DLT パイプラインの後続のステップが静的である場合は、CREATE STREAMING LIVE TABLE を使用する必要があります。
正解：B
解説：
A streaming live table or view processes data that has been added only since the last pipeline update. Streaming tables and views are stateful; if the defining query changes, new data will be processed based on the new query and existing data is not recomputed. This is useful when data needs to be processed incrementally, such as when ingesting streaming data sources or performing incremental loads from batch data sources. A live table or view, on the other hand, may be entirely computed when possible to optimize computation resources and time. This is suitable when data needs to be processed in full, such as when performing complex transformations or aggregations that require scanning all the data. Reference: Difference between LIVE TABLE and STREAMING LIVE TABLE, CREATE STREAMING TABLE, Load data using streaming tables in Databricks SQL.
質問 # 47
データエンジニアは、組織の既存のSQLiteデータベースのデータを使用して、Databricksにテーブルを作成する必要があります。そのためには、次のコマンドを実行します。
テーブル jdbc_customer360 を作成する
USING
OPTIONS (
url "jdbc:sqlite:/customers.db", dbtable "customer360"
)
タスクを正常に完了するには、上記の空白を埋めるコードの行はどれですか?
- A. org.apache.spark.sql.jdbc
- B. オートローダー
- C. org.apache.spark.sql.sqlite
- D. sqlite
正解：A
解説：
To create a table in Databricks using data from an SQLite database, the correct syntax involves specifying the format of the data source. The format in the case of using JDBC (Java Database Connectivity) with SQLite is specified by the org.apache.spark.sql.jdbc format. This format allows Spark to interface with various relational databases through JDBC. Here is how the command should be structured:
CREATE TABLE jdbc_customer360
USING org.apache.spark.sql.jdbc
OPTIONS (
url "jdbc:sqlite:/customers.db",
dbtable "customer360"
)
The USING org.apache.spark.sql.jdbc line specifies that the JDBC data source is being used, enabling Spark to interact with the SQLite database via JDBC.
Reference:
Databricks documentation on JDBC: Connecting to SQL Databases using JDBC
質問 # 48
外部テーブルを使用するシナリオを特定します。
データ エンジニアは、Parquet Bronze テーブルを作成し、それが外部の場所の特定のパスに保存されるようにする必要があります。
このシナリオではどのテーブルを作成できますか?
- A. 場所が外部場所の特定のパスを指している管理対象テーブル。
- B. 場所が外部場所の特定のパスを指している外部テーブル。
- C. スキーマが外部場所の特定のパスを指す場所を管理している外部テーブル。
- D. カタログが外部場所の特定のパスを指す管理場所を持つ管理テーブル。
正解：B
質問 # 49
データエンジニアは、Databricks SQLダッシュボードを1時間ごとに更新するようにスケジュール設定したいと考えていますが、関連するSQLエンドポイントは必要な場合にのみ実行したいと考えています。ダッシュボードには、複数のデータセットに対する複数のクエリが関連付けられています。ダッシュボードに供給されるデータは、Databricksジョブによって自動的に処理されます。
データ エンジニアがダッシュボードの更新スケジュールで使用される SQL エンドポイントの合計実行時間を最小限に抑えるために使用できるアプローチはどれですか。
- A. 0 ダッシュボードの SQL エンドポイントが各クエリの SQL エンドポイントと一致していることを確認できます。
- B. O ダッシュボードの SQL エンドポイントをサーバーレスに設定できます。
- C. Q SQL エンドポイントの自動停止機能をオンにすることができます。
- D. O SQL エンドポイントのクラスター サイズを縮小できます。
正解：C
解説：
To minimize the total running time of the SQL endpoint used in the refresh schedule of a dashboard in Databricks, the most effective approach is to utilize the Auto Stop feature. This feature allows the SQL endpoint to automatically stop after a period of inactivity, ensuring that it only runs when necessary, such as during the dashboard refresh or when actively queried. This minimizes resource usage and associated costs by ensuring the SQL endpoint is not running idle outside of these operations.
Reference:
Databricks documentation on SQL endpoints: SQL Endpoints in Databricks
質問 # 50
データ アーキテクトは、次の形式のテーブルが必要であると判断しました。
次のコード ブロックのうち、この名前のテーブルが既に存在するかどうかに関係なく、SQL DDL コマンドを使用して上記の形式で空の Delta テーブルを作成するものはどれですか。
- A. オプションD
- B. オプションE
- C. オプションA
- D. オプションB
- E. オプションC
正解：B
質問 # 51
データ エンジニアは、Databricks SQL ダッシュボードを 1 日に 1 回更新するようにスケジュール設定したいと考えていますが、関連付けられている SQL エンドポイントは必要なときにのみ実行したいと考えています。
データ エンジニアがダッシュボードの更新スケジュールで使用される SQL エンドポイントの合計実行時間を最小限に抑えるために使用できるアプローチは次のどれですか。
- A. ダッシュボードの SQL エンドポイントをサーバーレスに設定できます。
- B. SQL エンドポイントのクラスター サイズを縮小できます。
- C. ダッシュボードの SQL エンドポイントが各クエリの SQL エンドポイントと一致していることを確認できます。
- D. SQL エンドポイントの自動停止機能をオンにできます。
- E. ダッシュボードの SQL エンドポイントが、含まれているクエリの SQL エンドポイントの 1 つではないことを確認できます。
正解：A
解説：
A serverless SQL endpoint is a compute resource that is automatically managed by Databricks and scales up or down based on the workload. A serverless SQL endpoint can be used to run queries and dashboards without requiring manual configuration or management. A serverless SQL endpoint is only active when it is needed and shuts down automatically when idle, minimizing the total running time and cost. A serverless SQL endpoint can be created and assigned to a dashboard using the Databricks SQL UI or the SQL Analytics API. Reference:
Create a serverless SQL endpoint
Assign a SQL endpoint to a dashboard
SQL Analytics API
質問 # 52
Delta Lake テーブルを保存するために使用されるファイル形式は何ですか?
- A. Parquet
- B. Delta
- C. JSON
- D. SV
正解：A
解説：
Delta Lake tables use the Parquet format as their underlying storage format. Delta Lake enhances Parquet by adding a transaction log that keeps track of all the operations performed on the table. This allows features like ACID transactions, scalable metadata handling, and schema enforcement, making it an ideal choice for big data processing and management in environments like Databricks.
Reference:
Databricks documentation on Delta Lake: Delta Lake Overview
質問 # 53
あるデータエンジニアは、小売業のユースケースにおいて、データ分析ダッシュボードへの入力データのクリーン度をDatabricks SQLダッシュボードで監視しています。このジョブには、売上が0である店舗レベルのレコードの数を返すDatabricks SQLクエリが含まれています。データエンジニアは、この値が0より大きい場合、メッセージングWebhookを介してチーム全体に通知したいと考えています。
売上高が 0 ドルの店舗数が 0 より大きい場合に、データ エンジニアがメッセージング Webhook を介してチーム全体に通知するために使用できるアプローチは次のどれですか。
- A. 新しい Webhook アラートの送信先を持つアラートを設定できます。
- B. 1 回限りの通知でアラートを設定できます。
- C. 通知なしでアラートを設定できます。
- D. カスタム テンプレートを使用してアラートを設定できます。
- E. 新しい電子メールアラートの送信先を指定してアラートを設定できます。
正解：A
解説：
A webhook alert destination is a notification destination that allows Databricks to send HTTP POST requests to a third-party endpoint when an alert is triggered. This enables the data engineer to integrate Databricks alerts with their preferred messaging or collaboration platform, such as Slack, Microsoft Teams, or PagerDuty. To set up a webhook alert destination, the data engineer needs to create and configure a webhook connector in their messaging platform, and then add the webhook URL to the Databricks notification destination. After that, the data engineer can create an alert for their Databricks SQL query, and select the webhook alert destination as the notification destination. The alert can be configured with a custom condition, such as when the number of stores with $0 in sales is greater than zero, and a custom message template, such as "Alert: {number_of_stores} stores have $0 in sales". The alert can also be configured with a recurrence interval, such as every hour, to check the query result periodically. When the alert condition is met, the data engineer and their team will receive a notification via the messaging webhook, with the custom message and a link to the Databricks SQL query. The other options are either not suitable for sending notifications via a messaging webhook (A, B, E), or not suitable for sending recurring notifications . Reference: Databricks Documentation - Manage notification destinations, Databricks Documentation - Create alerts for Databricks SQL queries, Databricks Documentation - Configure alert conditions and messages.
質問 # 54
オートローダーがデータを段階的に処理する際に使用するツールは次のどれですか?
- A. Spark構造化ストリーミング
- B. チェックポイント
- C. Unity カタログ
- D. データエクスプローラー
- E. データブリックスSQL
正解：A
解説：
Auto Loader provides a Structured Streaming source called cloudFiles that can process new data files as they arrive in cloud storage without any additional setup. Auto Loader uses a scalable key-value store to track ingestion progress and ensure exactly-once semantics. Auto Loader can ingest various file formats and load them into Delta Lake tables. Auto Loader is recommended for incremental data ingestion with Delta Live Tables, which extends the functionality of Structured Streaming and allows you to write declarative Python or SQL code to deploy a production-quality data pipeline. Reference: What is Auto Loader?, What is Auto Loader? | Databricks on AWS, Solved: How does Auto Loader ingest data? - Databricks - 5629
質問 # 55
......
Databricks-Certified-Data-Engineer-Associate日本語合格させる試験問題集には更新されたのは2025年：https://www.jpntest.com/shiken/Databricks-Certified-Data-Engineer-Associate-JPN-mondaishu