Databricks を接続する

このページでは、コンソールから Databricks アカウントを接続・管理する方法について説明します。接続後は、コンソール内で Databricks の利用状況およびコストデータを使用できます。詳細は、Databricks データの利用を参照してください。

学習パスを選択

以下のコンテンツを読むか、ビジュアルでの手順を確認したい場合は ▶️ インタラクティブデモ を参照してください。

開始前の準備

Databricks を DoiT と連携するには、次の条件を満たしている必要があります。

• Databricks の Account Admin であり、かつ metastore admin である必要があります。

• Databricks の warehouse が Unity catalog 用に有効化されている必要があります。

• Databricks SQL を自社ワークロードで使用していない場合でも、この連携には SQL warehouse が必要です。DoiT は、この SQL warehouse をコンピュートエンドポイントとして使用し、システムテーブルに対して 1 日に複数回クエリを実行します。

  • すでに使用可能な warehouse（自動作成される Serverless Starter Warehouse を含む）がある場合は、それを使用できます。

  • まだない場合は、ワークロードの分離性を高め、コストをより予測しやすくするために、専用の小さい classic SQL warehouse を作成してください。次の設定を推奨します。

    • Type: Classic
    • Cluster size: 2X-small
    • Auto stop: 5 minutes

必要な権限

Databricks アカウントを DoiT に接続するには、DoiT アカウントに Billing Profiles Admin 権限が必要です。

Databricks アカウントを接続する

コンソールでは、Databricks アカウントを接続するためのステップバイステップウィザードを提供しています。複数のアカウントを接続する場合は、アカウントごとにセットアップウィザードを完了してください。

ウィザードを起動する

ウィザードを起動するには、次の手順を実行してください。

1. 画面上部のナビゲーションメガメニューから Data ingestion and integrations ＞ Integrations を選択してください。

2. Databricks integration カードを探してください。

   • 最初のアカウントを追加する場合は、Connect + を選択してください。

   • 追加のアカウントを設定する場合は、Manage を選択してから Connect new account を選択してください。

ステップ 1: アカウントを設定する

Databricks と連携する際は、Databricks アカウントの詳細を入力する必要があります。

1. Databricks Workspace UI に Account Admin としてサインインしてください。

2. Account Settings に移動し、Databricks アカウント名をコピーしてください。

3. コンソールに移動し、Account name に Databricks アカウント名を入力してください。

4. Next を選択して、認証情報を設定してください。

   

ステップ 2: 認証情報を設定する

DoiT から Databricks へプログラム的にアクセスできるようにするには、Databricks アカウントごとに 1 つの Databricks service principal を作成し、secret を生成する必要があります。認証情報の設定は次の 4 つのパートで構成されます。

• Databricks service principal を作成し、secret を生成する。

• service principal にアクセス権を付与し、DoiT と連携する Databricks warehouse へのアクセスを許可する。

• service principal に対して Databricks SQL access エンタイトルメントを有効化する。

• service principal の secret を DoiT ウィザードに入力する。

service principal を作成する

DoiT が Databricks 環境へアクセスできるようにするには、専用の Databricks service principal を作成し、secret を生成してください。

1. Databricks Workspace UI にサインインしてください。

2. User Management を選択してください。

3. Service principals タブを選択し、Add service principal を選択してください。

4. service principal の名前を入力し、Add を選択してください。service principal が作成されます。

5. Credentials & secrets タブを選択し、Generate secret を選択してください。Generate OAuth secret ペインが表示されます。

6. Lifetime (days) に 730 と入力し、Generate を選択してください。

   注意

   DoiT と Databricks の接続を可能な限り長期間継続できるようにするため、service principal の secret の有効期間は 730 日に設定することを推奨します。ただし、この期間は組織のセキュリティポリシーに合わせて調整できます。Databricks アカウントを接続した後は、DoiT ウィザードから Databricks service principal の secret を更新できます。

7. secret と Client ID の両方をコピーしてください。

   注意

   secret は一度しか表示されません。ブラウザウィンドウを閉じる前に、必ず secret をコピーしてください。

8. Done を選択し、Generate OAuth secret ペインを閉じてください。

service principal に warehouse アクセスを付与する

作成した service principal に対して、DoiT と連携する Databricks warehouse へのアクセス権を付与する必要があります。

1. Databricks Workspace UI で Workspaces を選択してください。

2. DoiT に接続したい workspace を探し、ワークスペースエントリの一番右にあるケバブメニュー（⋮）から Update を選択してください。

   注意

   この workspace では、billing と compute の schema が有効になっている必要があります。

3. Permissions タブを選択し、Add permissions を選択してください。Add permissions ペインが表示されます。

4. User, group, or service principal で、先ほど作成した service principal を検索して選択してください。

5. Permission で User が選択されていることを確認し、Save を選択してください。

6. Configuration タブを選択し、Open workspace を選択してください。

7. SQL editor を選択してください。

8. 次の内容をコピーして New query タブに貼り付けてください。

   GRANT USE CATALOG ON CATALOG system TO `<client_id>`;
   
   GRANT USE SCHEMA ON SCHEMA system.access TO `<client_id>`;
   GRANT SELECT ON TABLE system.access.workspaces_latest TO `<client_id>`;
   
   GRANT USE SCHEMA ON SCHEMA system.billing TO `<client_id>`;
   GRANT SELECT ON TABLE system.billing.usage TO `<client_id>`;
   GRANT SELECT ON TABLE system.billing.list_prices TO `<client_id>`;
   
   GRANT USE SCHEMA ON SCHEMA system.compute TO `<client_id>`;
   GRANT SELECT ON TABLE system.compute.clusters TO `<client_id>`;
   GRANT SELECT ON TABLE system.compute.node_timeline TO `<client_id>`;
   GRANT SELECT ON TABLE system.compute.warehouses TO `<client_id>`;

   client_id を、先ほど作成した service principal の ID に置き換えてください。

9. ステートメントを実行してください。

10. DoiT と連携したいすべての warehouse について、これらの手順を繰り返してください。

service principal の Databricks SQL access を有効化する

先ほど作成した service principal に対して Databricks SQL access エンタイトルメントを有効化する必要があります。

1. Databricks Workspace UI で、Databricks workspace 上部バーのユーザー名を選択し、Settings を選択してください。

2. Identity and access タブを選択してください。

3. Service principals から Manage を選択してください。

4. 対象の service principal を選択し、詳細ページを開いてください。

5. Configurations タブを選択し、Databricks SQL access エンタイトルメントを選択してください。

6. Update を選択してください。コンソールに戻り、DoiT ウィザードに service principal の client ID と secret を追加してください。

service principal の secret を入力する

Databricks service principal を作成し、secret を生成したら、それを DoiT ウィザードに追加する必要があります。

1. コンソールに移動し、先ほど作成した service principal の client ID と secret を貼り付けてください。

2. Next を選択し、warehouse の追加に進んでください。

   

ステップ 3: warehouse を追加する

Databricks warehouse は、Databricks workspace に保存されたデータに対して SQL クエリを実行できる SQL warehouse です。Databricks を連携するには、Databricks アカウントに属する warehouse を少なくとも 1 つ追加する必要があります。

複数の workspace から warehouse を接続することもできますが、これは workspace が複数の AWS リージョンに分散している場合にのみ必要です。そのような場合、各リージョンで warehouse を接続することで、より包括的なクラスタ利用状況レポートが可能になります。Databricks の請求データはアカウントレベルであり、すべての workspace を対象とするため、workspace の数にかかわらず、請求データの完全なカバレッジには 1 つの warehouse だけで十分です。

Databricks アカウントを接続した後は、Integrations catalog 内の Databricks integration カードから新しい warehouse を追加できます。

1. Connect warehouse を選択してください。

2. warehouse を追加したいアカウント名を選択してください。

3. warehouse ID を入力してください。

   warehouse ID を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象の warehouse 名を選択して詳細ページを開いてください。

4. warehouse が属する Databricks workspace の server hostname を入力してください。

   server hostname を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象の warehouse 名を選択して詳細ページを開いてください。Connection details タブを選択し、Server hostname から server hostname をコピーしてください。

   

5. Test connection を選択してください。テストが成功したら、Add を選択してください。

6. 追加したい各 warehouse について、これらの手順を繰り返してください。

7. すべての warehouse を追加し終えたら、Finish を選択してください。

注意

初回接続時、DoiT は追加された各 warehouse について、過去 6 か月分の履歴請求データと利用状況データを取り込みます。

Databricks アカウントの接続が完了すると、Databricks の請求データおよび利用状況データのインポートが開始されます。この処理には数時間かかる場合があります。各 warehouse のデータが Cloud Analytics およびその他の DoiT の機能で利用可能になると、メールで通知されます。

オプション：トークン使用データを有効化する

GenAI Intelligence で Databricks モデルサービングエンドポイントのトークン使用データ（モデルごとの入力トークン数と出力トークン数）を表示するには、DoiT サービスプリンシパルにサービングシステムテーブルへの読み取りアクセス権を付与してください。これらの権限付与は任意であり、初期セットアップの後、いつでも追加できます。

1. Databricks Workspace UI で、必要な権限付与を以前に実行したワークスペースの SQL editor を開きます。

2. 次の内容をコピーし、新しいクエリタブに貼り付けます。

   GRANT USE SCHEMA ON SCHEMA system.serving TO `<client_id>`;
   GRANT SELECT ON TABLE system.serving.endpoint_usage TO `<client_id>`;
   GRANT SELECT ON TABLE system.serving.served_entities TO `<client_id>`;

   client_id を DoiT サービスプリンシパルの ID に置き換えます。

3. ステートメントを実行します。

4. 接続済みのウェアハウスがある各リージョンごとに、これらの手順を繰り返します。

注意

これらの権限付与を行わなくても、Databricks のコストデータは Cloud Analytics（クラウド分析）で利用できますが、トークン使用データは利用できません。サービング権限付与がない場合、Assets ページの Databricks タブに、必要な権限付与を追加するためにコピー＆ペースト可能な SQL を表示する権限に関するバナーが表示されます。

Databricks を管理する

このページでは、プラットフォーム上のコンソールで Databricks アカウントを管理する方法について、ウェアハウスの追加や Databricks アカウントを削除する方法を含めて説明します。

新しい Databricks ウェアハウスを接続する

DoiT とインテグレーションされている Databricks アカウントに対して、新しい Databricks ウェアハウスを接続できます。

1. DoiT コンソール にサインインし、トップナビゲーションのメガメニューから データ取り込みとインテグレーション ＞ Integrations を選択します。

2. Databricks インテグレーションカードで 管理 を選択します。

3. ウェアハウスを接続 を選択します。

4. アカウント名 で、新しいウェアハウスを接続したい Databricks アカウントを選択します。

5. ウェアハウス ID にウェアハウス ID を入力します。

   ウェアハウス ID を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開きます。

6. サーバーホスト名 に、そのウェアハウスが属する Databricks ワークスペースのサーバーホスト名を入力します。

   サーバーホスト名を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開きます。Connection details タブを選択します。Server hostname からサーバーホスト名をコピーします。

7. 接続テスト を選択します。テストが成功したら、追加 を選択します。

8. すべてのウェアハウスを追加し終えたら、完了 を選択します。Databricks ウェアハウスの接続が完了すると、Databricks の請求データと使用状況データの取り込みを開始します。この処理には数時間かかることがあります。ウェアハウスのデータが Cloud Analytics およびその他の DoiT 機能で利用可能になると、メールでお知らせします。

Databricks アカウントを削除する

Databricks ウェアハウスを削除することで、コンソールから Databricks のコストおよび使用状況データを削除できます。

1. DoiT コンソール にサインインし、トップナビゲーションのメガメニューから データ取り込みとインテグレーション ＞ Integrations を選択します。

2. Databricks インテグレーションカードで 管理 を選択します。

3. データを削除したい Databricks アカウントを選択します。

4. Databricks アカウントの最右端にあるケバブメニュー（⋮）を選択し、ウェアハウスを削除 を選択します。

   

5. 削除 を選択して、DoiT から Databricks アカウントを削除します。

▶️ インタラクティブデモ

インタラクティブデモを試して、ハンズオン形式のウォークスルーを体験してください。

デモが正しく表示されない場合は、ブラウザウィンドウを拡大するか、新しいタブでデモを開いてみてください。