メインコンテンツへスキップ

Databricks を接続

このページでは、DoiT コンソールから Databricks アカウントを接続および管理する方法を説明します。接続後は、DoiT コンソール内で Databricks の使用状況とコストデータを使用できます。詳しくは、Databricks データの利用を参照してください。

学習パスを選択

以下のコンテンツを読むか、ビジュアルで確認できる▶️ インタラクティブ デモをご覧ください。

開始する前に​

DoiT と Databricks を統合するには、次が必要です。

  • Databricks の Account Admin かつ metastore admin であること。

  • Databricks の warehouse が Unity catalog に対応していること。

  • 自身のワークロードで Databricks SQL を使用していなくても、この統合には SQL warehouse が必要です。DoiT は、システムテーブルに対して日に複数回クエリを実行するためのコンピュート エンドポイントとして使用します。

    • 既に利用可能な warehouse（自動作成される Serverless Starter Warehouse を含む）がある場合はそれを使用できます。

    • ない場合は、ワークロード分離とコスト予測性を高めるために、小さな専用の Classic SQL warehouse を作成してください。以下の設定を推奨します。

      • タイプ: Classic
      • クラスタサイズ: 2X-small
      • 自動停止: 5 分

必要な権限​

Databricks アカウントを DoiT に接続するには、DoiT アカウントに Billing Profiles Admin 権限が必要です。

Databricks アカウントを接続​

1 つ以上の Databricks アカウントを接続できます。接続したい各アカウントについて、接続手順を繰り返してください。

Databricks アカウントの接続を支援するため、DoiT コンソールではステップごとのウィザードを複数の方法で起動できます。

  • 次にナビゲート：Home ページに移動し、下にスクロールして クラウドを接続 セクションで Databricks アカウントを接続 を選択。

  • 次にナビゲート：Assets ページに移動。左側メニューで Databricks を選択し、新しいアカウントを接続 を選択。

  • 次にナビゲート：Databricks Intelligence ダッシュボードに移動し、Databricks を接続 を選択。

ウィザードは 3 つのステップで構成されています。

Databricks onboarding wizard

アカウントを設定​

Databricks と統合する際は、Databricks アカウントの詳細を入力する必要があります。

  1. Databricks Workspace UI に Account Admin としてサインインします。

  2. Account Settings に移動し、Databricks のアカウント名をコピーします。

  3. DoiT コンソールで Account name に Databricks のアカウント名を入力します。

  4. 次へ を選択して認証情報を設定します。

    Add your Databricks account

認証情報を設定​

DoiT がプログラム的に Databricks にアクセスできるようにするため、Databricks アカウントごとに 1 つの Databricks サービス プリンシパルを作成し、シークレットを生成する必要があります。認証情報の設定は 4 つのパートで構成されます。

サービス プリンシパルを作成​

DoiT が Databricks 環境にアクセスできるよう、専用の Databricks サービス プリンシパルを作成し、シークレットを生成します。

  1. Databricks Workspace UI にサインインします。

  2. User Management を選択します。

  3. Service principals タブで Add service principal を選択します。

  4. サービス プリンシパルの名前を入力し、Add を選択します。サービス プリンシパルが作成済みになります。

  5. Credentials & secrets タブで シークレットを生成 を選択します。Generate OAuth secret ペインが表示されます。

  6. Lifetime (days) に 730 と入力し、生成 を選択します。

    注意

    DoiT と Databricks の継続的な接続期間を最大化するため、サービス プリンシパルのシークレットの有効期間は 730 日を推奨します。ただし、組織のセキュリティ ポリシーに合わせて設定できます。Databricks アカウントを接続後は、DoiT ウィザードから Databricks サービス プリンシパルのシークレットを更新できます。

  7. シークレットと クライアント ID の両方をコピーします。

    注意

    シークレットは一度しか表示されません。ブラウザウィンドウを閉じる前に必ずシークレットをコピーしてください。

  8. 完了 を選択して Generate OAuth secret ペインを閉じます。

サービス プリンシパルに warehouse アクセスを付与​

上で作成したサービス プリンシパルに、DoiT と統合したい Databricks warehouse へのアクセス権を付与する必要があります。

  1. Databricks Workspace UI で Workspaces を選択します。

  2. DoiT に接続したいワークスペースを見つけ、ワークスペース行の最右端にあるケバブメニュー（⋮）から Update を選択します。

    注意

    ワークスペースでは billing と compute のスキーマが有効になっている必要があります。

  3. Permissions タブで 権限を追加 を選択します。Add permissions ペインが表示されます。

  4. User, group, or service principal で、上で作成したサービス プリンシパルを検索して選択します。

  5. Permission で User が選択されていることを確認し、保存 を選択します。

  6. Configuration タブを選択し、Open workspace を選択します。

  7. SQL editor を選択します。

  8. 次をコピーして New query タブに貼り付けます。

    GRANT USE CATALOG ON CATALOG system TO `<client_id>`;

    GRANT USE SCHEMA ON SCHEMA system.access TO `<client_id>`;
    GRANT SELECT ON TABLE system.access.workspaces_latest TO `<client_id>`;

    GRANT USE SCHEMA ON SCHEMA system.billing TO `<client_id>`;
    GRANT SELECT ON TABLE system.billing.usage TO `<client_id>`;
    GRANT SELECT ON TABLE system.billing.list_prices TO `<client_id>`;

    GRANT USE SCHEMA ON SCHEMA system.compute TO `<client_id>`;
    GRANT SELECT ON TABLE system.compute.clusters TO `<client_id>`;
    GRANT SELECT ON TABLE system.compute.node_timeline TO `<client_id>`;
    GRANT SELECT ON TABLE system.compute.warehouses TO `<client_id>`;

    client_id を、上で作成したサービス プリンシパルの ID に置き換えます。

  9. ステートメントを実行します。

  10. DoiT と統合したい各 warehouse について、これらの手順を繰り返します。

サービス プリンシパルの Databricks SQL access​

上で作成したサービス プリンシパルに対して Databricks SQL access のエンタイトルメントを有効にする必要があります。

  1. Databricks Workspace UI で、Databricks ワークスペース上部の自分のユーザー名を選択し、Settings を選択します。

  2. Identity and access タブを選択します。

  3. Service principals から 管理 を選択します。

  4. 対象のサービス プリンシパルを選択して詳細ページを開きます。

  5. Configurations タブを選択し、Databricks SQL access のエンタイトルメントを選択します。

  6. 更新 を選択します。DoiT コンソールに戻り、サービス プリンシパルのクライアント ID とシークレットを DoiT ウィザードに追加します。

サービス プリンシパルのシークレットを提供​

Databricks のサービス プリンシパルを作成しシークレットを生成したら、DoiT ウィザードに追加する必要があります。

  1. DoiT コンソールに移動し、上で作成したサービス プリンシパルの クライアント ID とシークレットを貼り付けます。

  2. 次へ を選択して warehouse を追加します。

    Add your Databricks service principal credentials

ウエアハウスを追加​

Databricks ウェアハウスは、Databricks ワークスペースに保存されたデータに対して SQL クエリを実行できる SQL ウェアハウスです。Databricks をインテグレーションするには、Databricks アカウントに属するウェアハウスを少なくとも 1 つ追加する必要があります。

複数のワークスペースからウェアハウスを接続できますが、これはワークスペースが複数の AWS リージョンに分散している場合にのみ必要です。その場合、各リージョンでウェアハウスを接続することで、より包括的なクラスタ利用状況レポートが可能になります。Databricks の請求データはアカウントレベルであり、すべてのワークスペースを対象とするため、ワークスペース数に関係なく、請求の全体をカバーするには単一のウェアハウスで十分です。

Databricks アカウントの接続が完了したら、DoiT コンソールの アセット ページから新しいウェアハウスを追加できます。

  1. ウエアハウスを追加 を選択してください。

  2. ウェアハウス ID に、ウェアハウス ID を入力してください。

    ウェアハウス ID を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開いてください。

  3. サーバーホスト名 に、ウェアハウスが属する Databricks ワークスペースのサーバーホスト名を入力してください。

    サーバーホスト名を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開いてください。Connection details タブを選択し、Server hostname からサーバーホスト名をコピーしてください。

    Databricks ウェアハウスを追加

  4. 接続テスト を選択してください。テストが成功したら、追加 を選択してください。

  5. 追加したい各ウェアハウスについて、これらの手順を繰り返してください。

  6. すべてのウェアハウスを追加したら、完了 を選択してください。

注意

初回の接続時に、DoiT は追加された各ウェアハウスの過去6か月の請求および使用状況データを取り込みます。

Databricks アカウントの接続に成功すると、Databricks の請求および使用状況データの取り込みを開始します。処理には数時間かかる場合があります。各ウェアハウスのデータが Cloud Analytics およびその他の DoiT 機能で利用可能になった際には、メールでお知らせします。

Databricks を管理​

このページでは、DoiT コンソールで Databricks アカウントを管理する方法（ウェアハウスの追加や、DoiT プラットフォームからの Databricks アカウントの削除を含む）を説明します。

新しい Databricks ウェアハウスを接続​

DoiT とインテグレーション済みの Databricks アカウントに対して、新しい Databricks ウェアハウスを接続できます。

  1. DoiT コンソール にサインインし、上部ナビゲーションのメガメニューから データ取り込みとインテグレーション を選択し、アセット を選択してください。

  2. 左側のメニューから Databricks を選択してください。

  3. ウェアハウスを接続 を選択してください。

  4. アカウント名 で、新しいウェアハウスを接続したい Databricks アカウントを選択してください。

  5. ウェアハウス ID に、ウェアハウス ID を入力してください。

    ウェアハウス ID を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開いてください。

  6. サーバーホスト名 に、ウェアハウスが属する Databricks ワークスペースのサーバーホスト名を入力してください。

    サーバーホスト名を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開いてください。Connection details タブを選択し、Server hostname からサーバーホスト名をコピーしてください。

  7. 接続テスト を選択してください。テストが成功したら、追加 を選択してください。

  8. すべてのウェアハウスを追加したら、完了 を選択してください。Databricks ウェアハウスの接続に成功すると、Databricks の請求および使用状況データの取り込みを開始します。処理には数時間かかる場合があります。ウェアハウスのデータが Cloud Analytics およびその他の DoiT 機能で利用可能になった際には、メールでお知らせします。

Databricks アカウントの削除​

Databricks ウェアハウスを削除することで、DoiT コンソールから Databricks のコストおよび使用状況データを削除できます。

  1. DoiT コンソール にサインインし、上部ナビゲーションのメガメニューから データ取り込みとインテグレーション を選択し、アセット を選択してください。

  2. 左側のメニューから Databricks を選択してください。

  3. データを削除したい Databricks アカウントを選択してください。

  4. 削除したい Databricks アカウントの最右端にあるケバブメニュー（⋮）を選択し、ウェアハウスを削除 を選択してください。

    Databricks アカウントを削除

  5. 削除 を選択して、DoiT から Databricks アカウントを削除してください。

▶️インタラクティブデモ​

操作しながら学べるインタラクティブデモをお試しください。

デモが正しく表示されない場合は、ブラウザウィンドウを拡大するか、新しいタブでデモを開く ことをお試しください。

に最終更新