メインコンテンツまでスキップ

Databricks を接続する

このページでは、DoiT コンソールから Databricks アカウントを接続して管理する方法を説明します。接続後は、DoiT コンソール内で Databricks の使用状況とコストデータを利用できます。詳しくは、Databricks データの操作を参照してください。

学習パスを選択

以下の内容を読むか、視覚的な手順については▶️ インタラクティブデモをご覧ください。

始める前に​

Databricks を DoiT と統合するには、次が必要です。

  • Databricks の Account Admin であり、metastore admin であること。

  • Databricks の warehouses が Unity catalog に対応していること。

  • DoiT は Databricks の請求データを 1 日に複数回取得します。これらのクエリ専用の Databricks warehouse を作成することを推奨します。これにより、ワークロードの分離とコストの追跡が向上します。warehouse には次の設定を適用してください。

    • Cluster size：2X-small
    • Auto stop：5 minutes

    コストは Cloud Analytics で追跡できます。

必要な権限​

Databricks アカウントを DoiT に接続するには、DoiT アカウントに Billing Profiles Admin 権限が必要です。

Databricks アカウントを接続する​

1 つまたは複数の Databricks アカウントを接続できます。接続したい各アカウントについて、手順を繰り返してください。

DoiT コンソールには、Databricks アカウントの接続を支援するステップバイステップのウィザードがあります。以下のいずれかの方法で起動できます。

  • Home ページに移動し、下部の「Connect your cloud」セクションまでスクロールして、Connect your Databricks account を選択

  • Assets ページに移動。左側メニューで Databricks を選択し、Connect new account を選択

  • Databricks Intelligence ダッシュボードに移動し、Connect your Databricks を選択

ウィザードは 3 つのステップで構成されています。

Databricks onboarding wizard

アカウントを設定する​

Databricks と統合する際、Databricks アカウントの詳細を提供する必要があります。

  1. Databricks Workspace UI に Account Admin としてサインインします。

  2. Account Settings に移動し、Databricks アカウント名をコピーします。

  3. DoiT コンソールに移動し、Account name に Databricks アカウント名を入力します。

  4. Next を選択して、認証情報を設定します。

    Add your Databricks account

認証情報を設定する​

DoiT がプログラム的に Databricks にアクセスできるようにするには、Databricks アカウントごとに 1 つの Databricks service principal を作成し、secret を生成する必要があります。認証情報の設定は 4 つのパートで構成されます。

service principal を作成する​

DoiT が Databricks 環境にアクセスできるよう、専用の Databricks service principal を作成し、secret を生成します。

  1. Databricks Workspace UI にサインインします。

  2. User Management を選択します。

  3. Service principals タブを選択し、Add service principal を選択します。

  4. service principal の名前を入力し、Add を選択します。service principal が作成されます。

  5. Credentials & secrets タブを選択し、Generate secret を選択します。Generate OAuth secret ペインが表示されます。

  6. Lifetime (days) に 730 と入力し、Generate を選択します。

    注意

    DoiT と Databricks の連続した接続期間を最大化するため、service principal の secret の有効期間は 730 日に設定することを推奨します。ただし、組織のセキュリティポリシーに合わせてこの期間を設定できます。Databricks アカウントが接続された後は、DoiT ウィザードを使用して Databricks service principal の secret を更新できます。

  7. secret と Client ID の両方をコピーします。

    注意

    secret は 1 度しか表示されません。ブラウザウィンドウを閉じる前に必ず secret をコピーしてください。

  8. Done を選択して Generate OAuth secret ペインを閉じます。

service principal に warehouse アクセスを付与する​

上で作成した service principal に、DoiT と統合したい Databricks warehouse へのアクセス権を付与する必要があります。

  1. Databricks Workspace UI で Workspaces を選択します。

  2. DoiT に接続したい workspace を見つけ、ワークスペース行の最右端にある三点メニュー（⋮）から Update を選択します。

    注意

    workspace は billing と compute のスキーマが有効である必要があります。

  3. Permissions タブを選択し、Add permissions を選択します。Add permissions ペインが表示されます。

  4. User, group, or service principal で、上で作成した service principal を検索して選択します。

  5. Permission で User が選択されていることを確認し、Save を選択します。

  6. Configuration タブを選択し、Open workspace を選択します。

  7. SQL editor を選択します。

  8. 次をコピーして New query タブに貼り付けます。

    GRANT USE CATALOG ON CATALOG system TO `<client_id>`;

    GRANT USE SCHEMA ON SCHEMA system.access TO `<client_id>`;
    GRANT SELECT ON TABLE system.access.workspaces_latest TO `<client_id>`;

    GRANT USE SCHEMA ON SCHEMA system.billing TO `<client_id>`;
    GRANT SELECT ON TABLE system.billing.usage TO `<client_id>`;
    GRANT SELECT ON TABLE system.billing.list_prices TO `<client_id>`;

    GRANT USE SCHEMA ON SCHEMA system.compute TO `<client_id>`;
    GRANT SELECT ON TABLE system.compute.clusters TO `<client_id>`;
    GRANT SELECT ON TABLE system.compute.node_timeline TO `<client_id>`;
    GRANT SELECT ON TABLE system.compute.warehouses TO `<client_id>`;

    上で作成した service principal の ID を client_id に置き換えます。

  9. ステートメントを実行します。

  10. DoiT と統合したい各 warehouse について、これらの手順を繰り返します。

service principal の Databricks SQL access​

上で作成した service principal に対して、Databricks SQL access のエンタイトルメントを有効化する必要があります。

  1. Databricks Workspace UI で、Databricks ワークスペースの上部バーにあるあなたのユーザー名を選択し、Settings を選択します。

  2. Identity and access タブを選択します。

  3. Service principals から Manage を選択します。

  4. 対象の service principal を選択して詳細ページを開きます。

  5. Configurations タブを選択し、Databricks SQL access のエンタイトルメントを選択します。

  6. Update を選択します。DoiT コンソールに戻り、DoiT ウィザードに service principal の client ID と secret を追加します。

service principal の secret を提供する​

Databricks service principal を作成し、secret を生成したら、それを DoiT ウィザードに追加する必要があります。

  1. DoiT コンソールに移動し、上で作成した service principal の client ID と secret を貼り付けます。

  2. Next を選択して warehouses を追加します。

    Add your Databricks service principal credentials

warehouses を追加する​

Databricks warehouse は、Databricks ワークスペースに保存されたデータに対して SQL クエリを実行できる SQL warehouse です。Databricks を統合するには、Databricks アカウントに属する 1 つ以上の warehouse を追加する必要があります。

  • 複数の workspace から warehouses を接続できます。複数のリージョンに workspace が分散している場合は、各リージョンで 1 つの warehouse を接続することを推奨します。これにより、クラスタの利用状況の詳細な分析を含む、最も包括的なレポートが可能になります。

  • Databricks アカウントの接続後は、DoiT コンソールの Assets ページから新しい warehouses を追加できます。

  1. Add warehouse を選択

  2. Warehouse ID に、warehouse ID を入力します。

    warehouse ID を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象の warehouse 名を選択し、詳細ページを開きます。

  3. Server Hostname に、対象のウェアハウスが属する Databricks ワークスペースのサーバーホスト名を入力します。

    サーバーホスト名を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開きます。Connection details タブを選択し、Server hostname からサーバーホスト名をコピーします。

    Add your Databricks warehouses

  4. Test connection を選択します。テストが成功したら、Add を選択します。

  5. 追加したい各ウェアハウスについて、これらの手順を繰り返します。

  6. すべてのウェアハウスを追加したら、Finish を選択します。Databricks アカウントへの接続が完了すると、Databricks の請求および使用状況データの取り込みを開始します。処理には数時間かかる場合があります。各ウェアハウスのデータが Cloud Analytics およびその他の DoiT 機能で利用可能になると、メールでお知らせします。

Manage Databricks​

このページでは、DoiT コンソールでの Databricks アカウントの管理方法（ウェアハウスの追加や DoiT プラットフォームからの Databricks アカウントの削除を含む）について説明します。

Connect new Databricks warehouses​

DoiT と連携済みの Databricks アカウントに対して、新しい Databricks ウェアハウスを接続できます。

  1. DoiT console にサインインし、上部のナビゲーションバーから Integrate を選択し、Assets を選択します。

  2. 左側のメニューから Databricks を選択します。

  3. Connect warehouse を選択します。

  4. Account name で、新しいウェアハウスを接続したい Databricks アカウントを選択します。

  5. Warehouse ID に、ウェアハウス ID を入力します。

    ウェアハウス ID を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開きます。

  6. Server Hostname に、対象のウェアハウスが属する Databricks ワークスペースのサーバーホスト名を入力します。

    サーバーホスト名を確認するには、Databricks Workspace UI にサインインし、SQL warehouses に移動して、対象のウェアハウス名を選択して詳細ページを開きます。Connection details タブを選択し、Server hostname からサーバーホスト名をコピーします。

  7. Test connection を選択します。テストが成功したら、Add を選択します。

  8. すべてのウェアハウスを追加したら、Finish を選択します。Databricks ウェアハウスへの接続が完了すると、Databricks の請求および使用状況データの取り込みを開始します。処理には数時間かかる場合があります。対象ウェアハウスのデータが Cloud Analytics およびその他の DoiT 機能で利用可能になると、メールでお知らせします。

Deleting your Databricks account​

DoiT コンソールから Databricks ウェアハウスを削除することで、Databricks のコストと使用状況データを削除できます。

  1. DoiT console にサインインし、上部のナビゲーションバーから Integrate を選択し、Assets を選択します。

  2. 左側のメニューから Databricks を選択します。

  3. データを削除したい Databricks アカウントを選択します。

  4. 削除対象の Databricks アカウントの右端にある三点メニュー（⋮）を選択し、Delete warehouse を選択します。

    Delete your Databricks account

  5. Delete を選択して、DoiT から Databricks アカウントを削除します。

▶️Interactive demo​

ハンズオンで体験できるインタラクティブデモをお試しください。

デモが正しく表示されない場合は、ブラウザーウィンドウを拡大するか、新しいタブでデモを開いてお試しください。

に最終更新