メインコンテンツへスキップ

SELECT Databricks Cost Observability & Optimization Service Description

プラットフォームの概要​

SELECT は、Databricks 環境向けにコストの可観測性、利用分析、最適化インサイト、およびコンピュート設定の自動調整を提供する SaaS (software-as-a-service) アプリケーションです。SELECT により、組織は Databricks アカウントのメタデータおよびクエリワークロードの動作を自動分析することで、Databricks のコンピュート利用状況とそれに関連する支出をモニタリング、分析、ガバナンス、最適化できます。

SELECT は、ベンダーがホストする Web アプリケーションとして提供され、ブラウザインターフェースおよびサポートされる各種連携を通じてアクセスします。顧客は Databricks メタデータへのアクセス認証情報を用意し、初期オンボーディングではアカウント接続と利用グループおよびモニターの設定を行います。多くの顧客は 15 分以内に完全に稼働可能な状態になります。

以下のセクションでは、SELECT で利用可能な主要機能およびケイパビリティについて説明します。

コア分析とレポーティング​

コストと利用状況の可観測性​

  • Databricks 支出の一元ビュー – SELECT は Databricks の利用状況とクレジット消費を集約・可視化し、消費したクレジットの唯一の信頼できる情報源を提供します。プラットフォームはコンピュート、ワークロード、ユーザー、クエリ、メタデータから派生したアセットなどの Databricks リソース全体にコンピュートコストをアトリビュートします。また、テーブル、タスク、LLM モデルなどの Databricks リソース全体の年間コストを可視化します。

  • ワークロードレベルおよびクエリレベルのコスト分析 – SELECT はクエリのパースおよびフィンガープリント技術を用いて、ワークロードレベルおよびクエリレベルでのコスト分析を提供します。ユーザーは過去の支出トレンドを確認し、個々のクエリコストをドリルダウンし、消費を促進している特定のワークロードを特定できます。クエリレベルのインサイトにより、パフォーマンス最適化を加速し、ビジネスユーザーへクエリのベストプラクティスを啓蒙できます。

  • 予測 – SELECT には、サポートされるリソースディメンション全体にわたる利用状況および支出の予測機能が含まれます。予測はダッシュボードおよび予算機能から参照でき、プロアクティブな意思決定と計画立案を可能にします。

Usage Groups (コストアロケーションとガバナンス)​

  • 柔軟なコストアトリビューション – Usage Groups は、SELECT 内でコストカテゴリを柔軟に作成する方法を提供します。ユーザー、ロール、コンピュートインスタンス、データベース、ワークロード分類など、さまざまな Databricks 属性を用いて、Databricks コストをチーム、プロジェクト、部門へアロケーションできます。Usage Groups はショーバックおよびチャージバックレポートをサポートし、組織がコスト管理を分散化し、コスト所有意識を共有することを促進します。

  • 予算と予測 – 顧客は各 Usage Group に予算を割り当て、月次・四半期・年次ベースでコストを予測できます。チームは、予算超過が予測されると自動的にアラートを受け取ります。予算の閾値アラートおよび予測される超過通知により、プロアクティブな支出ガバナンスを実現します。

  • コードとしての設定 – Usage Groups は Web インターフェースから設定・更新できるほか、JSON や YAML 定義を用いて自動的に管理することもできます。Usage Group の変更にはバージョン履歴が保持され、顧客はいつでも以前の設定を確認・復元できます。Usage Groups は Insights、Monitors、および SELECT 全体の分析エクスペリエンスと統合されています。

インサイト生成と推奨事項​

Insights​

  • インテリジェントな推奨エンジン – SELECT の Insights エンジンは、Databricks アカウントを継続的に分析し、最適化の機会を特定します。Databricks リソースおよびクエリを横断して、一般的なアンチパターンや非効率性をスキャンし、詳細な最適化推奨事項をエンドユーザーに提示します。

  • アクション可能なインサイトダッシュボード – Insights ページは、インサイトカテゴリの概要と各カテゴリをドリルダウンする機能を提供します。ユーザーは、各機会に対する合計の潜在的なコスト削減額と、必要とされる工数をすばやく確認できます。インサイトはリソース、潜在的なコスト削減額、必要工数でフィルタリングでき、チームが作業の優先順位付けを行うのに役立ちます。クエリレベルのインサイトには、Databricks メタデータおよびクエリプロファイルに基づくパフォーマンスとコストの診断が含まれ、ユーザーがクエリワークロードを高速化し、コンピュートコストを削減し、クエリのベストプラクティスを取り入れることを支援します。

自動最適化​

Automated Savings​

  • 継続的なコンピュート最適化 – SELECT の Automated Savings 機能は、Databricks ワークロードおよびコンピュート利用率を継続的にモニタリングし、ワーカーのスケーリング動作や関連パラメータを含むコンピュートインスタンスの設定を自動的に調整して、利用効率を向上させます。この機能は、顧客側のエンジニアリング工数を必要とせずにコンピュート支出を削減するよう設計されています。

  • きめ細かな制御と透明性 – 顧客は各コンピュートインスタンスごとの潜在的なコスト削減額を確認でき、Admin または Editor ロールを持つユーザーは Automated Savings 機能を簡単にオン/オフ切り替えして完全に制御できます。SELECT は実行された具体的なアクションと発生したコスト削減について完全な透明性を提供しており、顧客はいつでも結果を検証できます。すべての最適化アクションは設定パラメータの変更に限定され、顧客データ、スキーマ、クエリロジックは変更されません。

アラートとアノマリー検出​

Monitors​

支出アノマリーアラート – SELECT は、支出アノマリーおよび利用急増に対する設定可能なモニターを提供します。Monitors は複数の検知方式をサポートします。

  • Threshold Monitors – 顧客はワークスペース、コンピュートインスタンス、その他の Databricks リソースに対して明示的な支出閾値を設定し、その閾値を超えた際にアラートを受け取ることができます。

  • Anomaly Monitors – メトリクスが季節性パターンを考慮したうえで異常に高いまたは低いかどうかを自動的に判定します。感度は調整可能で、迅速な検知と誤検知の最小化のバランスを取ることができます。

  • Custom SQL Monitors – 顧客は、標準提供のモニターが適用できないシナリオ向けに、独自の SQL ベースのアラートロジックを定義できます。Monitors は日次、週次、または月次スケジュールで実行できます。

  • 定期ダイジェスト – ユーザーは、アカウント全体、Usage Group、ウェアハウス、特定ワークロード単位の支出を要約したダイジェストを、日次・週次・月次といった定期的な間隔で購読できます。プロアクティブな通知により、組織全体でコスト意識を維持できます。

連携機能​

  • データエコシステムとの連携 – SELECT は、Databricks 上に構築され、多くのコンピュート消費を生み出す一般的なデータツールと連携します。サポートされる連携には、dbt、Looker、Sigma などのツールや、メタデータへのアクセスが可能なその他の変換・BI・インジェスションプラットフォームが含まれます。これらの連携により、コストアトリビューションとリネージのコンテキストが強化され、顧客はこれらのシステムから生成されるアセットの総コストを把握し、各ツール固有の最適化機会を明らかにできます。

  • アラート連携 – SELECT は、Email、Slack、Microsoft Teams、PagerDuty、Opsgenie、およびカスタム Webhook エンドポイントへのアラート配信をサポートし、既存のインシデント管理およびコミュニケーションワークフローとのシームレスな統合を実現します。

人工知能​

AI による機能​

SELECT は、厳格なデータセキュリティおよびプライバシー管理を維持しながら、AI を活用して実用的な価値を提供します。SELECT における AI 機能には、これまで手動での調査と分析が必要だった主要な Databricks クエリデータの要約、複雑なクエリの分かりやすく簡潔な説明文の生成、顧客の Databricks アカウント全体における非効率性の特定と是正アクション案の提示などが含まれます。

データのプライバシーとセキュリティ​

SELECT は、AI 機能を利用する際のデータ取り扱いについて厳格なアプローチを維持しています。

  • 厳密なデータライフサイクル – SELECT に提供されたすべてのデータは、許可された目的のみに使用され、その後は安全に取り扱われます。SELECT は、AI モデルのトレーニングに顧客データを使用しません。

  • サニタイズされたデータ送信 – AI のサブプロセッサーに送信されるデータは、サニタイズされたクエリテキストとパフォーマンスメトリクスのみです。機微なデータは共有されません。SELECT は、AI サブプロセッサーとの間で Zero-Data-Retention (ZDR) ポリシーの確立に取り組んでいます。

  • コンプライアンス準拠ベンダー – サードパーティの AI パートナーは、GDPR、CCPA、SOC 2、ISO 27001、HIPAA などの厳格なコンプライアンス基準を満たしていることを確認するため、慎重に審査されています。ベンダーは継続的にモニタリングされ、コンプライアンス順守の継続が確認されています。

透明性と説明可能性​

SELECT は透明性と説明可能な AI を重視しています。AI システムによって生成されたすべての出力は、包括的な監査ログに記録されます。重要な意思決定ロジックは人間が記述したものであり、AI は初期推奨の確信度が高い SQL 生成などのユースケースに限定して使用されます。AI 機能は人間の関与を前提として動作し、出力はユーザーが自らの判断を適用するための推奨事項として提供されます。ユーザーの指示なしに AI 機能が自動アクションを実行することはありません。

データセキュリティとコンプライアンス​

セキュリティとアクセスモデル​

SELECT は、指定された Databricks メタデータビューおよびシステムテーブルへの読み取り専用アクセスを用いて動作します。SELECT は、顧客のテーブルデータコンテンツへのアクセス、読み取り、コピー、処理を行いません。アクセス対象は、利用状況、設定、クエリ実行に関連する Databricks メタデータのみです。運用には、顧客が用意する権限を限定した Databricks サービスアカウントが必要です。

SELECT は、顧客がアクティブな顧客である間、利用状況に関するメタデータを保持し、オフボーディング時に自動的に削除します。

コンプライアンスと認証​

SELECT は、SOC 2 Type II 認証を含む業界標準のセキュリティ要件を満たしており、データを安全に管理し、顧客組織のプライバシーと利益を保護することへのコミットメントを示しています。この認証は、セキュリティ、可用性、処理の完全性、機密性、およびプライバシーといった重要な領域をカバーしています。SELECT は、実務が最新のコンプライアンス基準に準拠していることを検証するために、定期的な内部・外部監査を実施しています。

アーキテクチャとデータ保護​

SELECT は、多層防御のセキュリティアーキテクチャを採用しています：

  • エンドツーエンドの暗号化 – データは保存時および転送時に AES-256 暗号化を使用して暗号化されます。

  • セキュアな API – すべてのデータ交換は認証済み API 経由で行われ、認可されたシステムおよび担当者のみがデータにアクセスできます。

  • ゼロトラストポリシー – システムはゼロトラストを前提として動作し、すべてのアクセス要求は検証・認証され、ログに記録されます。

  • 多要素認証（MFA） – すべてのアクセス経路に多要素認証が必須となっており、不正ログインを防止します。

  • データのサイロ化 – 各クライアントのデータは分離された仮想化環境で処理され、クロスコンタミネーションのリスクを排除します。

  • リアルタイムモニタリング – システムは高度な分析を用いて常時監視され、潜在的な脅威を検知し対応します。

  • 災害復旧 – 冗長なバックアップと堅牢な災害復旧計画により、データの安全性とアクセス可能性を確保します。

アクセス制御​

SELECT はロールベースのアクセス制御（RBAC）を提供しており、顧客はユーザーに対して特定の Databricks アカウント、または Databricks 組織全体へのアクセス権を付与できます。顧客は、選択したリソースからの Databricks コストのサブセットのみを各チームや部門に開示できるため、機密性の高い請求情報は認可された担当者にのみ共有されます。

保存ビューとパーソナライズ​

SELECT の多くの画面には、フィルターおよび設定可能なテーブルやチャートが用意されています。訪問のたびに設定やフィルターを繰り返し適用する代わりに、ユーザーはビューを保存して簡単に再利用できます。保存ビューはお気に入り登録でき、サイドバーにピン留めしてクイックアクセスが可能です。この機能により、毎週のコストレビューの運用を支援し、各チームが Databricks の支出を一貫して可視化できるようになります。

除外事項​

SELECT は以下を行いません：

  • 顧客のデータテーブルやレコードの変更

  • Databricks ネイティブの請求システムの代替

  • 特定のコスト削減成果の保証

  • 財務会計や請求書照合サービスの提供

  • サードパーティツールの動作制御

  • Databricks プラットフォームのリミットや請求ルールの上書き

結論​

SELECT は、Databricks に特化した包括的なコストの可観測性および最適化プラットフォームであり、詳細な利用分析、インテリジェントな推奨事項、完全自動化されたウェアハウスのコスト削減、柔軟なコストアロケーション、そしてプロアクティブなアノマリー検知を組み合わせています。Cost and Usage Observability、Usage Groups、Insights、Automated Savings、Monitors、データエコシステムとの Integrations、AI を活用した機能、そしてきめ細かなアクセス制御を活用することで、組織はクラウドコストの深い可視性を獲得し、財務面での責任を徹底し、アノマリーを迅速に検知し、リソース利用を最適化し、エンタープライズ全体で支出管理を民主化できます。SELECT のセキュリティ体制、読み取り専用アクセスモデル、および迅速なオンボーディングにより、Databricks の運用にコスト管理のベストプラクティスを組み込みたい組織にとって最適なソリューションとなります。

に最終更新