コストのアノマリー
DoiT Anomaly Detection(アノマリー検知)は、Google Cloud、Amazon Web Services、Microsoft Azure、Snowflake、Databricks、Datadog、OpenAI、ClickHouse Cloud、Cloudflare、Cursor、Elastic Cloud、GitHub、Grafana Cloud、Vercel のコストスパイクをエンドツーエンドで監視します。
検知サービスは、時系列モデリング を活用してデータを監視し、クラウド環境における支出トレンドを分析します。DoiT の顧客全体にわたる請求パターンを特定し、クラウド支出を予測し、より正確な結果を提供できるよう継続的に改善されています。確立された支出パターンと一致しない請求レコードは、潜在的なアノマリーとして特定されます。DoiT コンソールは、寄与リソースの一覧 や AI 分析 などの詳細情報を提供し、必要に応じて調査と是正対応を行う際に役立ちます。
以下のセクションでは、DoiT Anomaly Detection がどのように動作するかを説明します。
ソースデータ
DoiT Anomaly Detection は、次の 2 種類のソースデータをサポートします。
-
請求データ:クラウドプロバイダおよびサードパーティプラットフォームによるコストと使用量のデータ(例:AWS CUR、Google Cloud Billing データエクスポート、Azure billing export など)。
-
リアルタイム利用データ:ほぼリアルタイムのコストアノマリー検知のために、DoiT はリアルタイム利用データを活用して、次のサービスのコストを推定します。
-
Amazon Elastic Compute Cloud(EC2)、Amazon Relational Database Service(RDS):AWS CloudTrail から得られた使用量に基づき、オンデマンドコストを推定します。
-
Google Compute Engine(GCE):Google Cloud Audit Logs から得られた使用量に基づき、オンデマンドコストを推定します。
-
Google BigQuery:BigQuery API とメタデータビューから得られた使用量に基づき、オンデマンドコストを推定します。
-
ベースライン期間
アノマリー検知システムは、新規登録後すぐにデータの分析を開始します。ただし、正確に検知するためには十分な履歴データが必要です。機械学習モデルが請求データおよびリアルタイムデータに基づく利用パターンの信頼できるベースラインを確立できるよう、請求データについて 14 日間、リアルタイム利用データについて 4 日間 をベースライン期間として設定しています。
アノマリー検知が業務上クリティカルな場合は、クラウド支出に大きな変更を加える前に、このベースライン期間が経過するまで待つことをおすすめします。ベースライン期間中は、いかなる支出もアノマリーとして分類されません。
集約レベル
アノマリー検知システムは、時系列モデルを活用して、SKU レベル と サービスレベル の両方でコストおよび使用量データを監視・評価します。履歴パターンを分析し、現在の利用トレンドと比較することで、重要なコストスパイクを検知するよう設計されています。異常なコストスパイクが検知されると、アノマリーアラート がトリガーされます。
請求データ
請求データについては、解決までの時間を短縮するため、アノマリー検知システムは主に SKU レベ ルで動作します。そのため、検知されるコストアノマリーの多くは SKU レベルのアノマリーとなります。
サービスレベルでの監視は、主に新しく作成されたプロジェクトや新しい SKU によって引き起こされる初期のスパイクに対応する補完的な役割を果たします。新しいプロジェクトが作成された場合、または新しい SKU にコストが発生し始めた場合、新しい 時系列 が識別され、コストデータの収集を開始します。しかし、十分な履歴データポイント がないため、新しい時系列は最初の数日間は SKU レベルのアノマリー候補を生成しません。「通常」の支出がまだ確立されていない間でも、新たに発生したコストによってサービスレベルではすでに異常なスパイクが生じている可能性があります。
リアルタイム利用データ
2025 年 5 月 21 日以降、時間単位の粒度を持つリアルタイム利用データに対するアノマリー検知システムは、高解像度サンプリングによるノイズを軽減するため、サービスレベルのみで動作します。
評価スコープ
システムによって評価されるデータサンプルは、次のように分割されます。
- 請求アカウントごと
- プロジェクト/アカウントごと
- サービスごと
- SKU ごと
- アロケーションごと(該当する場合)
評価スコープは集約レベルによって異なります。
- SKU レベル:SKU、サービス、およびプロジェクト/アカウントごと(リージョンをまたいで集約)
- サービスレベル:サービスごと(プロジェクトおよび SKU をまたいで集約)
検知システムは複数のサービスを合算したコストは評価しません。
判定基準
誤検知を軽減するため、アノマリー検知システムは、次のすべての条件を満たす場合にのみ、SKU またはサービスの支出をアノマリーとして分類します。
請求データ
-
1 日あたりの支出が最小閾値に達していること:
-
SKU レベルのアノマリー:US$50
-
サービスレベルのアノマリー:US$100
-
-
1 日あたりの支出が、月次の季節性 を超えていること。
-
1 日あたりの支出が、システムの 通常範囲(または 許容範囲)の上限を超えていること。
リアルタイム利用データ
-
1 時間あたりの支出が US$10 の最小閾値に達していること。
-
1 時間あたりの支出が、システムの 通常範囲(または 許容範囲)の上限を超えていること。
感度
アノマリー検知システムは、直前の期間のデータで学習した時系列モデルを使用して、予測される支出を算出します。通常範囲は、DoiT 固有の予測区間 によって決定されます。これは、あるパーセンテージの値が収まると見込まれる区間の推定値です。例えば、90% の予測区間には、モデルで当てはめられた過去の値に基づき、新しいデータポイントが取りうる値の 90% が含まれます。通常範囲は、コストアノマリーのチャート 上で網掛けエリアとして表示されます。
DoiT コンソールでは、アノマリー感度設定 を調整して予測区間を変更し、それによって通常範囲を再定義できます。感度を高くすると範囲が狭まり、検知されるアノマリーの数が増加します。感度を低くすると範囲が広がり、検知されるアノマリーの数が減少します。
検知レイテ ンシ
検知レイテンシは、ソースデータの種類によって異なります。
請求データ
多くの場合、集計コストが事前定義された閾値を超えると、12 時間以内に請求データのアノマリーが報告されます。
アノマリー検知エンジンは、使用量およびコストデータを定期的に評価します。SKU レベルおよびサービスレベルのアノマリーについては、2 時間ごとに評価が実行されます。
検知レイテンシは主に、クラウドプロバイダが使用量およびコストデータを報告する間隔の違いに関連します。データレイテンシ も参照してください。
リアルタイム利用データ
アノマリー検知エンジンは、リアルタイム利用データを 30 分ごとに評価します。リアルタイム利用データによって検知されたアノマリーは、使用から 1 時間以内に報告されます。