メインコンテンツへスキップ

コストのアノマリー

DoiT Anomaly Detection(アノマリー検出)は、Google Cloud、Amazon Web Services、Microsoft Azure、SnowflakeDatabricksDatadogOpenAIAnthropic (Analytics API)ClickHouse CloudCloudflareCursorElastic CloudGitHubGrafana CloudVercel におけるコストスパイクをエンドツーエンドで監視します。

検知サービスは、時系列モデリング を活用してデータを監視し、クラウド環境における支出トレンドを分析します。DoiT の顧客全体にわたる請求パターンを特定し、クラウド支出を予測し、より正確な結果を提供できるよう継続的に改善されています。確立された支出行動と一致しない請求レコードは、潜在的なアノマリーとして識別されます。DoiT コンソールは、寄与要因の一覧AI 分析 などの詳細情報を提供し、必要に応じて調査および是正措置を実施できるよう支援します。

以下のセクションでは、DoiT Anomaly Detection の仕組みを説明します。

ソースデータ

DoiT Anomaly Detection は、次の 2 種類のソースデータをサポートします。

  • 請求データ(Billing data): クラウドプロバイダおよびサードパーティプラットフォームによるコストと使用状況データ。例: AWS CUR、Google Cloud Billing データエクスポート、Azure 請求エクスポートなど。

  • リアルタイム使用状況データ(Real-time usage data): ほぼリアルタイムでのコストアノマリー検知のため、DoiT はリアルタイム使用状況データを活用し、次のサービスのコストを推定します。

ベースライン期間

アノマリー検知システムは、新規登録後すぐにデータの分析を開始します。ただし、正確な検知のためには十分な履歴データが必要です。機械学習モデルが請求データおよびリアルタイムデータそれぞれに基づいて、使用パターンの信頼できるベースラインを構築できるよう、請求データについて 14 日間、リアルタイム使用状況データについて 4 日間 のベースライン期間を設定しています。

アノマリー検知が運用上クリティカルな場合は、クラウド支出に大きな変更を加える前に、ベースライン期間が終了するまで待つことを推奨します。ベースライン期間中は、いかなる支出もアノマリーとして分類されません。

集約レベル

アノマリー検知システムは、SKU レベルサービスレベル の両方でコストおよび使用状況データを監視および評価するために時系列モデルを活用します。履歴パターンを分析し、それを現在の使用トレンドと比較することで、顕著なコストスパイクを検知するよう設計されています。アノマリーなコストスパイクが検知されると、アノマリーアラート がトリガーされます。

請求データ

請求データについては、アノマリー検知システムは同じ請求データを使用して SKU レベルおよびサービスレベルの両方でコストを評価します。SKU レベルでの監視は粒度の細かいプロジェクト単位のアラートを生成し、検知されるアノマリーの大半を占めます。サービスレベルでの監視は、サービス内のプロジェクトおよび SKU をまたいで支出を集約し、関連する複数のスパイクを 1 つのノイズの少ないアラートに統合できます。

サービスレベルでの監視は、新規プロジェクトや新規 SKU における初期のスパイクを早期に検知するうえでも有効です。新しいプロジェクトが作成されるか、新しい SKU がコストを発生し始めると、新しい時系列 が識別され、コストデータの収集を開始します。ただし、新しい時系列は、十分な履歴データポイント がないため、最初の数日間は SKU レベルのアノマリー候補を生成しません。新しい時系列における「通常」の支出がまだ確立されていない間でも、新たに発生したコストによってサービスレベルではすでにアノマリーなスパイクが発生している可能性があります。

リアルタイム使用状況データ

2025 年 5 月 21 日以降、時間単位の粒度を持つリアルタイム使用状況データ向けのアノマリー検知システムは、高解像度サンプリングによるノイズを抑制するため、サービスレベルのみで動作します。

評価スコープ

システムによって評価されるデータサンプルは、次のように分割されます。

  • 請求アカウント単位
  • プロジェクト/アカウント単位
  • サービス単位
  • SKU 単位
  • アロケーション単位(該当する場合)

評価スコープは集約レベルによって異なります。

  • SKU レベル: リージョンをまたいだ SKU 単位・サービス単位・プロジェクト/アカウント単位
  • サービスレベル: プロジェクトおよび SKU をまたいだサービス単位

検知システムは、複数サービスのコストを合算して評価することはありません。

判定基準

誤検知を軽減するため、アノマリー検知システムは、SKU またはサービスの支出が次のすべての条件を満たした場合にのみアノマリーとして分類します。

請求データ

  1. 1 日の支出が最小閾値に達していること:

    • SKU レベルのアノマリー: US$50

    • サービスレベルのアノマリー: US$100

  2. 1 日の支出が月次の季節性 を上回っていること。

  3. 1 日の支出が、システムが定義する 正常範囲(または 許容範囲)の上限を超えていること。

リアルタイム使用状況データ

  1. 1 時間あたりの支出が US$10 の最小閾値に達していること。

  2. 1 時間あたりの支出が、システムが定義する 正常範囲(または 許容範囲)の上限を超えていること。

感度

アノマリー検知システムは、直前の期間のデータでトレーニングされた時系列モデルを使用して、想定される支出を予測します。正常範囲は、DoiT 固有の予測区間 によって決定されます。これは、可能な値のうち、一定のパーセンテージが含まれると見込まれる区間の推定値です。例えば、90.00% の予測区間には、モデルが当てはめた過去の値に基づき、新しいデータポイントが取りうる可能な値の 90.00% が含まれます。正常範囲は、コストアノマリーチャート 上では網掛け領域として表示されます。

DoiT コンソールでは、アノマリー感度設定 を調整することで予測区間を変更し、正常範囲を再定義できます。感度を高くすると範囲が狭くなり、検知されるアノマリーの数が増加します。感度を低くすると範囲が広くなり、検知されるアノマリーの数が減少します。

検知レイテンシ

検知レイテンシは、ソースデータの種類によって異なります。

請求データ

多くの場合、集約コストが事前定義された閾値を超えると、12 時間以内に請求データのアノマリーが報告されます。

アノマリー検知エンジンは、使用状況およびコストデータを定期的に評価します。SKU レベルおよびサービスレベルのアノマリーについては、2 時間ごとに評価を実行します。

検知レイテンシは主に、クラウドプロバイダが使用状況およびコストデータを報告する間隔の違いに関連しています。データレイテンシ も参照してください。

リアルタイム使用状況データ

アノマリー検知エンジンは、リアルタイム使用状況データを 30 分ごとに評価します。リアルタイム使用状況データによって検知されたアノマリーは、使用発生から 1 時間以内に報告されます。

動的な更新

進行中のアノマリーは Active と見なされます。検知システムは Active なアノマリーを継続的に監視し、利用可能な最新データでシステムを常に更新します。

アノマリーは、次のいずれかの条件を満たすと Inactive になります。

  • コストが新しい正常範囲内に戻った場合。

  • アノマリーが最大アクティブ期間に達した場合: 請求データに基づく場合は 7 日間、リアルタイム使用状況データに基づく場合は 3 日間。

アノマリーが Active および Inactive になるタイミングの詳細は、コストアノマリーチャート で確認できます。

コストアノマリーアラート

アノマリーが検知されると、システムは請求アカウント・サービス・プロジェクト ID を確認し、同じコンテキストに対してすでに他のアラートが送信されていない場合にのみアラートがトリガーされるようにします。

これは、同じサービスについて、SKU レベルのアラートが送信されている場合はサービスレベルのアラートは送信されず、その逆も同様であることを意味します。

ヒント

CloudFlow triggers を使用してコストのアノマリーに対する対応を自動化できます。例えば、アノマリーが検知されたとき、そのステータスやコストが変更されたとき、またはアノマリーが確認されたときなどです。フローを開始できるイベントの全一覧については、Cost anomaly events を参照してください。

月初のスパイク

一部のサービスでは、月初の 1 日に一括で請求が行われるため、残りの日と比べて月初に不均衡なコストスパイクが発生します。ただし、その金額が過去数か月と同程度であれば、アノマリーとは見なされません。

精度を高めるために、月初のコストを評価する際、アノマリー検知モデルは日次コストのモデリングに加えて、月次ベースの比較も行います。(ほぼリアルタイムのアノマリー検知では、より短い期間でより詳細な評価を行うため、月次の季節性は考慮されません。)

以下は評価対象となるサービスの一覧です。

月初にコストスパイクが発生するサービス
  • Amazon API Gateway
  • Amazon CloudWatch
  • Amazon Cognito
  • Amazon DynamoDB
  • Amazon ElastiCache
  • Amazon GuardDuty
  • Amazon Managed Service for Prometheus
  • Amazon OpenSearch Service
  • Amazon Redshift
  • Amazon Rekognition
  • Amazon Relational Database Service
  • Amazon Route 53
  • Amazon WorkSpaces
  • AWS Certificate Manager
  • AWS Data Transfer
  • AWS Elemental MediaConvert
  • AWS End User Messaging
  • AWS Identity and Access Management Access Analyzer
  • AWS Outposts
  • AWS Shield
  • Bright Data Enterprise non metered
  • Cloud Navigator
  • Compute Engine
  • Contact Center Telecommunications (service sold by AMCS, LLC)
  • Coralogix
  • Datadog
  • Datadog Pro
  • Directions API
  • Drata Security & Compliance Automation Platform
  • Fastly for GCP Marketplace
  • Geocoding API
  • Geolocation API
  • Grafana Cloud observability: Grafana, Prometheus metrics, logs, traces
  • HYCU R-Cloud™ Platform
  • Identity Platform
  • JFrog DevOps Platform - Enterprise X
  • JFrog Software Supply Chain Platform
  • Looker Studio
  • Maps API
  • Maps Static API
  • Office LTSC Professional Plus 2021
  • Places API
  • Plerion Cloud Security Platform (Contract)
  • Snyk: Developer Security Platform
  • Twilio Segment
  • Vantage Cloud Cost Platform - Enterprise
  • WIZ Cloud Infrastructure Security Platform

FAQ

コストのスパイクがアノマリーとして報告されなかったのはなぜですか?

アノマリー検知システムは、コストを SKU レベルとサービスレベルの 2 つのレベルで評価します。複数のサービスにまたがる複数 SKU の合算コストは評価しません。

クラウドコストのスパイクがアノマリーとして検知されなかった場合、まずそのスパイクがサービスをまたいだ SKU によって発生したものかどうかを確認することが重要です。加えて、その支出がアノマリーと見なされるためには、特定の条件を満たす必要があります。

アノマリー検知はコストアラートとどう違いますか?

アノマリー検知は、次の点でコストアラートと異なります。

  • スコープ:アノマリー検知は個々の SKU とサービスを監視しますが、コストアラートのスコープはより柔軟です。

  • 条件:アラートをトリガーする条件は、例えば週次コストが 5% 増加した場合といった、単一の閾値です。これに対して、アノマリーと分類されるには、コストが複数の条件を満たす必要があります。

  • 客観性:アラートは客観的な閾値に基づいて反応しますが、アノマリー検知では、フィットさせた時系列モデルによって確立された予測される支出パターンも考慮します。

一般的に、アラートの方がアノマリー検知よりも「敏感」で、トリガーされやすくなっています。

コストアノマリーアラートとそのレポートはどう違いますか?

データ値

コストアノマリーアラートに含まれるチャートは、検知時点の請求データのスナップショットを提供します。

対応するレポート(レポートで開くボタンからアクセス)では、最新のデータが反映されており、直近のタイムステップでは若干異なる場合があります。

データの利用可能性

アノマリー検知システムは、アラートを迅速に送信するために、利用可能な最新の請求データを使用します。

レポートは、より詳細なテーブルを使用するため追加の処理が必要となり、その結果、データが利用可能になるまでに遅延が発生します。このため、アラートをトリガーした請求データが、アラート送信時点では一時的にレポート上で利用できない場合があります。

▶️ インタラクティブデモ

操作しながら理解を深められるインタラクティブデモをお試しください。

デモが正しく表示されない場合は、ブラウザウィンドウを拡大するか、新しいタブでデモを開いてお試しください。

参照