メインコンテンツまでスキップ

Snowflake データを扱う

Snowflake データを DoiT プラットフォームにインポートしたら、Cloud Analytics や、Budgets・Allocations・Anomaly detection などの DoiT の機能を使って、Snowflake のコストと使用状況を分析・監視できます。

Cloud Analytics における Snowflake データ​

標準ディメンション​

標準の Cloud Analytics のディメンション を通じて Snowflake データを取得できます。DoiT Cloud Analytics と Snowflake の用語の対応は以下のとおりです。

DoiT termSnowflake termSnowflake definition
Billing account IDORGANIZATION_NAME組織の名前。
CostUSAGE_IN_CURRENCYUSAGE_DATE の USAGE に対する USAGE_TYPE の請求合計額。
Cost typeBALANCE_SOURCE日次使用量の支払いに使用された資金のソース。BALANCE_SOURCE の取りうる値 を参照。
Project IDACCOUNT_NAME使用が発生したアカウントの名前。
Service IDSERVICE_TYPE使用のタイプ。SERVICE_TYPE の取りうる値 を参照。
SKURATING_TYPEレコード内の使用量の評価または価格付け方法を示す。取りうる値：compute、data_transfer、storage、other。
UnitUSAGESERVICE_TYPE に基づいて課金された使用量の合計。
UsageBILLING_TYPE請求対象またはクレジット対象を示す。BILLING_TYPE の取りうる値 を参照。

BALANCE_SOURCE の取りうる値​

  • capacity：組織のキャパシティコミットメントに残っているクレジットで支払われた使用量。

  • free usage：組織に提供された無料クレジットでカバーされた使用量。

  • overage：オンデマンド料金で支払われた使用量。これは、組織のキャパシティ・ロールオーバー・無料クレジットを使い切った場合に発生。

  • rebate：組織が他の組織とデータを共有した際に付与されたクレジットでカバーされた使用量。

  • rollover：ロールオーバークレジットで支払われた使用量。組織がキャパシティコミットメントを更新すると、未使用のクレジットはロールオーバークレジットとして新しい契約の残高に加算される。

SERVICE_TYPE の取りうる値​

  • automatic_clustering：自動クラスタリングを指す。

  • cloud_services：クラウドサービスのクレジット使用を指す。

  • data_transfer：データ転送コストの理解を指す。

  • logging：Logging and Tracing Overview を指す。

  • materialized_view：Working with Materialized Views を指す。

  • query_acceleration：Using the Query Acceleration Service を指す。

  • replication：複数アカウント間のレプリケーションとフェイルオーバーの概要を指す。

  • search_optimization：Search Optimization Service を指す。

  • serverless_task：タスクの概要を指す。

  • snowpipe：Snowpipe を指す。

  • snowpipe_streaming：Snowpipe Streaming を指す。

  • storage：ストレージコストの理解を指す。

  • warehouse_metering：仮想ウェアハウスのクレジット使用を指す。サーバーレスやクラウドサービスのコンピュート使用は示さない。

BILLING_TYPE の取りうる値​

  • consumption：コンピュートクレジット・ストレージコスト・データ転送コストに関連する使用量。

  • priority support：プライオリティサポートサービスの料金。この料金はアカウントではなく契約の条件に関連付けられる。

  • rebate：組織が他の組織とデータを共有した際に付与されたクレジットでカバーされた使用量。

  • support_credit：Snowflake Support が、Snowflake の問題に起因する料金を戻すためにアカウントにクレジットしたもの。

  • vps_deployment_fee：Virtual Private Snowflake デプロイの料金。

システムラベル​

以下は、Cloud Analytics で使用できる Snowflake のシステムラベルです。

  • snowflake/database_id：Snowflake データベースの ID。

  • snowflake/database_name：Snowflake データベースの名前。

  • snowflake/query_hash：識別とグルーピングに使用される、クエリテキストの暗号学的ハッシュ。Query cost を参照。

  • snowflake/query_parameterized_hash：パラメータ化後のクエリテキストの暗号学的ハッシュ。識別とグルーピングに使用。Query cost を参照。

  • snowflake/service_level：Standard や Enterprise など、Snowflake ウェアハウスに関連付けられたサービスレベル。

  • snowflake/user_name：クエリを実行したユーザーの名前。

  • snowflake/warehouse_credit_cloud_services_rate：ストレージやネットワーキングなど、クラウドサービスのウェアハウスクレジットあたりのコスト。

  • snowflake/warehouse_credit_compute_rate：コンピュートリソースのウェアハウスクレジットあたりのコスト。

  • snowflake/warehouse_id：Snowflake ウェアハウスの ID。

  • snowflake/warehouse_name：Snowflake ウェアハウスの名前。

QUERY_TAG​

DoiT は Snowflake の QUERY_TAG をサポートします。これらのタグは Cloud Analytics のラベルの下に表示されます。

拡張メトリクス​

Query Cost​

「Query Cost」メトリックは、Snowflake ウェアハウスで特定のクエリが消費したリソース量の推定値を定量化します。クエリの実行時間に基づき、そのクエリの実行に関連する計算コストを推定します。

コンピュートコストは、そのウェアハウスで実行されたすべてのクエリに対して、ウェアハウス稼働時間に占めるクエリのタイムシェアに基づいて按分されます。例えば、ウェアハウスが 1 時間利用可能な間にクエリが 15 秒間実行された場合、1 時間分のコンピュートリソースを消費したものとして記録されます。ウェアハウスが 1 時間アイドル状態で、アクティブなクエリがない場合、関連するコンピュートコストは発生しません。

「Query Cost」メトリックは、クエリのプロファイリングとリソース使用状況の理解のみを目的としています。実際に発生したコストに直接対応するものではなく、財務メトリックとして使用すべきではありません。

レポートでこれを設定するには、リソース ID でグループ化して、特定のリソース上でどのクエリが実行されたかを確認します。これにより Snowflake のクエリ ID が特定でき、そのクエリを Snowflake 側で追跡できます。クエリが複数回実行される場合は、それらの反復クエリが全体コストにどの程度寄与しているかを追跡できます。

さらに、値が異なる場合でも同一または類似のクエリを特定するために、以下のディメンションを利用できます。

このメトリックの適用例は、Query cost を参照してください。

例示レポート​

このセクションでは、Cloud Analytics で Snowflake データを扱う方法を示すレポート例を提供します。Snowflake の query tags と、標準のディメンション・メトリクスを組み合わせてレポートを作成できます。

クラウド全体の支出​

この例では、直近数か月の組織のクラウドコストを示します。

  • Group by：Provider

Snowflake data report

DOIT_WAREHOUSE のコスト​

この例では、DoiT がお客様に代わって作成したウェアハウスである DOIT_WAREHOUSE によって直近数か月に発生したコストを示します。

  • Group by：snowflake/warehouse_name

  • Filters：snowflake/warehouse_name equals DOIT_WAREHOUSE

DOIT_WAREHOUSE cost per month

クエリコスト​

この例では、前月のクエリコストが高い日次上位 10 件を表示します。

  • Metric：Query Cost

  • Filters

    • Provider：Snowflake
    • Service：WAREHOUSE_METERING

  • Group by：Resource

  • Limit results：limit by top/bottom

Snowflake Top 10 queries by query cost report

に最終更新