メインコンテンツへスキップ

CSV 取り込み

カンマ区切り値（CSV）は、データ交換で一般的に使用されるテキストファイルフォーマットです。CSV ファイルをアップロードして、次のことができます。

  • 新しいデータセットを作成する

  • 既存のデータセットに新しいレコードを追加する、または既存レコードを上書きする

取り込み方法​

DataHub は、CSV に対して 2 つの取り込み方法をサポートします。

Ingestion methodSupported file formatsMaximum file size
DataHub API圧縮なし、または単一の CSV ファイルを含む ZIP または GZ30MB
DoiT console圧縮なし100MB

次の点に注意してください。

  • DataHub API は 30MB 以下のファイルのみを受け付けます。CSV が 30MB を超える場合は、ZIP または GZ アーカイブに圧縮してください。

  • DataHub API は、複数の CSV を含む ZIP または GZ アーカイブは受け付けません。

  • コンソール経由で CSV をアップロードする場合、大きなファイルは処理に時間がかかります。

構文と規約​

DataHub 用の CSV を準備するには、次の構文と規約に従ってください。

  • 値はカンマで区切ります。

  • 各データレコードは新しい行として追加し、改行コードには CRLF（Carriage Return and Line Feed）を使用します。

  • 最初の行はヘッダー行です。

ヘッダー行の構文: usage_date[,id],DIMENSION_KEY...,METRICS_TYPE...

  • ヘッダー行のフィールド名は正しいフォーマットを使用する必要があります。DataHub はフィールド名を変更しません。

  • usage_date: データレコードのタイムスタンプ（RFC3339）であり、DataHub Events schema の time プロパティに対応します。

    • CSV ファイルには、2 年より前のタイムスタンプ（usage_date）を持つレコードを含めてはいけません。
    • タイムスタンプは、RFC 3339/ISO 8601 UTC フォーマットのサブセットに厳密に従う必要があります。形式は YYYY-MM-DDTHH:MM:SSZ で、大文字の Z を使用します。例: 2025-07-23T18:24:34Z。この制約により、タイムゾーンのあいまいさが排除され、検証が容易になります。

  • id: レコードの一意の識別子であり、DataHub Events schema の id プロパティに対応します。

    • 取り込み時に自動生成される UUIDv4 識別子を使用する場合は、このプロパティを CSV に含めないでください。
    • 既存のデータセット内のレコードを上書きするには、CSV 内に正しい id を必ず含めてください。

  • DIMENSION_KEY: データセット内のディメンションのキーです。少なくとも 1 つのディメンションキーが必要です。

    • fixed ディメンションについては、Allowed keys for fixed dimensions を参照してください。
      • fixed ディメンションは fixed をプレフィックスとして付与する必要があります（例: fixed.billing_account_id、fixed.sku_description）。
      • fixed ディメンションは大文字と小文字を区別しません。
      • fixed ディメンションの主なユースケースは、ビジネスデータセットとクラウドの請求データセットを結合してユニットエコノミクス分析を行うことです。
    • label ディメンションには label.CUSTOM_DIMENSION_KEY という形式を使用します。例: label.foo。label ディメンションは大文字と小文字を区別します。
    • project_label ディメンションには project_label.DIMENSION_KEY という形式を使用します。例: project_label.app。project_label ディメンションは大文字と小文字を区別します。
    • system_label ディメンションには system_label.DIMENSION_KEY という形式を使用します。例: system_label.app。system_label ディメンションは大文字と小文字を区別します。

  • METRICS_TYPE: データセット内のメトリックタイプです。少なくとも 1 つのメトリックタイプが必要です。

    • metric.METRICS_TYPE という形式を使用します。例: metric.cost、metric.usage、metric.savings、metric.custom_metric。
    • 基本メトリクス（metric.cost、metric.usage、metric.savings）は大文字と小文字を区別しませんが、それ以外のメトリックタイプは大文字と小文字を区別します。

  • ヘッダー行内のフィールドは任意の順序で並べることができます。取り込まれた CSV をプレビューする際もその順序が維持されます。

警告

個人を特定できる情報（PII）をマスクするなど、DoiT に送信する前に必ずデータをサニタイズしてください。

CSV の例​

以下に簡単な CSV の例を示します。

Month,Territory,Cost
2024-03-01,AMER,$70000
2024-04-01,AMER,$70000
2024-05-01,AMER,$70000
2024-03-01,EMEA,$7500
2024-04-01,EMEA,$7500
2024-05-01,EMEA,$7500
2024-03-01,APAC,$3700
2024-04-01,APAC,$3700
2024-05-01,APAC,$3700

より多くの列を含むサンプル CSV は、サンプル CSV をダウンロード することもできます。

Upload CSV​

必要な権限
  • DataHub Admin

以下の説明は、コンソールを使用して CSV ファイルをアップロードする方法についてです。DataHub API を使用して CSV をアップロードする場合は、DataHub API を参照してください。

CSV ファイルを正しくフォーマットしたら、新しいデータセットを作成するとき、またはデータセットを更新するときにアップロードできます。

  1. Import data ダイアログで Upload CSV file を選択し、Continue を選択します。

    Import data options

  2. Prepare file: CSV ファイルが 構文と規約 に準拠していることを確認します。続行するには Next を選択します。

  3. Upload CSV: アップロードする CSV ファイルを選択します。このステップで CSV の検証も行われます。

    Upload CSV step 2

  4. Preview: このステップでは、意図したディメンションとメトリクスでデータが取り込まれることを確認します。

    Upload CSV step 2

Confirm upload を選択すると、データの処理が開始されます。データのアップロードが正常に完了した後、コンソールでデータを利用可能になるまでに最大 15 分かかる場合があります。

に最終更新