メインコンテンツまでスキップ

DataHub API

DataHub API では、次のことが可能です。

  • DataHub にデータレコード（イベント）を送信して、新しいデータセットを作成する、または既存のデータセットを更新する。

  • DataHub からデータレコードを削除する。

データ形式​

DataHub API は 2 つのデータ形式をサポートします。

データ形式エンドポイントリクエスト本文のメディアタイプ
JSON/datahub/v1/eventsapplication/json
CSV（非圧縮、または単一の CSV ファイルを ZIP または GZ）/datahub/v1/csv/uploadmultipart/form-data

成功レスポンス（HTTP 201 OK）を受け取ると、取り込まれたデータはデータ形式に関わらず 15 分以内に DoiT コンソールで利用可能になります。

JSON ペイロード​

ペイロードのスキーマ​

データを送信する前に、DataHub の Events schema に基づいて JSON ペイロードに変換する必要があります。以下はスキーマの主なプロパティです。

  • provider: データプロバイダの識別子。データセットを容易に識別できるよう、人間が判読しやすい値を選択してください。

  • id: イベント（データレコード）の一意の識別子。DoiT DataHub は重複データの処理にイベント ID を使用します（新しいデータは既存のデータを上書きします）。また、イベント ID は 誤った取り込みの削除 にも必要です（イベントは取り込みから 90 分後に削除可能）。

  • time: イベントのタイムスタンプ。

  • dimensions: データセットのディメンション。Cloud Analytics（クラウド分析）でフィルターやグルーピング条件として機能する 4 種類のディメンションを指定できます。

    • fixed: DoiT Cloud Analytics の標準ディメンション。Allowed keys for fixed dimensions を参照してください。ユニットエコノミクス分析のために、ビジネスおよびクラウドの請求データセットを結合する用途で fixed ディメンションを使用します。

    • label: 任意に定義できるカスタムディメンション。Cloud Analytics の Labels に表示されます。

    • project_label: Google Cloud のプロジェクトレベルで設定されるラベル。Cloud Analytics の Project Labels に表示されます。

    • system_label: DoiT およびデータプロバイダ（例: AWS、Google Cloud、Microsoft Azure、Snowflake、Datadog など）によって体系的に生成されるシステムラベル。Cloud Analytics の System labels に表示されます。

  • metrics: 取り込んだデータに適用されるメトリクス。2 種類のメトリクスを指定できます。

    • cost と usage: これら 2 つのメトリクスは、Cloud Analytics の Cost と Usage の基本メトリクスにマッピングされます。

    • カスタムメトリクス: ビジネス指標、社内利用指標など、目的に関連するメトリクス。Cloud Analytics の DataHub metrics に表示されます。

警告

DoiT に送信する前に、個人を特定できる情報（PII）をマスクするなど、必ずデータをサニタイズしてください。

ペイロード例​

以下は、DataHub イベントの POST リクエスト のペイロード例です。DataHub に送信するデータが含まれています。

{
  "events": [
    {
      "provider": "Product usage",
      "id": "beb21d99-a8c9-4dc0-8a69-5d684cc41e6c",
      "dimensions": [
        {
          "key": "Team",
          "type": "label",
          "value": "platform"
        }
      ],
      "time": "2024-03-01T23:00:00Z",
      "metrics": [
        {
          "value": 1042,
          "type": "User Interactions"
        }
      ]
    }
  ]
}

CSV​

CSV を使用してデータを送信する際の構文・規約・制限については、CSV ingestion を参照してください。

▶️ インタラクティブデモ​

ハンズオンで手順を体験できるインタラクティブデモをお試しください。

デモが正しく表示されない場合は、ブラウザウィンドウを拡大するか、新しいタブでデモを開いてお試しください。

に最終更新