メインコンテンツまでスキップ

DataHub API

DataHub API を使用すると、次のことができます。

  • DataHub にデータレコード（イベント）を送信して、新しいデータセットを作成したり、既存のデータセットを更新したりできます。

  • DataHub からデータレコードを削除できます。

Data formats​

DataHub API は次の 2 つのデータ形式をサポートします。

Data formatEndpointMedia type of the request body
JSON/datahub/v1/eventsapplication/json
CSV（非圧縮、または単一の CSV ファイルを ZIP・GZ 圧縮したもの）/datahub/v1/csv/uploadmultipart/form-data

成功レスポンス（HTTP 201 OK）を受信すると、取り込まれたデータはデータ形式に関わらず 15 分以内に DoiT コンソールで利用可能になります。

JSON payload​

Payload schema​

データを送信する前に、DataHub の Events schema に基づいて、データを JSON ペイロードに変換する必要があります。以下はスキーマ内の主なプロパティです。

  • provider: データプロバイダの識別子。データセットを容易に識別できるよう、人が読んでわかりやすい値を選択してください。

  • id: イベント（データレコード）の一意の識別子。DoiT DataHub はイベント ID を使用して重複データを処理します（新しいデータが既存データを上書き）。また、誤って取り込んだデータの削除 にもイベント ID が必要です（取り込みから 90 分後にイベントを削除できます）。

  • time: イベントのタイムスタンプ。

  • dimensions: データセットのディメンション。Cloud Analytics（クラウド分析）でフィルターやグルーピング条件として機能する 4 種類のディメンションを指定できます。

    • fixed: DoiT Cloud Analytics の標準ディメンション。Allowed keys for fixed dimensions を参照してください。ユニットエコノミクス分析のために、ビジネスデータとクラウドの請求データを結合する場合に fixed ディメンションを使用します。

    • label: 任意に定義するカスタムディメンション。Cloud Analytics のLabelsに表示されます。

    • project_label: Google Cloud のプロジェクトレベルで設定されたラベル。Cloud Analytics のProject Labelsに表示されます。

    • system_label: System labels は DoiT やデータプロバイダ（例：AWS、Google Cloud、Microsoft Azure、Snowflake、Datadog など）によって体系的に生成されます。Cloud Analytics のSystem labelsに表示されます。

  • metrics: 取り込まれるデータに適用されるメトリクス。次の 2 種類のメトリクスを指定できます。

    • cost、usage、savings: これら 3 つのメトリクスは、Cloud Analytics の Cost、Usage、Savings のbasic metricsにマッピングされます。

    • カスタムメトリクス: ビジネス指標や内部利用状況メトリクスなど、目的に関連するメトリクス。Cloud Analytics のDataHub metricsに表示されます。

警告

DoiT に送信する前に、個人を特定できる情報（PII）のマスキングなど、必ずデータをサニタイズしてください。

Example payload​

以下は、DataHub event の POST リクエスト のペイロード例です。DataHub に送信されるデータを含みます。

{
  "events": [
    {
      "provider": "Product usage",
      "id": "beb21d99-a8c9-4dc0-8a69-5d684cc41e6c",
      "dimensions": [
        {
          "key": "Team",
          "type": "label",
          "value": "platform"
        }
      ],
      "time": "2024-03-01T23:00:00Z",
      "metrics": [
        {
          "value": 1042,
          "type": "User Interactions"
        }
      ]
    }
  ]
}

CSV​

CSV を使用してデータを送信する際の構文、規約、制限事項については、CSV ingestionを参照してください。

▶️ Interactive demo​

ハンズオンで体験できるインタラクティブデモをお試しください。

デモが正しく表示されない場合は、ブラウザウィンドウを拡大するか、新しいタブでデモを開く ことをお試しください。

に最終更新