メインコンテンツへスキップ

DataHub API

DataHub API を使用すると、次のことができます。

  • DataHub にデータレコード（イベント）を送信して、新しいデータセットを作成したり、既存のデータセットを更新したりできます。

  • DataHub からデータレコードを削除できます。

Data formats​

DataHub API は 2 つのデータ形式をサポートします。

Data formatEndpointMedia type of the request body
JSON/datahub/v1/eventsapplication/json
CSV（非圧縮、または 1 つの CSV file を ZIP または GZ 圧縮したもの）/datahub/v1/csv/uploadmultipart/form-data

成功レスポンス（HTTP 201 OK）を受信すると、データ形式に関係なく、取り込まれたデータは 15 分以内にコンソールで利用可能になります。

JSON payload​

Payload schema​

データを送信する前に、DataHub の Events schema に基づいて、データを JSON ペイロードに変換する必要があります。以下はスキーマ内の主なプロパティです。

  • provider: データプロバイダの識別子です。データセットを簡単に識別できるよう、人が読んで理解しやすい値を選択してください。

  • id: イベント（データレコード）の一意の識別子です。DataHub はイベント ID を使用して重複データを処理します（新しいデータが既存のデータを上書きします）。また、誤った取り込みを削除する 場合にもイベント ID が必要です（イベントは取り込みから 90 分後に削除できます）。

  • time: イベントのタイムスタンプです。

  • dimensions: データセットのディメンションです。Cloud Analytics でフィルターやグルーピング条件として利用するために、4 種類のディメンションを指定できます。

    • fixed: Cloud Analytics の標準ディメンションです。Allowed keys for fixed dimensions を参照してください。ユニットエコノミクス分析のために、ビジネスデータとクラウドの請求データを結合する際に fixed ディメンションを使用してください。

    • label: 任意に定義できるカスタムディメンションです。Cloud Analytics の Labels の下に表示されます。

    • project_label: Google Cloud プロジェクトレベルで設定されたラベルです。Cloud Analytics の Project Labels の下に表示されます。

    • system_label: システムラベルは、DoiT およびデータプロバイダ（例: AWS、Google Cloud、Microsoft Azure、Snowflake、Datadog など）によってシステム的に生成されます。Cloud Analytics の System labels の下に表示されます。

  • metrics: 取り込まれたデータに適用されるメトリクスです。2 種類のメトリクスを指定できます。

    • cost、usage、savings: これら 3 つのメトリクスは、Cloud Analytics の basic metrics における Cost、Usage、Savings に対応します。

    • カスタムメトリクス: ビジネスメトリクスや社内利用メトリクスなど、目的に関連するメトリクスです。Cloud Analytics の DataHub metrics の下に表示されます。

警告

DoiT にデータを送信する前に、個人を特定できる情報（PII）のマスキングなど、必ずデータのサニタイズを行ってください。

Example payload​

以下は、DataHub event POST request のペイロード例です。これは、DataHub に送信されるデータを含みます。

{
  "events": [
    {
      "provider": "Product usage",
      "id": "beb21d99-a8c9-4dc0-8a69-5d684cc41e6c",
      "dimensions": [
        {
          "key": "Team",
          "type": "label",
          "value": "platform"
        }
      ],
      "time": "2024-03-01T23:00:00Z",
      "metrics": [
        {
          "value": 1042,
          "type": "User Interactions"
        }
      ]
    }
  ]
}

CSV​

CSV を使用してデータを送信する際の構文、規約、および制限については、CSV ingestion を参照してください。

▶️ Interactive demo​

ハンズオンのウォークスルー体験として、インタラクティブデモをお試しください。

デモが正しく表示されない場合は、ブラウザウィンドウを拡大するか、新しいタブでデモを開いて みてください。

に最終更新