メインコンテンツへスキップ

DataHub API

DataHub API を使用すると、次のことができます。

  • DataHub にデータレコード（イベント）を送信して、新しいデータセットを作成したり、既存のデータセットを更新したりする。

  • DataHub からデータレコードを削除する。

Data formats​

DataHub API は次の 2 つのデータ形式をサポートします。

Data formatEndpointMedia type of the request body
JSON/datahub/v1/eventsapplication/json
CSV (uncompressed, or ZIP or GZ of a single CSV file)/datahub/v1/csv/uploadmultipart/form-data

成功レスポンス（HTTP 201 OK）を受信すると、データ形式に関係なく、投入されたデータは 15 分以内に DoiT コンソールで利用できるようになります。

JSON payload​

Payload schema​

データを送信する前に、DataHub の Events schema に基づいてデータを JSON ペイロードに変換する必要があります。以下はスキーマ内の主なプロパティです。

  • provider: データプロバイダの識別子。データセットを簡単に識別できるよう、人が読んで理解しやすい値を選択してください。

  • id: イベント（データレコード）の一意の識別子。DoiT DataHub はイベント ID を使用して重複データを処理します（新しいデータが既存データを上書きします）。また、誤って投入したデータの削除 にもイベント ID が必要です（イベントは投入から 90 分後に削除できます）。

  • time: イベントのタイムスタンプ。

  • dimensions: データセットのディメンション。Cloud Analytics でフィルターやグルーピング条件として使用するために、4 種類のディメンションを指定できます。

    • fixed: DoiT Cloud Analytics の標準ディメンション。詳細は Allowed keys for fixed dimensions を参照してください。ユニットエコノミクス分析のために、ビジネスデータセットとクラウドの請求データセットを結合する用途で fixed ディメンションを使用します。

    • label: 任意に定義できるカスタムディメンション。Cloud Analytics では Labels の下に表示されます。

    • project_label: Google Cloud プロジェクトレベルで設定されたラベル。Cloud Analytics では Project Labels の下に表示されます。

    • system_label: System labels は DoiT およびデータプロバイダ（例: AWS、Google Cloud、Microsoft Azure、Snowflake、Datadog など）によってシステム的に生成されるラベルです。Cloud Analytics では System labels の下に表示されます。

  • metrics: 投入データに適用されるメトリクス。2 種類のメトリクスを指定できます。

    • cost、usage、savings: これら 3 種類のメトリクスは、Cloud Analytics の Cost、Usage、Savings の基本メトリクス に対応します。

    • カスタムメトリクス: ビジネスメトリクスや社内利用状況メトリクスなど、目的に関連するメトリクス。Cloud Analytics では DataHub metrics の下に表示されます。

警告

DoiT にデータを送信する前に、個人を特定できる情報（PII）をマスクするなど、必ずデータをサニタイズしてください。

Example payload​

以下は DataHub event POST request のペイロード例です。DataHub に送信されるデータが含まれています。

{
  "events": [
    {
      "provider": "Product usage",
      "id": "beb21d99-a8c9-4dc0-8a69-5d684cc41e6c",
      "dimensions": [
        {
          "key": "Team",
          "type": "label",
          "value": "platform"
        }
      ],
      "time": "2024-03-01T23:00:00Z",
      "metrics": [
        {
          "value": 1042,
          "type": "User Interactions"
        }
      ]
    }
  ]
}

CSV​

CSV を使用してデータを送信する際の構文、規約、および制限については、CSV ingestion を参照してください。

▶️ Interactive demo​

インタラクティブデモを試して、実際に操作しながら一連の流れを体験してください。

デモが正しく表示されない場合は、ブラウザウィンドウを最大化するか、新しいタブでデモを開いてみてください。

に最終更新