メインコンテンツへスキップ

DataHub API

DataHub API を使用すると、次のことができます。

  • DataHub にデータレコード（イベント）を送信して新しいデータセットを作成したり、既存のデータセットを更新したりできます。
  • DataHub からデータレコードを削除できます。

Data formats​

DataHub API は次の 2 つのデータ形式をサポートします。

Data formatEndpointMedia type of the request body
JSON/datahub/v1/eventsapplication/json
CSV（非圧縮、または単一の CSV ファイルを ZIP・GZ 圧縮）/datahub/v1/csv/uploadmultipart/form-data

成功レスポンス（HTTP 201 OK）を受信すると、データ形式に関わらず、取り込まれたデータは 15 分以内に DoiT コンソールで利用可能になります。

JSON payload​

Payload schema​

データを送信する前に、DataHub の Events schema に基づいてデータを JSON ペイロードに変換する必要があります。主なプロパティは次のとおりです。

  • provider: データプロバイダの識別子。データセットを容易に識別できるよう、人が読んで理解しやすい値を選択してください。
  • id: イベント（データレコード）の一意の識別子。DoiT DataHub は重複データを処理するためにイベント ID を使用します（新しいデータが既存のデータを上書きします）。また、誤って取り込んだデータの削除 にもイベント ID が必要です（イベントは取り込み後 90 分経過すると削除できます）。
  • time: イベントのタイムスタンプ。
  • dimensions: データセットのディメンション。Cloud Analytics（クラウド分析）でフィルターまたはグルーピングの基準として機能する 4 種類のディメンションを指定できます。
    • fixed: DoiT Cloud Analytics の標準ディメンション。Allowed keys for fixed dimensions を参照してください。単位経済性の分析のために、ビジネスデータセットとクラウドの請求データセットを結合する用途に固定ディメンションを使用してください。
    • label: 任意に定義できるカスタムディメンション。Cloud Analytics の Labels に表示されます。
    • project_label: Google Cloud のプロジェクトレベルで設定されたラベル。Cloud Analytics の Project Labels に表示されます。
    • system_label: DoiT およびデータプロバイダ（例：AWS・Google Cloud・Microsoft Azure・Snowflake・Datadog など）によって体系的に生成されるシステムラベル。Cloud Analytics の System labels に表示されます。
  • metrics: 取り込んだデータに適用されるメトリクス。次の 2 種類を指定できます。
    • cost・usage・savings: これら 3 つのメトリクスは、Cloud Analytics（クラウド分析）の Cost・Usage・Savings の basic metrics に対応します。
    • カスタムメトリクス: ビジネスメトリクスや社内利用メトリクスなど、目的に関連するメトリクス。Cloud Analytics の DataHub metrics に表示されます。
警告

DoiT に送信する前に、個人を特定できる情報（PII）をマスクするなど、必ずデータをサニタイズしてください。

Example payload​

以下は、DataHub event POST request のペイロード例です。DataHub に送信するデータが含まれています。

{
  "events": [
    {
      "provider": "Product usage",
      "id": "beb21d99-a8c9-4dc0-8a69-5d684cc41e6c",
      "dimensions": [
        {
          "key": "Team",
          "type": "label",
          "value": "platform"
        }
      ],
      "time": "2024-03-01T23:00:00Z",
      "metrics": [
        {
          "value": 1042,
          "type": "User Interactions"
        }
      ]
    }
  ]
}

CSV​

CSV を使用してデータを送信する際の構文・規約・制限については、CSV ingestion を参照してください。

▶️ Interactive demo​

操作しながら理解できるインタラクティブデモをお試しください。

デモが正しく表示されない場合は、ブラウザウィンドウを拡大するか、新しいタブでデモを開く ことをお試しください。

に最終更新