メインコンテンツへスキップ

UI からデータセットを管理する

必要な権限​

  • DataHub Admin

データセットを表示する​

データセットの一覧を表示するには、次の手順を実行してください。

  1. DoiT console にサインインします。

  2. 画面上部のナビゲーションメガメニューから Data ingestion and integrations ・ DataHub を選択します。

    正常に取り込まれたデータセットと、現在処理中のデータセットの一覧が表示されます。

    The main Datasets page

    Dataset 列には、DataHub API ペイロードの Provider フィールドで指定した各データセットの識別子が表示されます。Template 列には、各データセットに割り当てられているスキーマテンプレート が表示されます。

    データセットのプロパティ（例: データセット識別子、データセット内のレコード数、最終更新時刻、更新を行ったユーザー）で一覧をフィルタリングできます。

データセットの詳細を表示する（CSV のみ）​

CSV ファイル経由でインポートされたデータセットについては、View details を選択して履歴を確認できます。

The main Datasets page

また、Delete を選択して、そのバッチ処理でインポートされたデータレコードを削除できます。

Dataset details ページは CSV アップロードの補助を目的として設計されており、/datahub/v1/events endpoint 経由の操作は表示しません。

新しいデータセットを作成する​

UI から新しいデータセットを作成するには、次の手順を実行してください。

  1. Create new dataset を選択します。

  2. 新しいデータセットの名前を入力し、任意で説明を追加し、スキーマテンプレートを選択してから Create を選択します。

    Create a new dataset

    • Name: データプロバイダの識別子です。DataHub の Events schema における provider プロパティに対応します。

    • Description (optional): このフィールドは UI 上にのみ表示されます。

    • Schema template: DataHub に CSV の読み取り方法を指示します。Default が既定で選択されますが、FOCUS または Anthropic を選択することもできます。後から別のテンプレートを使用したい場合は、新しいデータセットを作成してください。詳細は、Schema templates を参照してください。

    • Select a preset icon または Upload your own (optional): いずれかを選択すると、DataHub ページ上のデータセット名の横に表示されるアイコンを設定できます。どちらも選択しないことも可能です。Select a preset icon は組み込みリストからロゴを使用します。Upload your own は 200 KB までの PNG・SVG・WebP ファイルを受け付けます。背景が透明な正方形の画像が最適です。

  3. Import data を選択します。

  4. データのインポート方法を選択し、手順 に従って進めてください。

    Import data options

データセットを更新する​

データセットに新しいデータレコードを追加する、または既存のレコードを上書きするには、次の手順を実行してください。

  1. DataHub ページで対象のデータセットを探します。

  2. データセット行の一番右端にあるケバブメニュー（⋮）を選択し、Import data を選択します。

  3. データのインポート方法を選択し、手順 に従って進めてください。

データセット名を変更する​

データセットには 2 種類の名前があります。

  • dataset ID は、データセット作成時に付けた name です。取り込まれるすべてのイベントでの provider の値であり、レポート・Budgets・Alerts・Attributions・Allocations に保存される値であり、DataHub API および CSV インポートで使用される識別子です。変更することはできません。

  • display name は任意で、データセットの見え方のみを変更します。設定すると、DataHub ページ、データセットの詳細、レポートテーブル、チャートの凡例とツールチップ、フィルターの値選択、エクスポート、およびスケジュールされたレポートや通知メールで、本来 dataset ID が表示される箇所に display name が表示されます。

データセット名を変更するには、次の手順を実行してください。

  1. DataHub ページで対象のデータセットを探します。

  2. データセット行の一番右端にあるケバブメニュー（⋮）を選択し、Rename を選択します。

  3. 最大 64 文字までの display name を入力し、Save を選択します。フィールドを空にすると、表示を dataset ID に戻せます。

名前の変更によってデータが移動または書き換えられることはないため、既存のレポート・Budgets・Alerts・Attributions・Allocations はそのまま動作します。display name が設定されている場合、DataHub ページではその下に dataset ID が表示されます。イベントを取り込む際は、引き続き provider として dataset ID を使用してください。display name を送信すると新しいデータセットが作成されます。

また、update dataset エンドポイントの displayName フィールドを使用して、DataHub API 経由で display name を設定することもできます。

データセットレコードをダウンロードする​

取り込まれた内容を監査したり、バックアップを保持したり、別のデータセットへデータを移動したりする目的で、データセットのライブレコードをファイルとしてダウンロードできます。

  1. データセットの詳細ページを開き、Download を選択します。

  2. フォーマットを選択します。

    • CSV: レコード 1 件につき 1 行です。最初の 5 列はプロビナンス列（event_id、batch、source、export_time、updated_by）で、その後に CSV import vocabulary におけるレコードの列（usage_date、fixed.<key>、label.<key>、project_label.<key>、system_label.<key>、metric.<type>）が続きます。FOCUS スキーマテンプレートを使用するデータセットでは、代わりに FOCUS の列名が使用されます。
    • JSONL: 1 行につき 1 レコードで、/datahub/v1/events ペイロードと同じ構造に provenance オブジェクトを追加した形式です。FOCUS データセットでは利用できません。

  3. 最大 366 日間の期間を選択します。コンソールはページ単位でレコードを取得し、1 つのファイルとして保存します。非常に大きなエクスポートはコンソールでは拒否されますので、代わりにページネーション対応の records API を使用してください。

削除されたレコードは含まれません。

Re-importing an export

エクスポートした CSV は、そのままでは CSV インポートで受け付けられません。別のデータセットにアップロードする前に、batch、source、export_time、updated_by 列を削除し、event_id 列を削除するか、元のレコード識別子を保持する場合は id にリネームしてください。

データセットを削除する​

DataHub のデータは、取り込みから 90 分後 に削除できます。

  • 個々のデータセットを削除するには、データセット行の一番右端にあるケバブメニュー（⋮）を選択し、Delete を選択してください。

  • 複数のデータセットを一度に削除するには、削除したい各データセットのチェックボックスを選択し、フィルターバーの横に表示される Delete ボタンを選択してください。

に最終更新