OneTrace.pro 帮助中心

导出到数据仓库

数据仓库导出会定期将项目数据复制到您的数据仓库:档案、事件,以及可选的消息、分群、同意记录和商品。分析师可以在自己的工具中使用这些数据:在 BI 中制作报表、与业务系统的数据关联、训练模型。

反方向的操作,即把您数据仓库中变化的行读取到档案和事件中,由数据源完成。

在菜单中打开数据 → 数据仓库。数据仓库导出在“企业版”套餐中提供,参见套餐。

导出到 BigQuery、S3 和 ClickHouse

可导出到哪里

数据仓库 数据如何到达
S3(AWS、Yandex Object Storage、MinIO) 写入您存储桶的 NDJSON.gz 文件
Google Cloud Storage 写入您存储桶的 NDJSON.gz 文件
BigQuery Google Cloud 项目数据集中的表
Snowflake 模式中的表;数据经由您的 AWS S3 存储桶传输
ClickHouse 您服务器上数据库中的表
PostgreSQL 您服务器上模式中的表

首先需要在集成页面的数据仓库分组中接入数据仓库:填写访问凭据,然后点击测试。

  • S3:存储桶、访问密钥;使用 Yandex Object Storage 和 MinIO 时还需填写 API 地址。
  • Google Cloud Storage 和 BigQuery:服务账号密钥(JSON)。对于 Cloud Storage,服务账号需要该存储桶的 Storage Object User 角色;对于 BigQuery,需要 BigQuery Data Editor 和 BigQuery Job User 角色。BigQuery 还需指定数据位置:EU、US 或某个区域。
  • Snowflake:账户、用户及其无密码的 RSA 私钥、角色、用于计算的 warehouse,以及带密钥的 AWS S3 存储桶。请用 ALTER USER … SET RSA_PUBLIC_KEY 命令为用户设置公钥。
  • ClickHouse:HTTP 接口地址,例如 https://ch.example.com:8443,以及用户名和密码。
  • PostgreSQL:主机、端口、数据库、用户名、密码和连接加密方式。

ClickHouse 或 PostgreSQL 服务器必须可从互联网访问:不接受内网地址。

如何创建导出

  1. 点击新建导出。
  2. 填写名称并选择数据仓库,创建后无法更改。
  3. 勾选导出内容。档案和事件始终导出。
  4. 在历史起始日期字段中选择首次导出事件和消息的起始日期,或留空以导出全部历史。档案、分群、同意记录和商品始终完整导出。
  5. 选择计划:每小时、每 3、6、12 小时或每天一次。
  6. 填写数据仓库设置:存储桶中的文件夹、BigQuery 数据集、Snowflake 数据库和模式、ClickHouse 数据库或 PostgreSQL 模式。数据集、数据库和模式如不存在,将自动创建。如果多个导出写入同一个数据库,请设置表前缀。
  7. 点击保存。首次导出将在一分钟内开始。

导出设置

较长历史的首次导出会分批进行,可能需要几个小时;在完成之前,卡片上会显示首次导出标记。之后的每次运行只发送自上次以来发生变化的数据。

导出哪些数据

数据 表 内容
档案 profiles 属性、标识符(邮箱、电话、user_id …)、首次和最近一次访问、合并(merged_into_id)和删除
事件 events 网站、API 和系统的所有事件($message_*、$segment_* 等),以及属性和上下文
消息 messages 渠道、主题、模板、群发及其变体、旅程、状态及每个状态的时间、收件人
分群 segments、segment_members 分群列表;当前有哪些成员,何时加入和离开
同意记录 consents、preferences 按渠道和主题的同意记录;订阅偏好中心中的频率和暂停设置
商品 products 包含价格、库存、类别、特性和评分的目录

事件表只追加写入。其他表按键更新:变更后的档案、消息或商品会替换原有行。档案属性、事件属性和上下文为 JSON 格式。时间均为 UTC。

表会自动创建;如果新版 OneTrace.pro 为某个表增加了列,该列也会被添加。

各数据仓库的注意事项:

  • S3 和 Google Cloud Storage:文件位于 events/dt=2026-10-29/ 文件夹中。在按键更新的表中,某个键的当前行是 updated_at 最新的那一行。表结构位于 _schema 文件夹中。
  • BigQuery:事件按事件日期分区,并按事件名称和档案聚簇,因此按时间段查询时读取的数据更少。
  • ClickHouse:读取按键更新的表时请使用 FINAL;JSON 以字符串存储,请用 JSONExtract… 函数提取值。

已删除的档案

当档案应客户要求被删除时(参见档案),下一次导出运行也会从数据仓库中删除其数据行:包括档案、事件、消息、分群成员和同意记录。在 S3 和 Google Cloud Storage 中,已写入的文件不会更改:已删除档案的列表会放入 _erasures 文件夹,需要由您在自己的系统中删除这些档案的数据行。

运行与错误

导出卡片上显示计划、上次运行以及写入每个表的行数。历史记录显示最近的运行。

导出运行历史

  • 立即运行:立即导出变更,无需等待计划时间。
  • 暂停:停止导出;变更会累积,点击恢复后再发送。
  • 从头重新导出:下次运行将像首次一样发送全部数据。如果不清空数据仓库中的表,其中的事件将会重复。

如果数据仓库暂时无法访问,导出会在 1、5、15、30 和 60 分钟后重试,并从中断处继续:已被接收的部分不会重复发送。如果访问权限被撤销或找不到数据库,卡片上会显示错误:请在集成页面修复连接,下次运行将继续导出。

谁可以设置导出

客户的个人数据会进入数据仓库。因此,拥有档案导出权限的角色可以查看此板块,而只有同时拥有集成管理权限和查看未脱敏个人数据权限的成员,才能创建、修改和运行导出。在系统角色中,这包括“所有者”和“管理员”。详情请参阅成员与角色。