OneTrace.pro Central de ajuda

Exportação para data warehouses

A exportação copia regularmente os dados do projeto para o seu data warehouse: perfis, eventos e, se você quiser, mensagens, segmentos, consentimentos e produtos. Os analistas trabalham com eles nas próprias ferramentas: criam relatórios no BI, cruzam com os dados do sistema de gestão e treinam modelos.

A direção inversa, ou seja, a leitura das linhas alteradas do seu data warehouse para perfis e eventos, é feita por uma fonte de dados.

A seção fica em Dados → Data warehouses. A exportação para data warehouses está disponível no plano “Empresarial”; veja Planos.

Exportações para BigQuery, S3 e ClickHouse

Para onde exportar

Data warehouse Como os dados chegam lá
S3 (AWS, Yandex Object Storage, MinIO) arquivos NDJSON.gz no seu bucket
Google Cloud Storage arquivos NDJSON.gz no seu bucket
BigQuery tabelas em um conjunto de dados do projeto do Google Cloud
Snowflake tabelas em um esquema; os dados passam pelo seu bucket do AWS S3
ClickHouse tabelas em um banco de dados no seu servidor
PostgreSQL tabelas em um esquema no seu servidor

Primeiro, conecte o data warehouse na página Integrações, no grupo Data warehouses: informe os acessos e clique em Testar.

  • S3: bucket, chaves de acesso e, para Yandex Object Storage e MinIO, o endereço da API.
  • Google Cloud Storage e BigQuery: chave da conta de serviço (JSON). No Cloud Storage, a conta precisa da função Storage Object User no bucket; no BigQuery, das funções BigQuery Data Editor e BigQuery Job User. No BigQuery, informe também o local dos dados: EU, US ou uma região.
  • Snowflake: conta, usuário e a chave privada RSA dele sem senha, função, warehouse de processamento e um bucket do AWS S3 com as chaves. Atribua a chave pública ao usuário com o comando ALTER USER … SET RSA_PUBLIC_KEY.
  • ClickHouse: endereço da interface HTTP, por exemplo https://ch.example.com:8443, usuário e senha.
  • PostgreSQL: host, porta, banco de dados, usuário, senha e criptografia da conexão.

O servidor ClickHouse ou PostgreSQL deve estar acessível pela internet: endereços de redes internas não são aceitos.

Como criar uma exportação

  1. Clique em Nova exportação.
  2. Defina o nome e escolha o Data warehouse: ele não pode ser trocado depois da criação.
  3. Marque O que exportar. Perfis e eventos são sempre exportados.
  4. No campo Histórico desde, escolha a data a partir da qual os eventos e as mensagens serão exportados na primeira vez, ou deixe o campo vazio para exportar todo o histórico. Perfis, segmentos, consentimentos e produtos são exportados por completo.
  5. Escolha o Agendamento: a cada hora, a cada 3, 6 ou 12 horas ou uma vez por dia.
  6. Preencha as configurações do data warehouse: a pasta no bucket, o conjunto de dados do BigQuery, o banco de dados e o esquema do Snowflake, o banco de dados do ClickHouse ou o esquema do PostgreSQL. O conjunto de dados, o banco e o esquema são criados automaticamente se não existirem. O prefixo das tabelas é necessário quando várias exportações gravam no mesmo banco.
  7. Clique em Salvar. A primeira exportação começa em até um minuto.

Configurações da exportação

A primeira exportação de um histórico longo é feita em partes e pode levar algumas horas; enquanto ela não termina, o cartão mostra o rótulo Primeira exportação. As execuções seguintes enviam apenas o que mudou desde a última vez.

O que é exportado

Dados Tabelas O que contêm
Perfis profiles atributos, identificadores (e-mail, telefone, user_id …), primeira e última visita, mesclagem (merged_into_id) e exclusão
Eventos events todos os eventos do site, da API e do sistema ($message_*, $segment_* e outros), propriedades e contexto
Mensagens messages canal, tema, modelo, campanha e variante, jornada, status e horário de cada status, destinatário
Segmentos segments, segment_members lista de segmentos; quem está no segmento agora, quando entrou e saiu
Consentimentos consents, preferences consentimentos por canal e tema; frequência e pausa da central de preferências
Produtos products catálogo com preços, estoque, categorias, características e avaliações

A tabela de eventos só recebe novas linhas. As demais tabelas são atualizadas por chave: um perfil, mensagem ou produto alterado substitui a linha anterior. Atributos, propriedades e contexto dos eventos ficam em JSON. Os horários estão em UTC.

As tabelas são criadas automaticamente; se uma nova versão do OneTrace.pro acrescentar uma coluna a uma tabela, ela será adicionada.

Particularidades dos data warehouses:

  • S3 e Google Cloud Storage: os arquivos ficam na pasta events/dt=2026-10-29/. Nas tabelas atualizáveis, a linha atual de uma chave é a última por updated_at. Os esquemas das tabelas ficam na pasta _schema.
  • BigQuery: os eventos são particionados pelo dia do evento e agrupados pelo nome do evento e pelo perfil, por isso as consultas de um período leem menos dados.
  • ClickHouse: leia as tabelas atualizáveis com FINAL; o JSON é armazenado como string: extraia os valores com as funções JSONExtract….

Perfis apagados

Quando um perfil é apagado a pedido do cliente (veja Perfis), a próxima execução da exportação também remove as linhas dele do data warehouse: dos perfis, eventos, mensagens, participação em segmentos e consentimentos. No S3 e no Google Cloud Storage, os arquivos já gravados não mudam: a lista de perfis apagados é colocada na pasta _erasures, e cabe a você remover as linhas deles do seu lado.

Execuções e erros

O cartão da exportação mostra o agendamento, a última execução e quantas linhas foram enviadas para cada tabela. Histórico mostra as últimas execuções.

Histórico de execuções da exportação

  • Executar agora: exporta as alterações imediatamente, sem esperar o agendamento.
  • Pausar: interrompe a exportação; as alterações se acumulam e são enviadas depois de Retomar.
  • Exportar novamente do zero: a próxima execução envia todos os dados, como da primeira vez. Se as tabelas do data warehouse não forem limpas, os eventos ficarão duplicados.

Se o data warehouse estiver temporariamente indisponível, a exportação tenta novamente após 1, 5, 15, 30 e 60 minutos e continua de onde parou: as partes já recebidas não são enviadas duas vezes. Se o acesso for revogado ou o banco não for encontrado, um erro aparece no cartão: corrija a conexão na página Integrações, e a próxima execução continuará a exportação.

Quem pode configurar exportações

Dados pessoais dos clientes vão para o data warehouse. Por isso, a seção é visível para funções com permissão para exportar perfis, mas criar, alterar e executar exportações só é permitido a quem também tem permissão para gerenciar integrações e para ver dados pessoais sem máscara. Entre as funções de sistema, são elas “Proprietário” e “Administrador”. Saiba mais no artigo Membros e funções.