Engenharia de Dados para Empresas: pipelines, warehouse e governança

A escolha entre Data Warehouse e Data Lakehouse não é técnica antes de ser estratégica. Um Data Warehouse (BigQuery, Snowflake, Redshift) armazena dados estruturados em tabelas relacionais, otimizado para consultas SQL analíticas. É a solução certa para empresas que precisam de dashboards confiáveis, relatórios gerenciais e análises históricas sobre dados de negócio bem definidos. Tem governança nativa, performance previsível e custo controlável.

Um Data Lakehouse combina o armazenamento de objetos de baixo custo do data lake (S3, GCS) com as capacidades analíticas e de governança de um warehouse — usando formatos como Delta Lake, Apache Iceberg ou Apache Hudi. Faz sentido quando a empresa precisa armazenar grandes volumes de dados não estruturados (logs, eventos, imagens, documentos), tem times de Data Science que precisam de histórico longo para treinar modelos, ou opera em cenário multi-cloud com requisitos de portabilidade.

Para a maioria das PMEs e médias empresas, a recomendação da Lumi é clara: comece com um Data Warehouse moderno em nuvem, bem modelado e com dbt para as transformações. A simplicidade operacional e a governança nativa entregam valor mais rápido e com menos overhead do que um Lakehouse. A migração para Lakehouse é um passo natural quando o volume e a variedade de dados justificarem — e uma boa arquitetura de warehouse não bloqueia essa evolução.

Um pipeline tecnicamente perfeito que não tem um "dono" de negócio naufrega em seis meses. Governança de dados não é só tecnologia — é processo, responsabilidade e cultura. Inclui: quem é o data owner de cada dataset (a pessoa de negócio responsável por sua qualidade e interpretação), qual é o SLA de atualização de cada tabela, quem pode acessar dados sensíveis e como esse acesso é auditado, e como novos datasets são incorporados à plataforma.

Na prática, governança começa na fase de discovery do projeto: mapeamos os datasets críticos, identificamos quem no negócio é a autoridade sobre cada um e documentamos as regras de cálculo das métricas mais importantes. Isso vira o dicionário de dados — um documento vivo que resolve a pergunta "o que é receita líquida para a nossa empresa?" com uma resposta única, documentada e acordada.

Conformidade com LGPD é parte da governança de dados, não uma adição posterior. Durante a implementação, classificamos quais campos contêm dados pessoais (PII), implementamos row-level security para dados sensíveis, configuramos retenção e exclusão automática onde aplicável, e geramos a documentação necessária para responder a solicitações de titulares de dados. Fazer isso no início é muito mais barato do que retrofit de compliance depois.