// stack.lumi

Nuvem

Snowflake

Data cloud para analytics governado e compartilhamento seguro.

// o que é

Snowflake e uma plataforma de dados cloud que separa armazenamento e computacao, facilitando escalabilidade, governanca e compartilhamento seguro. Para a Lumi Data, ele e indicado quando a organizacao precisa consolidar dados de multiplas areas com performance e controle.

O Snowflake foi o primeiro sistema de data warehouse a separar completamente armazenamento e computação em uma arquitetura de shared-nothing virtualizada, descrita por Dageville et al. (2016) no ACM SIGMOD como "virtual warehouses" que escalam independentemente sem impactar uns aos outros. Essa separação resolve o problema clássico de warehouses MPP tradicionais, nos quais aumentar capacidade de armazenamento forçava também aumento de computação e vice-versa. A funcionalidade de zero-copy cloning — criar cópias de bancos, schemas ou tabelas instantaneamente sem duplicar armazenamento — e o time travel — acessar dados como eram em qualquer ponto das últimas 90 dias — são implementações práticas de conceitos de imutabilidade e versionamento de dados que Kleppmann (2017) discute como propriedades desejáveis em sistemas confiáveis. A Snowflake Data Cloud, com Secure Data Sharing e Data Marketplace, implementa o conceito de Data Mesh (Dehghani, 2022) em nível de plataforma: dados podem ser compartilhados entre organizações sem movimentação física, com governança e controles de acesso mantidos pelo produtor.

Como a Lumi enxerga:A Lumi implementa arquitetura de camadas, custos por workload, seguranca por papel e contratos de dados para transformar Snowflake em ativo de negocio.

// na prática

Como empresas usam Snowflake

Empresa de seguros com dados distribuídos entre corretoras, resseguradoras e a própria seguradora

Snowflake Data Sharing permite que a seguradora compartilhe dados de sinistros e prêmios com corretoras parceiras em tempo real sem criar cópias dos dados — cada parceiro enxerga apenas o que tem permissão, com a seguradora mantendo controle e auditoria de acesso. O que antes era um processo de geração de relatórios Excel por e-mail passou a ser um dashboard ao vivo em Tableau conectado diretamente ao Snowflake compartilhado, eliminando ciclos de reconciliação e reduzindo erros de transcricão.

Banco de investimentos com múltiplos departamentos e dados sensíveis de regulação CVM

Virtual warehouses separados para o time de quant, o time de compliance e os analistas de negócio garantem que uma query exploratória pesada de um cientista de dados não impacte o SLA do dashboard regulatório que o compliance consulta a cada hora. A Dynamic Data Masking mascara automaticamente CPF, conta e dados de portfólio para analistas sem permissão de ver dados identificados, atendendo LGPD sem criar views separadas para cada perfil de acesso.

Empresa de mídia com dados de audiência vendendo insights para anunciantes

Snowflake Data Marketplace permite que a empresa de mídia monetize seus dados de audiência segmentada fornecendo acesso controlado a anunciantes sem expor dados individuais de usuários. Com dbt modelando a camada de transformação sobre o Snowflake e time travel habilitando auditoria de como as métricas eram calculadas em datas passadas, a empresa atende tanto o interesse comercial dos anunciantes quanto os requisitos de transparência da LGPD e da resolução do CONAR.

// decisão técnica

Quando usar — e quando não usar

Use quando

Há necessidade de múltiplos times ou departamentos usando o warehouse com workloads de tamanhos muito diferentes; virtual warehouses isolados garantem que jobs pesados não degrades performance para outros usuários.
A empresa precisa compartilhar dados com parceiros externos (fornecedores, distribuidores, reguladores) sem criar cópias e sem expor a infraestrutura interna; Secure Data Sharing resolve isso nativamente.
O workload combina BI com data science e SQL e Python precisam coexistir sobre os mesmos dados; Snowpark permite executar Python e Java diretamente no Snowflake sem mover dados para outro ambiente.
Governança e mascaramento de dados sensíveis são requisitos críticos; Dynamic Data Masking e Row Access Policies permitem controle granular por papel sem duplicar tabelas.
O time quer separação clara entre custo de armazenamento e custo de computação para alocar custos por departamento com precisão — o modelo de billing do Snowflake facilita esse chargeback.

Evite quando

A empresa está fortemente no GCP e usa BigQuery como warehouse central; Snowflake no GCP funciona mas cria um terceiro sistema de dados quando BigQuery já cobre o caso de uso, gerando custo duplo de armazenamento e egress entre os sistemas.
O time não tem disciplina de gestão de créditos Snowflake; warehouses mal dimensionados ou deixados rodando sem auto-suspend drenam créditos rapidamente — o modelo de billing por segundo de warehouse ativo penaliza quem não gerencia ativamente.
O caso de uso primário é ML com grandes volumes de feature engineering em Python puro; embora Snowpark suporte Python, cargas de trabalho pesadas de ML ainda rodam mais eficientemente em Databricks com Spark ou em ambientes de compute dedicados.
A empresa tem menos de 50 GB de dados e queries simples; o custo de Snowflake (storage + compute separados) não se justifica frente a uma instância RDS PostgreSQL com extensão analítica ou até mesmo BigQuery no tier gratuito.

// visão lumi

O Snowflake é a escolha da Lumi quando o cliente precisa da combinação de governança granular, compartilhamento de dados entre entidades, e isolamento de workloads que nenhum outro warehouse oferece de forma tão elegante. O que distingue uma implementação Lumi de um projeto Snowflake genérico é a configuração disciplinada de auto-suspend e auto-resume nos virtual warehouses — a maioria dos projetos que chegam até nós tem warehouses rodando 24h sem necessidade, dobrando ou triplicando o custo. Também sempre integramos dbt sobre o Snowflake para organizar a camada de transformação: Snowflake sem dbt tende a acumular views e procedures sem governança que reproduzem os mesmos problemas do warehouse legado que substituiu.

Lumi escolhe quando

Quando há necessidade de compartilhamento de dados com parceiros externos sem mover dados; o Secure Data Sharing do Snowflake é único no mercado para esse requisito.
Quando múltiplos times com workloads de tamanhos muito diferentes precisam de isolamento de performance — virtual warehouses separados resolvem isso sem overhead operacional.
Quando a empresa opera em ambiente multi-cloud (AWS + Azure) e quer um warehouse que funciona igualmente bem nos dois sem ser propriedade de nenhum provedor específico.
Quando governança de dados sensíveis exige mascaramento dinâmico e políticas de acesso por linha sem duplicação de tabelas e views para cada perfil.

Lumi não recomenda quando

Quando o cliente está no GCP com BigQuery já estabelecido — Snowflake sobre GCP cria custo duplo de dados sem diferencial real para a maioria dos casos de uso.
Quando não há gestão ativa de créditos planejada no projeto; Snowflake mal gerenciado é caro e a surpresa de fatura é previsível sem auto-suspend configurado.
Quando o workload principal é ML pesado com Spark; nesse caso Databricks é mais eficiente e evita a necessidade de mover dados entre plataformas.

// aplicações

Onde essa tecnologia gera valor

Data warehouse corporativo

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Data sharing entre unidades ou parceiros

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Modelagem dimensional e camadas analytics

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Ambientes governados para BI e ciencia de dados

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

// fundamentos

Referências acadêmicas e técnicas

Dageville, B., Cruanes, T., Zukowski, M., Ease, V., Shrotri, A., Vondrak, L., Hilber, J., Backus, D., Swanson, T., Steinoff, T., Schmuckler, J., Wottawa, J., Srinivasan, V., Subramanian, A., Bhatt, V., Keller, C., Shetty, A., Sundararaman, S., & Schilling, O. (2016). The Snowflake Elastic Data Warehouse. ACM SIGMOD 2016.

Paper original do Snowflake descrevendo a separação de armazenamento e computação e a arquitetura de virtual warehouses.

Kimball, R., & Ross, M. (2013). The Data Warehouse Toolkit (3rd ed.). Wiley.

Framework de modelagem dimensional aplicado ao Snowflake para estruturar fatos, dimensões e métricas com virtual warehouses dedicados por domínio.

DAMA International. (2017). DAMA-DMBOK: Data Management Body of Knowledge (2nd ed.). Technics Publications.

Framework de gestão de dados que fundamenta as práticas de governança, qualidade e segurança implementadas no Snowflake.

Kleppmann, M. (2017). Designing Data-Intensive Applications. O'Reilly Media.

Discute imutabilidade e time travel como propriedades desejáveis em sistemas de dados confiáveis — conceitos que o Snowflake implementa nativamente.

Dehghani, Z. (2022). Data Mesh: Delivering Data-Driven Value at Scale. O'Reilly Media.

Framework de Data Mesh que o Snowflake Data Cloud implementa em nível de plataforma com compartilhamento de dados entre domínios sem movimentação.

// tecnologias relacionadas

Nuvem

// próximo passo

Quer saber se esse stack faz sentido para você?

A Lumi avalia contexto, dados, equipe, custo e maturidade para recomendar a tecnologia certa e entregar com responsabilidade.

Avaliar meu stack →Voltar ao stack