// stack.lumi

Dados

Redshift

Data warehouse AWS para analytics corporativo.

// o que é

Amazon Redshift e o data warehouse da AWS para cargas analiticas estruturadas. No contexto da Lumi Data, funciona bem quando a empresa ja opera em AWS e precisa consolidar dados para BI com governanca e performance.

O Amazon Redshift é construído sobre os princípios de MPP (Massively Parallel Processing) e armazenamento colunar formalizados por Stonebraker et al. (2005) no C-Store, que demonstrou ganhos de ordem de magnitude em performance analítica ao armazenar cada coluna separadamente e comprimir dados de forma agressiva. A arquitetura de distribuição do Redshift — com sort keys para eliminar varreduras desnecessárias e distribution keys para colocar dados relacionados no mesmo nó — exige que o arquiteto entenda os padrões de acesso antes do design do schema, tornando-o uma ferramenta com curva de aprendizado mais acentuada que warehouses serverless. Kimball & Ross (2013) fornecem o framework de modelagem dimensional que o Redshift foi projetado para servir: star schemas com tabelas fato largas e dimensões menores, onde o particionamento físico por sort key reflete a dimensão de tempo predominante nas queries analíticas.

Como a Lumi enxerga:A Lumi ajusta modelagem, distribuicao, sort keys, cargas e governanca para evitar gargalos e custo desnecessario.

// na prática

Como empresas usam Redshift

Empresa de varejo com stack AWS consolidada e BI financeiro-comercial em Power BI

Redshift centraliza dados de ERP (SAP), plataforma de vendas e CRM em um star schema com fatos de pedidos, devoluções e margem, servindo Power BI via DirectQuery com performance aceitável graças a sort keys na data de competência. A equipe de dados aproveita a integração nativa com S3, Glue e Lambda para construir o pipeline completo sem sair do ecossistema AWS, reduzindo custo de egress e simplificando IAM policies.

Fintech com dados de operações de crédito e conformidade regulatória no Banco Central

Redshift Serverless serve como destino de um pipeline CDC do PostgreSQL transacional via Debezium e Kinesis, mantendo o DWH atualizado com latência abaixo de 5 minutos. A capacidade de criar snapshots automáticos e o controle de acesso granular via AWS IAM e grupos do Redshift atendem os requisitos de auditoria do Banco Central, com logs de acesso integrados ao CloudWatch e trilha de auditoria no AWS CloudTrail.

Empresa de agronegócio com dados de safra, comercialização e logística na AWS

Redshift processa dados de 50 fazendas integradas com IoT (sensores de solo, clima, colheitadeiras) carregados via S3/Glue, permitindo análises de correlação entre variáveis agronômicas e produtividade. A integração com QuickSight entrega dashboards operacionais para agrônomos de campo via app móvel, enquanto o Redshift Spectrum consulta dados históricos de 10 anos diretamente no S3 sem necessidade de carregamento no cluster.

// decisão técnica

Quando usar — e quando não usar

Use quando

A empresa já opera em AWS com pipelines de dados estabelecidos em S3, Glue, Kinesis e Lambda; Redshift se integra nativamente a todo esse ecossistema sem fricção de rede ou autenticação.
O workload analítico é previsível e beneficia de clusters de tamanho fixo com sort keys e distribution keys otimizados para os padrões de query específicos do negócio.
Há necessidade de Redshift Spectrum para consultar dados históricos ou raw diretamente no S3 sem carregar no warehouse, combinando baixo custo de armazenamento com capacidade analítica.
A governança de acesso já usa AWS IAM e o time quer manter uma política de segurança unificada sem adicionar outro sistema de identidade.
O volume de dados e a complexidade das queries justificam um cluster dedicado com garantias de performance — ao contrário de modelos serverless que podem apresentar variabilidade em workloads pesados.

Evite quando

A empresa não está na AWS ou planeja adotar multi-cloud; Redshift é profundamente integrado ao ecossistema AWS e a complexidade de operar fora dele é alta.
O time não tem familiaridade com os conceitos de distribution keys, sort keys e vacuum/analyze; Redshift mal modelado com tables usando ALL distribution ou sem sort keys corretas tem performance pior do que esperado — não é auto-tuned como BigQuery ou Snowflake.
O workload inclui muitas queries ad hoc de analistas explorando dados sem padrão previsível; o modelo de cluster fixo pode ser ineficiente comparado a warehouses serverless que escalam por demanda.
O dataset tem menos de alguns terabytes e o custo de um cluster Redshift dedicado não se justifica; Athena com S3 ou RDS PostgreSQL podem resolver o problema com custo significativamente menor.

// visão lumi

O Redshift faz sentido para clientes Lumi que já estão na AWS e têm workloads analíticos com padrões de query razoavelmente estáveis. O que vemos com frequência em projetos legados é Redshift configurado sem sort keys adequadas e com VACUUM nunca executado — o resultado é performance degradada que o cliente atribui erroneamente ao produto, quando na verdade é um problema de modelagem física. Na Lumi, a decisão Redshift vs Athena+S3 é tomada com base em frequência e complexidade das queries: queries frequentes e complexas em dados com padrão de acesso definido favorecem Redshift; exploração ad hoc de dados de baixa frequência favorece Athena. Redshift Serverless entrou no nosso radar como uma opção intermediária que elimina o sizing de cluster sem abrir mão da compatibilidade com o ecossistema AWS.

Lumi escolhe quando

Quando o cliente está na AWS com pipelines já estabelecidos em S3 e Glue e a integração nativa do Redshift elimina esforço de arquitetura.
Quando o workload tem padrões de query previsíveis que permitem otimização com sort keys e distribution keys para performance consistente.
Quando há requisito de Redshift Spectrum para consultar dados históricos no S3 sem custo de ingestão no cluster principal.
Quando o time de dados já domina SQL e quer um warehouse que se comporta como PostgreSQL com extensões analíticas, sem nova curva de aprendizado.

Lumi não recomenda quando

Quando o cliente não está na AWS ou planeja adotar serviços de outro cloud — Redshift fora do ecossistema AWS perde suas maiores vantagens.
Quando o time não tem capacidade de manter modelagem física (sort keys, vacuum, analyze) e o projeto não inclui capacitação — Redshift sem manutenção deteriora progressivamente.
Quando o volume de dados é pequeno e o custo de cluster fixo não se justifica; nesse caso Athena ou BigQuery com modelo pay-per-query são mais adequados.

// aplicações

Onde essa tecnologia gera valor

Data warehouse em AWS

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Modelagem para BI

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Analytics financeiro, comercial e operacional

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Integracao com S3, Glue e QuickSight

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

// fundamentos

Referências acadêmicas e técnicas

Stonebraker, M., Abadi, D. J., Batkin, A., Chen, X., Cherniack, M., Ferreira, M., Lau, E., Lin, A., Madden, S., O'Neil, E., O'Neil, P., Rasin, A., Tran, N., & Zdonik, S. (2005). C-Store: A Column-Oriented DBMS. VLDB 2005.

Paper do C-Store que introduziu o modelo de armazenamento colunar e compressão que o Redshift implementa para performance analítica.

Amazon Web Services. (2023). Amazon Redshift Database Developer Guide. https://docs.aws.amazon.com/redshift/latest/dg/

Documentação oficial cobrindo arquitetura MPP, sort keys, distribution keys, Redshift Spectrum e integração com o ecossistema AWS.

Kimball, R., & Ross, M. (2013). The Data Warehouse Toolkit (3rd ed.). Wiley.

Framework de modelagem dimensional star schema que o Redshift foi projetado para servir com otimizações físicas específicas.

Kleppmann, M. (2017). Designing Data-Intensive Applications. O'Reilly Media.

Contextualiza MPP e column-oriented storage no panorama de sistemas analíticos, explicando os trade-offs de design do Redshift.

Armbrust, M., Ghodsi, A., Xin, R., & Zaharia, M. (2021). Lakehouse: A New Generation of Open Platforms. CIDR 2021.

Contextualiza Redshift no espectro warehouse vs lakehouse, relevante para decisões sobre Redshift Spectrum vs alternativas abertas.

// tecnologias relacionadas

Dados

// próximo passo

Quer saber se esse stack faz sentido para você?

A Lumi avalia contexto, dados, equipe, custo e maturidade para recomendar a tecnologia certa e entregar com responsabilidade.

Avaliar meu stack →Voltar ao stack