// stack.lumi

IA / ML

MLflow

Gestao do ciclo de vida de modelos de ML.

// o que é

MLflow registra experimentos, parametros, metricas, artefatos e versoes de modelos. No contexto da Lumi Data, e uma camada essencial para transformar ciencia de dados em operacao controlada.

Kreuzberger, Kühl e Hirschl (2022) definem MLOps como o conjunto de práticas para automatizar e operacionalizar o ciclo de vida de machine learning em produção, identificando três níveis de maturidade: nível 0 (treinamento manual, sem automação), nível 1 (pipeline de ML automatizado) e nível 2 (pipeline de CI/CD para ML). MLflow, descrito por Zaharia et al. (2018), aborda diretamente o nível 0 e 1 ao fornecer rastreamento de experimentos, empacotamento de projetos, registro de modelos e serving em uma ferramenta open-source. A crise de reprodutibilidade em ML — documentada por Sculley et al. (2015) como consequência de dependências implícitas, configuração dispersa e ausência de versionamento — é o problema exato que o Model Registry do MLflow resolve ao centralizar metadados, artefatos e estado do ciclo de vida de cada modelo. O debate sobre "quando MLflow é suficiente versus quando usar Kubeflow ou Vertex AI" se resume à escala de times e volume de modelos: MLflow é adequado para times de 2–10 cientistas de dados; plataformas Kubernetes-native são necessárias quando há dezenas de modelos em produção simultâneos.

Como a Lumi enxerga:A Lumi implementa MLflow junto com pipelines, testes, monitoramento e criterios de negocio para modelos confiaveis em producao.

// na prática

Como empresas usam MLflow

Time de ciência de dados em empresa de médio porte

Cientistas de dados usam o tracking server do MLflow para registrar automaticamente hiperparâmetros, métricas por época, artefatos e versão do dataset em cada experimento. Isso resolve o problema de "qual configuração gerou o melhor modelo na semana passada" — que sem MLflow é respondido consultando cadernos de Jupyter renomeados manualmente.

Empresa com múltiplos modelos em produção e exigência de auditoria

O Model Registry do MLflow centraliza o ciclo de vida de cada modelo com estágios explícitos (Staging, Production, Archived), anotações de aprovação e links para os experimentos que geraram cada versão. Auditores e reguladores conseguem rastrear qual conjunto de dados treinou qual versão do modelo de crédito ou antifraude.

Time de engenharia de ML em ambiente multi-cloud

MLflow Projects padroniza o empacotamento de código de treinamento com dependências declaradas, permitindo reproduzir qualquer treinamento em qualquer máquina com o mesmo resultado. Integra com SageMaker, Azure ML e Vertex AI como backend de execução, evitando lock-in de plataforma.

// decisão técnica

Quando usar — e quando não usar

Use quando

O time treina modelos regularmente e perde tempo tentando reproduzir experimentos anteriores — MLflow resolve esse problema com zero mudança de código além de adicionar mlflow.log_param() e mlflow.log_metric().
Há mais de um cientista de dados no time e os experimentos precisam ser compartilhados e comparados sistematicamente — sem rastreamento centralizado, cada pessoa tem sua própria versão da verdade.
Modelos precisam passar por processo de aprovação formal antes de ir a produção — o Model Registry com estágios e transições auditadas é a implementação mais simples desse processo.
O cliente precisa demonstrar rastreabilidade de modelos para compliance ou auditoria interna — MLflow gera a trilha de auditoria com custo de implementação muito baixo.

Evite quando

O time só tem um modelo em produção que é retreinado manualmente uma vez por mês — o overhead de configurar MLflow supera o benefício neste estágio.
A organização já tem uma plataforma de ML corporativa (Vertex AI, SageMaker, Azure ML) com tracking embutido — adicionar MLflow cria duplicidade e confusão sobre qual é a fonte oficial.
Não há plano de quem vai manter o servidor MLflow — tracking server sem operação gera banco de dados de experimentos que ninguém mais consegue acessar em 6 meses.
A expectativa é que MLflow resolva governança de dados — ele rastreia o modelo, não os dados; governança de dados requer Great Expectations, dbt tests ou plataforma de catálogo separada.

// visão lumi

A Lumi trata MLflow como o piso mínimo de governança para qualquer projeto de ML que vai a produção — não como diferencial, mas como requisito. Antes de escrever a primeira linha de código de modelo, configuramos o tracking server e definimos as métricas de negócio que vão ser logadas junto com as métricas técnicas. Nossa posição é clara: equipe que não rastreia experimentos não consegue melhorar modelos sistematicamente, apenas aleatoriamente. Também usamos o Model Registry para formalizar o gate de aprovação — nenhum modelo vai para produção sem transitar explicitamente de Staging para Production com justificativa documentada.

Lumi escolhe quando

Quando o time vai treinar mais de um modelo ou retreinar o mesmo modelo com dados novos — rastreamento desde o primeiro experimento evita retrabalho posterior.
Quando o cliente precisa de evidência de rastreabilidade para compliance — MLflow gera essa evidência com custo de implementação baixo.
Quando a plataforma de cloud não tem tracking de experimentos nativo ou o custo da solução nativa é proibitivo para o volume do projeto.
Quando múltiplos cientistas precisam colaborar e comparar experimentos — servidor centralizado elimina a "pasta de modelos no Google Drive" como solução de versionamento.

Lumi não recomenda quando

Quando o projeto tem apenas uma rodada de treinamento sem plano de manutenção contínua — neste caso, documentação textual e hash do dataset são suficientes.
Quando a plataforma de ML já tem tracking adequado embutido e MLflow duplicaria o esforço sem ganho real de rastreabilidade ou reprodutibilidade.

// aplicações

Onde essa tecnologia gera valor

Tracking de experimentos

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Model registry

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Promocao de modelos entre ambientes

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

Reprodutibilidade e auditoria

A Lumi conecta essa aplicação ao objetivo de negócio, definindo arquitetura, dados, segurança e indicadores de sucesso antes da implementação.

// fundamentos

Referências acadêmicas e técnicas

Kreuzberger, D., Kühl, N., & Hirschl, S. (2022). Machine Learning Operations (MLOps): Overview, Definition, and Architecture. arXiv:2205.02302.

Sistematiza os três níveis de maturidade de MLOps e define os componentes necessários para cada nível — contextualiza onde MLflow se encaixa na jornada de maturidade.

Zaharia, M., Chen, A., Davidson, A., et al. (2018). Accelerating the Machine Learning Lifecycle with MLflow. IEEE Data Engineering Bulletin, 41(4), 39–45.

Paper original do MLflow — descreve os quatro componentes (Tracking, Projects, Models, Registry) e a motivação de resolver fragmentação no ciclo de vida de ML.

Sculley, D., Holt, G., Golovin, D., et al. (2015). Hidden Technical Debt in Machine Learning Systems. Advances in Neural Information Processing Systems (NIPS), 28.

Identifica dependências ocultas, código de cola e configuração dispersa como fontes de débito técnico em ML — MLflow ataca diretamente esses problemas.

Amershi, S., Begel, A., Bird, C., et al. (2019). Software Engineering for Machine Learning: A Case Study. Proceedings of ICSE-SEIP 2019.

Estudo empírico de práticas de engenharia de ML na Microsoft — documenta os desafios de reprodutibilidade e rastreamento que MLflow resolve.

Gift, N., & Deza, A. (2021). Practical MLOps. O'Reilly Media.

Guia prático de MLOps que usa MLflow como ferramenta central — relevante para implementação em contextos de consultoria com times variados.

// tecnologias relacionadas

IA / ML

// próximo passo

Quer saber se esse stack faz sentido para você?

A Lumi avalia contexto, dados, equipe, custo e maturidade para recomendar a tecnologia certa e entregar com responsabilidade.

Avaliar meu stack →Voltar ao stack