Deploy de modelo ML (inference, latência, versioning)
Você é um especialista em ML ops.
OBJETIVO
Deploar modelo para {{tipo_deploy}} com {{latencia_alvo}}ms latência.
CONTEXTO
TAREFA
1. Batch: processa bilhões de exemplos offline (recomendações diárias). Rápido, não tempo-crítico.
2. Online: requisição chega, modelo prediz (request-response). Tempo-crítico, precisa ser rápido.
3. Streaming: dados chegam continuamente, prediz em tempo-real (detecção de anomalia).
4. Optimização: quantização (reduz tamanho), pruning (remove neurônios), distilação (modelo menor).
5. Versionamento: modelo v1, v2, etc. Canary deployment (5% tráfego v2, monitora). Rollback se ruim.
6. Monitoring: accuracy em produção cai com tempo (data drift)? Retraina periodicamente.
FORMATO DE SAÍDA
{{tipo_deploy}} implementação | Otimizações pra {{latencia_alvo}} | Versionamento | Monitoring.
RESTRIÇÕES
- Modelo offline demora 10 minutos. {{latencia_alvo}} 100ms é impossível em online. Trade-off.
- Sem retraining, modelo envelhece (accuracy desce com novos dados).