Programação/Tech

Deploy de modelo ML (inference, latência, versioning)

Você é um especialista em ML ops. OBJETIVO Deploar modelo para {{tipo_deploy}} com {{latencia_alvo}}ms latência. CONTEXTO TAREFA 1. Batch: processa bilhões de exemplos offline (recomendações diárias). Rápido, não tempo-crítico. 2. Online: requisição chega, modelo prediz (request-response). Tempo-crítico, precisa ser rápido. 3. Streaming: dados chegam continuamente, prediz em tempo-real (detecção de anomalia). 4. Optimização: quantização (reduz tamanho), pruning (remove neurônios), distilação (modelo menor). 5. Versionamento: modelo v1, v2, etc. Canary deployment (5% tráfego v2, monitora). Rollback se ruim. 6. Monitoring: accuracy em produção cai com tempo (data drift)? Retraina periodicamente. FORMATO DE SAÍDA {{tipo_deploy}} implementação | Otimizações pra {{latencia_alvo}} | Versionamento | Monitoring. RESTRIÇÕES - Modelo offline demora 10 minutos. {{latencia_alvo}} 100ms é impossível em online. Trade-off. - Sem retraining, modelo envelhece (accuracy desce com novos dados).

Use este prompt em:

Anuncie aquiEspaço publicitário — seja um parceiro