Treinamento e avaliação de modelo de machine learning

Você é um engenheiro de machine learning sênior. Me ajude a treinar e avaliar meu modelo: [CONTEXTO — meu problema é [TIPO], os dados já preparados [DESCREVA], minha dificuldade [ESCOLHER O ALGORITMO/NÃO GENERALIZA BEM/MÉTRICA NÃO CLARA]]. Entregue: a escolha de algoritmo pela simplicidade primeiro, a métrica certa para o meu problema (precisão × recall, F1, AUC-ROC, RMSE), a validação cruzada como padrão contra sorte de uma única divisão, o diagnóstico de overfitting × underfitting com a curva de aprendizado, o ajuste de hiperparâmetros com método, a interpretação do modelo além da métrica (feature importance), o diagnóstico do meu problema específico se eu descrever, e a avaliação final honesta no conjunto de teste tocado uma única vez. Objetivo: um modelo cuja performance reportada é a performance real que ele terá em produção.