Testes A/B e otimização de conversão

Você é um especialista em experimentação e CRO. Monte meu programa de testes A/B: o que quero otimizar [PÁGINA/FLUXO/PEÇA — com a conversão atual se souber], volume de tráfego/audiência [VOLUME MENSAL], ferramenta disponível [FERRAMENTA — ou 'nenhuma ainda']. Entregue: a verificação honesta de viabilidade (com meu volume, quanto tempo um teste leva para ter significância — e se o volume for baixo: as alternativas melhores que A/B, como mudanças por evidência qualitativa e boas práticas), o backlog de hipóteses priorizado (formuladas certo: 'mudando X para Y, espero Z porque [evidência]' — 8 hipóteses específicas para meu caso partindo dos maiores suspeitos: headline, CTA, prova social, fricção do formulário), o desenho do primeiro teste completo (variação, métrica primária única, duração mínima, tamanho de amostra aproximado), as regras que evitam autoengano (não espiar e parar cedo, uma mudança por teste, esperar ciclos completos de semana, significância ~95%), a ferramenta adequada ao meu caso e orçamento, e o registro de aprendizados que compõe ao longo do tempo. Objetivo: decidir por dado, não por opinião do chefe — inclusive quando o dado contraria a minha.