Teste 08
O teste do valor do forecast
O julgamento de forecast dos seus managers supera um modelo que não aplica julgamento algum, e prediz valor ou apenas fechamento?
O que todos fazem em vez disso
A precisão de forecast é medida comparando o roll-up final com o número real. Isso diz se o total estava certo. Não diz se nenhum julgamento individual ajudou, e é pontuado com uma regra que premia a confiança mais que a honestidade. Quase nenhuma organização testou o julgamento de seus managers contra uma linha de base sem julgamento, e nenhuma o pontua contra o que os negócios acabaram valendo.
O que calcular
- Uma linha de base de ranking por estágio: taxa histórica de fechamento por estágio, segmento, faixa de tamanho e antiguidade, estimada fora da amostra.
- Categorias de forecast dos managers calibradas às suas próprias taxas realizadas, depois pontuadas contra a linha de base com uma decomposição de Brier.
- A correlação de habilidade dos ajustes do manager, calculada duas vezes, contra fechamento, e contra valor realizado a 24 meses.
- O tamanho de ajuste de equilíbrio para esta organização, e o teto de melhoria alcançável.
A aritmética
Pontuado contra o fechamento Correlação de habilidade 0.21 Tamanho do ajuste de equilíbrio 0.174 Pontuado contra o valor realizado em 24 meses Correlação de habilidade 0.13 Tamanho do ajuste de equilíbrio 0.108 Magnitude ideal do ajuste em 0.21 0.087 Magnitude real do ajuste 0.190 0.190 / 0.087 2.19 vezes superdimensionado Teto de melhoria pelo julgamento humano 0.21 x 0.21 0.044 4.4% do erro de linha de base
Exemplo trabalhado
Em uma organização, a correlação de habilidade foi 0,21 contra fechamento e 0,13 contra valor realizado, enquanto os managers ajustavam a 2,19 vezes o tamanho que sua habilidade medida suporta. A melhoria máxima alcançável pelo julgamento humano é o quadrado da correlação, 4,4% do erro de linha de base, mesmo com ajustes perfeitamente dimensionados.
Cifras ilustrativas. A relação mostrada é a hipótese que o teste existe para verificar.
O que muda se isso for verdade
O teto de melhoria do forecast a partir do julgamento humano é o quadrado da correlação de habilidade, o que significa que o ritual semanal não pode se pagar em precisão por melhor que seja sua execução. Isso não é um argumento para abandoná-lo. É um argumento para saber o que ele está realmente comprando, e para buscar o retorno em capacidade e alocação.
O que você precisa e quanto tempo leva
Snapshots semanais de forecast, quatro trimestres
- Onde vive
- Histórico de campos do CRM ou data warehouse
- Dias
- 1
Resultados de renovação e expansão, cohorte anterior
- Onde vive
- Faturamento
- Dias
- 1
Linha de base, calibração, pontuação, simulação nula
- Onde vive
- Análise
- Dias
- 3
Cada teste roda sobre os mesmos dois extracts, histórico de forecast do CRM e histórico de contratos do billing, extraídos por um analista de RevOps em cerca de uma hora. Tudo é medido contra seus próprios resultados: sem benchmark, sem composto, sem uplift assumido.