Prueba 08
La prueba del valor del forecast
¿El juicio de forecast de tus managers supera a un modelo que no aplica juicio alguno, y predice valor o solo cierre?
Lo que todos hacen en cambio
La precisión de forecast se mide comparando el roll-up final con el número real. Eso dice si el total estuvo bien. No dice si ningún juicio individual ayudó, y se puntúa con una regla que premia la confianza más que la honestidad. Casi ninguna organización ha probado el juicio de sus managers contra una línea base sin juicio, y ninguna lo puntúa contra lo que los tratos terminaron valiendo.
Qué calcular
- Una línea base de rango por etapa: tasa histórica de cierre por etapa, segmento, banda de tamaño y antigüedad, estimada fuera de muestra.
- Categorías de forecast de los managers calibradas a sus propias tasas realizadas, luego puntuadas contra la línea base con una descomposición de Brier.
- La correlación de habilidad de los ajustes del manager, calculada dos veces, contra cierre, y contra valor realizado a 24 meses.
- El tamaño de ajuste de equilibrio para esta organización, y el techo de mejora alcanzable.
La aritmética
Puntuado contra el cierre Correlación de habilidad 0.21 Tamaño de ajuste de equilibrio 0.174 Puntuado contra el valor realizado a 24 meses Correlación de habilidad 0.13 Tamaño de ajuste de equilibrio 0.108 Magnitud óptima del ajuste a 0.21 0.087 Magnitud real del ajuste 0.190 0.190 / 0.087 2.19 veces sobredimensionado Techo de mejora por juicio humano 0.21 x 0.21 0.044 4.4% del error de línea base
Ejemplo trabajado
En una organización, la correlación de habilidad fue 0,21 contra cierre y 0,13 contra valor realizado, mientras los managers ajustaban a 2,19 veces el tamaño que su habilidad medida soporta. La mejora máxima alcanzable desde el juicio humano es el cuadrado de la correlación, 4,4% del error de línea base, incluso con ajustes perfectamente dimensionados.
Cifras ilustrativas. La relación mostrada es la hipótesis que la prueba existe para comprobar.
Qué cambia si esto es cierto
El techo de mejora del forecast a partir del juicio humano es el cuadrado de la correlación de habilidad, lo que significa que el ritual semanal no puede pagarse por sí mismo en precisión por muy bien que se ejecute. Ese no es un argumento para abandonarlo. Es un argumento para saber qué está comprando realmente, y para buscar el retorno en la capacidad y la asignación.
Qué necesitas y cuánto tarda
Snapshots semanales de forecast, cuatro trimestres
- Dónde vive
- Historial de campos del CRM o data warehouse
- Días
- 1
Resultados de renovación y expansión, cohorte anterior
- Dónde vive
- Facturación
- Días
- 1
Línea base, calibración, puntuación, simulación nula
- Dónde vive
- Análisis
- Días
- 3
Cada prueba corre sobre los mismos dos extractos, historial de forecast del CRM e historial de contratos de billing, sacados por un analista de RevOps en aproximadamente una hora. Todo se mide contra tus propios resultados: sin benchmark, sin compuesto, sin uplift asumido.