Cómo calcular el ROI de las pruebas

El ROI del Testing y de las pruebas es posible

¡Estamos salvados!, el QA nos mantendrá a salvo de los graves incumplimientos de plazos, de los errores del software y las desviaciones en los presupuestos comprometidos.

Cada vez más organizaciones consideran el QA y el Testing servicios clave, sin embargo, lo normal es que todavía se siga cuestionando el ROI de estos servicios.

Tras 20 años dedicados al aseguramiento de la calidad, recogiendo de primera mano la problemática de las empresas, encuentro tres preocupaciones comunes a todas ellas: el cumplimiento del TTM (time to market), el aumento de la calidad del software y la optimización de los costes. Pero…, ¿realmente puede un servicio de QA favorecer el cumplimiento de estos parámetros?, ¿es esto posible?

Continuamente escuchamos a los responsables de Calidad de las empresas, a los CIOs e, incluso, a los CEOs incidir en la necesidad del ahorro de costes de cada actividad que se implemente, y en concreto de las actividades del testing independiente.

Un factor fundamental para las organizaciones actuales es el cumplimiento del Time to Market.

TTM entendido como el tiempo que transcurre desde que se concibe un producto software hasta que se pone a disposición del cliente final. Es verdad que existen proyectos en los que se cumplen los plazos, pero en la mayoría de ellos, especialmente si se ha prescindido de las actividades de aseguramiento de la calidad durante el ciclo de desarrollo del software, el resultado final es un producto que no cumple con las especificaciones y requerimientos esperados por el cliente. Es decir, se habrán cumplido las fechas, pero no en las condiciones de calidad comprometidas. Se produce entonces una fase de reworking, necesaria para depurar errores, que conlleva un alargamiento del plazo de disponibilidad del producto y un incremento de los costes.

Y esto nos lleva a la Calidad. ¿Quién no quiere tener Calidad en sus productos?

Existen compañías preocupadas por la calidad de sus aplicaciones que continuamente confían en que los procesos de integración arrojen buenos resultados. Establecen ciclos de testing realizados sin las técnicas adecuadas que originan que el filtro de detección de defectos sea muy bajo y se incumplan los plazos establecidos. En esta situación, la clave es la estrategia.

Siempre resulta necesario tener una estrategia para las actividades de aseguramiento de la calidad ajustada a la realidad de cada producto software.

Existen muchas variables que juegan un papel crucial a la hora de seleccionar la metodología y tipología de las actividades de aseguramiento de la calidad que deben plantearse. Utilizar modelos de referencia como el TMMi, son de gran ayuda ya que establecen las mejores prácticas del mercado en actividades de prueba y te guía en su implementación.

Por otra parte, la especialización es un grado. No es lo mismo establecer pruebas para comprobar el desarrollo del software, que diseñar un conjunto de pruebas estáticas y dinámicas orientadas a comprobar el cumplimiento de los requisitos de negocio especificados, con la profundidad y cobertura adecuada y realizadas por personal cualificado y experimentado. Además, la capacidad de medir objetivamente mediante indicadores nos ayudará a la toma de decisiones y el establecimiento de las acciones correctivas necesarias.

Claro, esto es muy evidente. Si queremos calidad debemos encargársela a un especialista. Podemos elaborar un estupendo plato de comida, pero, ¿y si nos lo prepara un chef especializado? Seguro que utilizará las técnicas más avanzadas, los métodos de cocción y cocinado adecuados para el producto utilizado, que por otra parte será de primera categoría. En definitiva, tendremos un plato de mayor calidad (y seguro que más rico). Como dijo Benjamin Franklin, “Bien hecho es mejor que bien dicho”.

Ahora, esto puede ser muy caro, ¿no?, un equipo independiente, especializado, con profesionales cualificados y utilizando estrategias, metodologías, procesos y herramientas que harán que mi software aumente de calidad y cumpla el TTM. La respuesta es… depende.

Partiendo de la base de que los servicios profesionales tienen su valía, durante muchos años se ha trabajado en compatibilizar la calidad de los servicios con la contención de costes. La productividad, la búsqueda de sinergias, la automatización no sólo del testing, si no de los procesos que rodean las actividades de aseguramiento de la calidad, van continuamente de la mano de la búsqueda del ahorro de costes.

La justificación del ROI del QA es compleja de calcular, pero podemos realizar alguna aproximación que nos ayudará a verlo de una forma más clara.

Pongamos el caso de una gran organización que presenta un volumen de desarrollo, tanto evolutivo como adaptativo, de alrededor de 150.000 mandays de esfuerzo de desarrollo software anual. Esta organización puede tener contratado un Servicio de QA externo valorado en 3 millones de euros, con un músculo de testing especializado de aproximadamente un 10% de esfuerzo sobre los 150.000 mandays de esfuerzo de desarrollo y sobre el que pasa todo el volumen de evolutivos y adaptativos.

Para ese volumen, atendiendo a un ratio de detección de defectos por cada 1.000 mandays de desarrollo de 50 (dato promedio obtenido de los indicadores de los servicios gestionados de aseguramiento de la calidad de MTP), tendríamos un filtro de calidad de detección de 7.500 incidencias software anuales que no pasan a los entornos productivos.

Si tasamos el coste de resolución de una incidencia en un valor mínimo, por ejemplo, en 1.000 euros, y si utilizamos la siguiente fórmula para calcular el ROI: Coste Económico = Coste de Resolución de Incidencia + Coste en impacto en negocio, esa gran organización conseguiría un ahorro de 7,5 millones de euros (4,5 si descontamos el coste del servicio de QA), y eso sin tener en cuenta el coste del impacto en el negocio.

Ahora bien, si tenemos en cuenta el coste del impacto en el negocio estaríamos hablando de importes sustancialmente mayores, ya que cualquier incidencia en producción puede llegar a ocasionar la inactividad de los sistemas, su mal funcionamiento y la insatisfacción del cliente, con la consiguiente pérdida de reputación de la compañía.

Hay incidencias muy graves que pueden colapsar los sistemas y afectar masivamente a los usuarios, propiciando pérdidas millonarias a las organizaciones. No hay que remontarse demasiado en el tiempo para recordar cómo el pasado mes de septiembre un fallo software en el sistema de facturación provocaba el caos en varios aeropuertos del mundo.

Según los datos que manejamos en MTP, el 90% de las incidencias detectadas son de severidad alta.

En esos casos, los defectos del software dan lugar a errores que provocan el bloqueo de una parte funcional crítica de una aplicación o necesidad de negocio, impactando en un número elevado de usuarios. Por tanto, si volvemos a nuestro ejemplo y tasamos el coste económico de una incidencia con un valor mínimo de 10.000 €, obtendríamos que el ahorro para la organización alcanzaría los 72 millones de euros, una vez descontado el coste del servicio de QA.

Como vemos, calcular el ROI en las inversiones de QA y testing es perfectamente posible. MTP lleva haciéndolo más de 20 años, en los que ha asegurado la calidad del negocio digital de las principales organizaciones de España, como Repsol, Vodafone, BBVA o Santander, garantizándoles importantes ahorros económicos derivados del aumento de la calidad de sus sistemas de negocio.

Así pues, ¡estamos salvados!, a por la transformación digital.

Te puede interesar…

Conoce nuestros curso Calidad de Software y accede a formación especializada de MTP.

Ver más historias