El cuadro de mando del Gobierno de Pruebas y la intelligence QA (iQA)

La toma de decisiones es un proceso complejo, en el que debemos elegir las acciones a llevar a cabo para resolver determinadas problemáticas específicas al contexto en el que nos encontremos. La dificultad para llevar a cabo este proceso incrementa la necesidad de contar con elementos que nos ayuden a tomar las decisiones más adecuadas.

Por ello, hoy en día, la gestión organizativa requiere un sistema de indicadores (KPIs o Key Performance Indicators) que nos permita realizar el control, seguimiento y la toma de decisiones.

El sistema de indicadores debe organizarse en un Cuadro de Mando (un concepto adquirido del tablero de mandos o cuadro de instrumentos de un vehículo) que nos facilite conocer de una forma global la situación del negocio, o de aquello sobre lo que tengamos que dirigiren un momento concreto.

¿Qué es el Cuadro de Mando Integral?

Pero ahondemos un poco más en el concepto de Cuadro de Mando en el contexto empresarial. En 1992, la revista Hardvard Bussiness Review planteó el concepto de Cuadro de Mando Integral (BSC- Balanced Scorecard) en donde sus autores, Robert Kaplan y David Norton, lo definieron como un sistema de administración que debe aunar todas las visiones estratégicas de una compañía, y no solo la visión tradicional financiera.

Este concepto considera el BSC como una metodología y, a su vez, como la propia herramienta que la implementa.

Su aplicación actual se implementa a partir del siguiente proceso:

1.La Visión queda definida de manera intrínseca en cualquier organización. Es uno de los primeros ejercicios a realizar.

2. Asociada a dicha Visión, debe existir una serie de objetivos estratégicos a cumplir. Tradicionalmente se separan en 4 perspectivas, aunque tienen que adecuarse a la propia organización:

a) Perspectiva Financiera

b) Perspectiva del Cliente

c) Perspectiva Procesos

d) Perspectiva Aprendizaje

3. La relación entre todos los objetivos estratégicos necesita aclararse, y la mejor manera es dibujar un mapa estratégico en el que se observe el flujo entre todos ellos, que puede ser en cualquier dirección, pues también depende de la organización.

4. Para supervisar el cumplimiento de dichos objetivos, definimos KPI’s y los integramos en un Cuadro de Mando. Por supuesto, cada objetivo debe tener un catálogo de indicadores asociados.

5. El BSC, que no es ni más ni menos que un mapa estratégico dinámico, sería una herramienta de gestión estratégica en la que de un vistazo se observan los objetivos que se están cumpliendo, los que no y los porqués. De esa manera, la decisión de la Dirección (y del resto de la empresa) está dirigida en base al cumplimiento de los objetivos estratégicos de la compañía. Es decir, si un objetivo del mapa estratégico dinámico o BSC, aparece en color rojo, por ejemplo, es porque los indicadores asociados a dicho objetivo no están cumpliendo las metas previstas.

Este concepto y su visión integral han inspirado profundamente la importancia de que la herramienta Cuadro de Mando, que forma parte de la toma de decisiones para el cumplimiento de objetivos estratégicos, nos permita conocer la situación total o parcial de nuestro negocio, área, proceso, proyecto, etc., y de que organice los indicadores necesarios en diferentes perspectivas ofreciendo, a su vez, una representación gráfica lo más amigable posible para el control y la toma de decisiones.

Pero, ¿Qué perspectivas debemos tener en cuenta cuando hablamos de un Cuadro de Mando del Gobierno de Pruebas?, ¿Cómo debemos organizar nuestra colección de indicadores en un Cuadro de Mando QA? y ¿Qué tipo de indicadores debemos tener en cuenta y cómo interpretar la información que nos ofrece?

Lo primero que debemos tener en cuenta son las premisas estratégicas que han sido definidas y trasladadas de manera transversal a toda la organización.

Por nuestra experiencia, tal y cómo hemos comentado en artículos y e-books anteriores, existen tres aspectos clave que suelen ser recurrentes en todas las compañías:

• La mejora de la Calidad
• La optimización de los Costes
• El cumplimiento del TTM (time to market)

Sin embargo, sin el equilibrio correcto de estos tres aspectos podríamos entrar en una dinámica que nos llevara directamente al incumplimiento de los objetivos estratégicos de la organización.

La búsqueda del equilibrio perfecto se muestra de forma muy clara en el diagrama siguiente:

Así pues, la única forma posible de controlar si realmente tenemos esa mejora de calidad, el ahorro de costes y la reducción del time to market es monitorizando los tres aspectos mediante los indicadores que nos permitan tomar las decisiones adecuadas para buscar el equilibrio perfecto.

Esta perspectiva podría indicarnos una posible forma de organizar nuestros indicadores en un Cuadro de Mando. Es decir, identifiquemos objetivos estratégicos y midámoslos mediante indicadores que nos ayuden a tomar decisiones para que realmente se cumplan.

Acerca del Cuadro de Mando del Gobierno de Pruebas.

Cuando hablamos de Quality Assurance Scorecard suele ser muy habitual disponer de una agrupación de indicadores similar, en la que se utilizan KPIs normalizados, es decir, indicadores que de forma autónoma ya están realizando una valoración de la información que muestran. No es lo mismo decir, por ejemplo, “he detectado 1.000 defectos en mis pruebas de integración” (cuando, a lo mejor, se te han escapado otros 1.000) que “he detectado un 75% de los defectos totales detectados en la fase de Integración”.

Algunos ejemplos de indicadores pueden ser:

• A nivel Calidad:
  • Ratio de Defectos detectados normalizado sobre un volumen de Desarrollo (número de líneas de código, puntos función o jornadas de esfuerzo, por ejemplo).
  • Porcentaje de defectos anulados.
  • Incidencias en Producción sobre el total de Defectos detectados.
• A nivel de Plazos (TTM):
  • Porcentaje de Proyectos que han cumplido los plazos previstos en cada fase del ciclo de vida software.
  • Tiempo medio en las fases de Testing.
• A nivel de Costes
  • Porcentaje de esfuerzo (o €) en actividades QA frente a Desarrollo.

Sin embargo, si ampliamos esta perspectiva al Gobierno de Pruebas tenemos que tener en cuenta algún que otro aspecto.

El Gobierno de Pruebas acreditado como, por ejemplo, aquel que está basado en un modelo de referencia como TMMi, implementa algunas aproximaciones complementarias.

De igual manera a las perspectivas anteriores, se deben tener en cuenta los objetivos de medición que estarán contemplados en la Política Estratégica de la Calidad definida con la Dirección de la organización. Está política categoriza los indicadores en tres apartados:

• • Calidad de Producto, donde se recogen indicadores normalizados de los productos sujetos a la gobernanza TI.
  • Calidad de Proceso, incide en los indicadores que miden la calidad, efectividad y la eficiencia del proceso.
  • Productividad, que contempla aspectos relativos al esfuerzo óptimo y el impacto económico.

Dadas las áreas de proceso del Gobierno del servicio de aseguramiento de la calidad en una organización, debemos tener en cuenta también la necesidad de establecer niveles en nuestro Cuadro de Mando. Estos niveles deben estar enfocados a proporcionar una visión u otra en la toma de decisiones.

Se identifican dos visiones fundamentales:

• • Una visión Operativa, que mostrará aquellos indicadores que permitan realizar el seguimiento del estado de proceso, producto etc.
  • Una visión Estratégica, que mostrará de un modo consolidado los resultados de cumplimiento de los objetivos marcados.

Y llegados a este punto, resulta interesante introducir la importancia de la disponibilidad de la información.  La calidad del dato resulta crucial para poder realizar un Gobierno efectivo. Para ello, es importante disponer de herramientas para gestionar la demanda, gestionar las pruebas e incidencias, etc., así como cierta madurez en el proceso global del ciclo de vida del desarrollo.

La posibilidad de acceso a estos datos marcará también que nuestro Cuadro de Mando adquiera una automatización y robotización dinámica más allá de un mapa estático de indicadores.

Esto no quiere decir que el Cuadro de Mando estático no tenga su valor, ya que, por ejemplo, para una visión estratégica suele ser recomendable utilizar un periodo ya consolidado. Lo realmente importante al inicio es comparar los valores de nuestros indicadores (una vez seleccionados de forma consensuada y agrupados en las áreas de medición) con los objetivos marcados.

¿Cómo fijamos los valores objetivo?

El establecimiento de los valores objetivo con los que comparar nuestros KPIs suele presentar cierta complejidad, ya que marcará el objetivo de mejora y el umbral de cumplimiento. Unos valores objetivo muy ambiciosos o no realistas pueden ser muy perjudiciales y desmotivadores para todos los actores involucrados. Por ello, en la implantación de estos valores recomendamos establecer dos caminos que pueden solaparse.

Por un lado, podemos marcar inicialmente los valores objetivo de una forma Estimada, tomando de referencia valores de mercado (por sector, similitud de negocio, empresa, complejidad, tamaño etc.).  En este sentido, la experiencia en QA y Gobierno de Pruebas puede ayudar a marcar los valores iniciales.

Por otra parte, podemos establecer los valores objetivo de una forma Medida. Esta forma requiere una madurez del proceso que permita, en base a mediciones sesgadas anteriores (histórico) y un periodo mínimo de calibración, delimitar la tendencia y recorrido de mejora.  Evidentemente, aquí se obtienen importantes ventajas, ya que los datos están adaptados a la dinámica real.

El periodo de calibración de estos valores objetivo, requiere de tres a seis meses de medición de cada indicador.

Un aspecto más del Cuadro de Mando del Gobierno y los servicios QA sería la capacidad de orientar los indicadores a la verificación de los ANS-Acuerdos de nivel de Servicio contractuales, así como al seguimiento y comparativa de proveedores en aquellos escenarios multivendor. Sin duda, dos aspectos que toman especial relevancia para los servicios gestionados externalizados.

Finalizamos resaltando la finalidad del Cuadro de Mando como herramienta enfocada a la toma de decisiones.

La maestría en la selección de los indicadores, su agrupación, niveles y áreas de proceso que midamos será muy importante, pero el objetivo final determinante será la visión global que nos ofrezca para la interpretación de la información y la aplicación de la inteligencia en el proceso de aseguramiento de la calidad (intelligence QA.- iQA).

Por Marcos Manchado
Director del Área de Calidad del Software de MTP

Ver más historias