Otra forma de medir éxito o fracaso de los proyectos TI

Hace ya tiempo que se viene dando una discusión respecto de las tasas de éxito/fracaso de los proyectos TI, hace poco tiempo salió otro estudio que entrega nuevos antecedentes a este respecto.  Con mi amigo Eduardo Diaz hemos venido discutiendo este tema en las redes hace ya un rato, pueden ver algunos de sus y mis argumento en torno a los proyectos TI.

• Sobre entusiasmos peligrosos – Alejandro Barros
• De que deuda me hablan – Eduardo Díaz

Este reciente estudio que me hicieron llegar, vaya un agradecimiento a Carlos Kuknow, muestra como decía nuevos antecedentes en este tema, los cuales buscan contradecir la mirada de la encuesta Chaos Report del Standish Group supongo que esta encuesta será del agrado de Eduardo.  Lo primero a decir de esta nueva encuesta 2013 IT Project Success Survey desarrollada por Scott Ambler de Ambysoft, muestra mejores números que el Chaos Report y otros estudios.  La encuesta respondida por 173 personas y desarrollada en noviembre de 2013, en los antecedentes disponibles no pude encontrar el tipo de personas y organizaciones que representan por lo que no se puede hacer proyecciones por tamaño ni área de empresa.

Debemos eso si tomar en consideración que redefinen los conceptos asociados a Exitoso (successful), con problema (challenged) y fracasado (failed).  Para Amber estas definiciones son, las voy a dejar sin traducción para que las puedan apreciar en su definición original:

• Successful.  A project is considered successful if a solution has been delivered and it met its success criteria within a range acceptable to your organization.
• Challenged. A project is considered challenged if a solution was delivered but the team did not fully meet all of the project’s success criteria within acceptable ranges (e.g. the quality was fine, the project was pretty much on time, but ROI was too low).
• Failed. The project team did not deliver a solution.

Como pueden ver son diferentes a las que otros estudios utilizan, por ejemplo el Chaos Report define como exitoso “un producto entregado en el plazo originalmente definido, con el presupuesto que le fue asignado y cumpliendo con las expectativas originales del mandante”.

Según Amber y cito:

Menos del 10% (8% de los que contestan, dicen que se deben considerar los tres factores en simultáneo) de los profesionales TI define exitoso como: “en tiempo, en presupuesto y cumpliendo las especificaciones”.

Mi única objeción a relajar, como ocurre con las definiciones planteadas por Ambler sobre los conceptos de exitoso, está asociada a quien los debe definir, si el profesional TI o bien su contraparte (mandante, cliente, …).

Otro elemento interesante que muestra el estudio, es la varianza de resultados en función de la metodología de desarrollo utiliza, para lo cual utiliza las siguientes categorías:

• Ad-hoc. Corresponde a metodología propia, no basada en estándares de industria y que no sigue un proceso definido.
• Iterativa, el equipo de desarrollo utiliza un proceso organizado en periodos e iteraciones, un ejemplo de este tipo de metodologías es RUP.
• Ágil, proceso iterativo muy liviano, con ciclos cortos y focalizado en el usuario final, algunos ejemplos de esto son: Scrum, XP, and Disciplined Agile Delivery (DAD).
• Tradicional, método tradicional con etapas bien definidas y secuenciales (diseño, codificación, pruebas, implementación), habitualmente denominadas metodologías del tipo cascada o seriales.
• Lean,  la etiqueta lean se utiliza para aquellos métodos que se centran en la mirada del usuario/cliente, algunos ejemplos de este tipo de métodos son: Kanban y Scrumban.

Lo que muestra el estudio son dos cosas importantes:

En primer lograr que las metodologías más tradicionales tienen tasas de falla bastante mayores a los nuevos métodos, me refiero a los métodos lean y ágil.  Por ejemplo lean tiene una tasa de éxito del 72% versus 49% del enfoque tradicional.  Lo que no pude encontrar es como se ponderan los uso de cada metodología, ya sea por tamaño de proyecto y/o por cantidad, y por lo tanto no es posible llegar a un número final de tasa de éxito (verde – éxito, amarillo – con problemas, rojo – fracasado).

En segundo lugar estos métodos reporta mucho mejores resultados de los factores y expectativas de los proyectos, esto es, calidad de producto, valor para los stakeholders, ROI y tiempo.

En esta presentación pueden ver los resultados de la encuesta desarrollada por Scott Ambler.

Creo que este nuevo estudio muestra una mirada alternativa al análisis siempre interesante de los proyectos tecnológicos y su comportamiento, la cual no termina aquí, ya que al menos a mi me abre la interrogante:

¿Quién es el que debe definir los conceptos de éxito/fracaso de un proyecto TI?

Más información

• Articulo de Scott Ambler en Dr Jobbs – The Non-Existent Software Crisis: Debunking the Chaos Repor t (Feb -2014)

Imagen: http://www.doc-computer.com/schoolgenius/