La evaluación comparativa de software generalmente se refiere a un proceso mediante el cual el ciclo de desarrollo de un fabricante de software se compara con otros negocios para determinar la eficiencia de la empresa. Esto se hace a menudo para determinar dónde se pueden realizar mejoras en el proceso de desarrollo y para garantizar que una empresa funcione con la máxima eficiencia. Estas comparaciones suelen ser de naturaleza cuantitativa, ya que se refieren a valores numéricos y cifras para medir la rapidez y eficacia con la que se está desempeñando una empresa. Este tipo de evaluación comparativa de software no debe confundirse con la evaluación comparativa de hardware de computadora, que evalúa la efectividad de diferentes dispositivos y computadoras.
El propósito principal de la evaluación comparativa de software es determinar qué tan bien se está desempeñando un desarrollador de software en comparación con otro. Inicialmente, la información sobre un desarrollador debe recopilarse y considerarse de manera cuantificable. Se puede considerar el tiempo necesario para que esa empresa cree su último programa, el tiempo necesario para que se corrijan los errores y se publiquen los parches, y el número de programadores involucrados en estos procesos. Una vez que se recopilan estos datos, se pueden utilizar en la evaluación comparativa de software con otras empresas que utilizan métricas comparables.
Las empresas de terceros a menudo participan en la evaluación comparativa de software, mediante la recopilación de información sobre numerosos desarrolladores, que con frecuencia es proporcionada por esas empresas para la comparación. Una empresa de evaluación comparativa puede tener datos de varias docenas, o incluso de un centenar, de desarrolladores de software que detallan los valores cuantificables del tiempo dedicado al desarrollo, los costos de este proceso y los logros basados en el número de programadores. Luego, esta organización hace comparaciones entre estos diferentes desarrolladores, y se utilizan para establecer una serie de valores para cada uno. Una vez que se completa este proceso, se puede notificar a cada empresa sobre su desempeño dentro de este grupo más grande y pueden usar estos datos de evaluación comparativa de software para determinar las mejoras que deben realizarse para desarrollos futuros.
Este tipo de evaluación comparativa de software es de naturaleza algo similar a la evaluación comparativa de hardware, pero no deben confundirse. Los puntos de referencia de hardware a menudo se determinan ejecutando diferentes configuraciones de computadora y piezas de hardware a través de varias pruebas para generar datos sobre esos dispositivos. Luego, estos datos se utilizan para comparar diferentes piezas de hardware, con el fin de determinar qué procesadores o tarjetas gráficas son teóricamente superiores a otros dentro de un contexto dado.
Existe una forma de evaluación comparativa de software que se puede realizar de una manera similar a esta, aunque a menudo se considera parte de las pruebas de soporte. El mismo programa se puede ejecutar en varias computadoras con diferentes dispositivos y configuraciones de hardware, para ver con qué sistemas es compatible. Este tipo de evaluación comparativa se utiliza a menudo para determinar los requisitos mínimos de un programa y para garantizar que una base de usuarios lo más amplia posible pueda ejecutar el software.