Marcos de Medición y Evaluación

Las organizaciones eficientes saben que todo aquello que no es posible medir o evaluar, tampoco se puede controlar. Existen determinadas situaciones en donde es necesario medir y evaluar los datos, lo que implica que si no se cuenta con la suficiente información sobre un determinado producto o proceso, no se podrá controla el mismo.

En este sentido, es importante establecer qué se entiende por medición y qué se entiende por evaluación. Para ello, podemos definir a la medición como la asignación de un valor o el grado de cantidad de algo, cuya característica es que debe ser exacta y fiable, de manera que pueda proporcionar resultados de calidad. Las mediciones bien diseñadas, nos permiten comparar los resultados obtenidos con los resultados esperados. Por otro lado, se entiende por evaluación, al proceso sistemático de identificar, recolectar o bien tratar datos para luego tomar decisiones de acuerdo a la valoración realizada sobre los mismos. Se considera a la evaluación como el punto de partida para llevar a cabo la evaluación de los resultados y de este modo poder comparar los mismos. Al momento de utilizar ambos términos, debemos tener en cuenta cuáles son las diferencias más significativas entre ellos y considerar que ambos términos no son sinónimos entre sí. De este modo, y a fin de evitar confusiones o errores a la hora de aplicar los mismos es necesario diferenciar las características de cada uno de ellos.

A continuación en la Tabla 8, se indican las principales diferencias entre los términos.

Tabla 8 Principales diferencias entre Medición y Evaluación

Medición Evaluación

• Es la base de la evaluación

• Tiende a cuantificar

• Se centra en objetivos pre establecidos

• Se apoya en la medición

• Tiende a cualificar

• Se centra en la persona y a partir de allí da una valoración

Si bien existen diferencias significativas entre ambos términos, como se pudo observar en la tabla anterior, debemos tener en cuenta que ambas persiguen el mismo propósito que consiste en la toma de decisiones, tal como se muestra en la Figura 4:

52 Figura 4 Objetivo Principal de Medición y Evaluación

Teniendo en cuenta las diferencias y características de los conceptos antes mencionado, debemos considerar que cuando es necesario tener que definir un proyecto de medición y evaluación, lo que se suele utilizar es un marco formal de medición y evaluación. Ello permite tener en cuenta la entidad bajo monitoreo que se encuentra analizando.

Dentro de los marcos formales de medición, podemos mencionar al “framework”

denominado CONSERVE [61], cuyo objetivo principal es permitir la toma de decisiones multidimensional de un conjunto de técnicas de monitoreo en entornos de virtualización para supervisar la seguridad de los contenedores. La idea principal es utilizar dicho “framework” para mejorar la eficiencia y fiabilidad de los entornos de ejecución. Por otro lado, para poder estimar la calidad de un producto en forma directa, a partir de los diferentes datos provenientes del proceso de producción, es que se aplica la metrología virtual. Sin embargo, es necesario contar con un “framework” que permita estructurar todas las actividades de investigación relacionadas con la metrología virtual [62]. De este modo, es posible proporcionar un marco y terminología que fomente la investigación y el control en tiempo real de todos los componentes y aplicaciones de la metrología virtual. Por otro lado, si se desea medir y evaluar el rendimiento de un sistema de transporte de mercancía [63], es necesario contar con un “framework” que permita realizar dicha medición a través de la incorporación de elementos numéricos que posibiliten la toma de decisiones basado en conjuntos aproximados. El objetivo de dicho marco es evaluar su aplicabilidad en el análisis del rendimiento de empresas que transportan mercancía permitiendo su comparación con otros métodos y de este modo validar la eficacia del enfoque propuesto.

En este sentido, cabe destacar que los diferentes tipos de “framework” nos permiten mejorar y optimizar la eficacia de las distintas aplicaciones donde podemos utilizarlos, con el objetivo de brindar una estructura que sirva de base para los proyectos a desarrollar.

Medición

•Proporciona información

Evaluación

•Juzga dicha información

Toma de Decisiones

53

2.2.1 Marco Conceptual C-INCAMI

Cuando es necesario medir y evaluar un ente, el mismo debe ser definido y delimitado, de este modo se podrá conocer el objetivo y el alcance del mismo[64].

Establecer una estrategia de medición y evaluación sobre un proceso, significa que se debe poder estudiar su comportamiento, poder identificar y detectar anomalías, como así también poder evaluar su resultado. Sin embargo, la distancia entre la formalización de un proceso hasta la visualización de los indicadores que permitan tomar decisiones sobre dicho proceso, implica la utilización de un marco formal de medición y evaluación (con base ontológica). Ello permitirá, garantizar la consistencia, la repetividad y la comparabilidad de las medidas en el tiempo.

El marco C-INCAMI (en inglés Context-Information Need, Concept Model, Attribute, Metric and Indicator) [2], [7], [65] consiste en un marco conceptual que define módulos y conceptos que intervienen en el área de la medición y evaluación. El mismo, se basa en un enfoque donde las especificaciones de los requerimientos, la medición y la evaluación de entidades, como así también la interpretación de los resultados obtenidos, se encuentran orientados a satisfacer una necesidad de información en particular.

C-INCAMI se encuentra integrado por los siguientes componentes:

• Definición del proyecto de medición y evaluación

• Definición y especificación de requerimientos no funcionales

• Especificación del contexto del proyecto

• Diseño y ejecución de la medición

• Diseño y ejecución de la evaluación

• Especificación del análisis y recomendación

Los componentes se encuentran soportados por los términos ontológicos definidos en [2], [7], [65] y en la Figura 5, se puede observar los principales conceptos y relaciones para la especificación de requerimientos no funcionales, la especificación del contexto, diseño e implementación de la medición, y diseño e implementación de la evaluación.

54 Figura 5 Principales conceptos y relaciones de C-INCAMI [66]

El componente denominado Definición del proyecto de medición y evaluación (no se muestra en Figura 5), permite definir el proyecto sobre el cual luego se especificarán los requerimientos no funcionales asociados a las actividades de medición y evaluación.

Este componentes, define y relaciona un conjunto de conceptos del proyecto que son necesarios para tratar las actividades, los roles y los artefactos de M&E. En lo que respecta a los datos asociados a la definición del proyecto, podemos encontrar su nombre o denominación, período de vigencia, director, entre otros datos.

En cuanto al componente Definición y especificación de requerimientos no funcionales (paquete de requisitos en la Figura 5), el mismo permite especificar la necesidad de la información de un proyecto de medición y evaluación. La necesidad de información describe el objetivo o propósito (entender, predecir, controlar, etc) y el punto de vista del usuario (paciente, usuario final, etc). También identifica un concepto calculable, por ejemplo, calidad del software y especifica la categoría de las entidades a evaluar; por ejemplo, un producto. Un concepto calculable, (característica o dimensión), puede ser definido como una relación abstracta entre atributos de una entidad y una necesidad de información; el cual puede ser representado por un modelo.

El componente Especificación del contexto del proyecto (paquete de contexto en la Figura 5), permite describir de forma estructurada el contexto relevante para una necesidad de información por medio de propiedades. Un concepto es Contexto, que

55

representa el estado relevante de la situación de la entidad a evaluar con respecto a la necesidad de información. Se considera el contexto como un tipo especial entidad en el que están involucradas entidades relevantes relacionadas. Para describir el contexto se utilizan atributos de las entidades relevantes.

El componente denominado Diseño y ejecución de la medición (paquete de medición en la Figura 5), permite especificar las métricas utilizadas en la medición como así también permite registrar los valores medidos de los atributos de cada entidad. Este componente incluye los conceptos y relaciones destinados a especificar el diseño y la implementación de la medición. Cabe mencionar que un atributo puede ser cuantificado por muchas métricas, pero un determinado proyecto de M&E solamente se utiliza una métrica para su cuantificación. La métrica define el método de medición o cálculo para obtener el valor del atributo y la escala de los valores. Un método de medición se aplica a una métrica directa, mientras que un método de cálculo se aplica a una métrica directa. Seleccionadas las métricas, se utiliza su definición para efectuar la medición y de este modo producir una medida para cada atributo. Sin embargo el valor obtenido por una métrica no representa el nivel de satisfacción de un requerimiento elemental (atributo) sino que es necesario realizar una nueva correspondencia utilizando indicadores. Dos tipos de métricas se especifican. Por un lado la métrica denominada Métrica Directa, que es aquella cuyo valores son obtenidos directamente de la medición del atributo de la entidad correspondiente. Por otro lado, se encuentra definida la Métrica Indirecta la cual se calcula a partir de los valores de otras métricas directas siguiendo una especificación de función y un método de cálculo determinado.

El componente definido como Diseño y ejecución de la evaluación (paquete de evaluación en la Figura 5), permite especificar los indicadores que permiten interpretar los atributos y conceptos calculables. Este componente incluye los conceptos y relaciones destinados a especificar el diseño y la implementación de la evaluación.

Podemos mencionar que existen dos tipos de indicadores: elementales y globales. Un indicador se define como elemental dado que es aquel que no depende de otros indicadores para evaluar o estimar un concepto de bajo nivel de abstracción como son los atributos. Cada indicador elemental, tiene un modelo elemental que proporciona una función de mapeo de las medidas de las métricas. Por otro lado, un indicador parcial o global, se deriva de otros indicadores para poder evaluar o estimar un concepto de alto nivel de abstracción (conceptos y calculables y subconceptos). El valor del indicador global representa el grado de satisfacción de los requerimientos para dicha necesidad de información.

Finalmente el componente definido como Especificación del análisis y recomendación (que no aparece en la Figura 5), debe soportar un proceso en el que se diseña el análisis, se implementa el mismo y en base a sus resultados se elaboran reportes que posibiliten luego la elaboración de las recomendaciones [67]. Incluye conceptos y relaciones que tratan el diseño y la implementación del análisis, así como también la conclusión y la recomendación. El análisis y la recomendación utilizan información que proviene de

56

cada proyecto de M&E, ello incluye requisitos, contexto, datos de medición y evaluación, y metadatos.

En este sentido, la idea del marco es fomentar la repetibilidad, comparabilidad, coherencia y extensibilidad del proceso de medición. Por otra parte, la especificación de requisitos, la M&E y el análisis de resultados deben satisfacer una necesidad de información específica, en un contexto determinado. Los conceptos y relaciones de C- INCAMI (por ejemplo, Medida, Entidad, Contexto, etc.) están pensados para ser utilizados a lo largo de todas las actividades de M&E. De este modo, se pretende obtener una comprensión común de los datos y metadatos compartidos entre proyectos para fomentar un análisis más coherente.