INFORME DE VALORACIÓN DE LOS CRITERIOS SUBJETIVOS PARA LA CONTRATACIÓN POR PROCEDIMIENTO ABIERTO DE LA EVALUACIÓN DE LOS INDICADORES DE CONFORT E INFORMACIÓN A BORDO DE LOS VEHÍCULOS
1. Introducción
Por Resolución del Director-Gerente del Consorcio de Transportes de la Comunidad de Madrid (en adelante CRTM), de fecha 12/12/2018, se convocó el contrato “Evaluación de los indicadores de confort e información a bordo de los vehículos” (Expediente A-SER/020092/2018).
En la mesa de contratación celebrada el 28 de enero de 2019, se acordó la exclusión de la oferta presentada por la empresa INSTITUTO DYM, S.A., de acuerdo con lo contenido en el artículo 139.3 de la Ley de Contratos del Sector Público, así como lo dispuesto en la cláusula 10.5 del Pliego de Cláusulas Administrativas Particulares del presente contrato.
El 31 de enero de 2019 se procedió a la apertura del contenido de las ofertas que dependen de un juicio de valor, una vez completada la calificación administrativa de las empresas concurrentes en las mesas iniciadas el día 28 de enero.
Se reciben ofertas técnicas de las siguientes empresas:
Ideara S.L. (en lo sucesivo Ideara)
Gfk Emer Ad Hoc Research, S.L. (en lo sucesivo Gfk)
La mesa de contratación propone solicitar al Área de Calidad y Atención al Cliente el análisis de la documentación presentada por las empresas Gfk e Ideara con el objeto de que emita un pronunciamiento técnico previo respecto a si, de su estudio, se podría deducir el tamaño de la oferta propuesto, de acuerdo con lo establecido en el apartado 9 de la cláusula 1 del Pliego de Cláusulas Administrativas Particulares.
En la reunión de la mesa de contratación de 5 de febrero de 2019, se concluye por todos los miembros de la mesa que la documentación presentada por Gfk parece ofrecer dudas acerca de si de la misma podría deducirse el tamaño de la oferta propuesto, por lo que se acuerda solicitar aclaración sobre si el número de mediciones de vehículos (o número de auditorías a conductores y vehículos, de acuerdo con la denominación dada por esta empresa) contenido en la oferta técnica, coincide con el número de vehículos ofertados contenido en el Anexo I.1 “proposición económica” del Pliego de Cláusulas Administrativas Particulares.
La autenticidad de este documento se puede comprobar en www.madrid.org/csv mediante el siguiente código seguro de verificación: 1239482172828723389785
En la reunión de la mesa de contratación de 12 de febrero de 2019, se examina la declaración responsable aportada por la empresa Gfk el 11 de febrero de 2019, en la que confirma que ambas cantidades son coincidentes, por lo que la mesa decide excluirla del procedimiento de licitación, de acuerdo con lo previsto en el apartado 9 de la cláusula 1 del Pliego de Cláusulas Administrativas Particulares.
En esta misma reunión, la Mesa solicita al Área de Calidad y Atención al Cliente el análisis de la documentación presentada por la empresa Ideara.
2. Objeto
El presente informe tiene por objeto la valoración de la oferta presentada por la empresa Ideara con respecto a los criterios que dependen de un juicio de valor.
3. Criterios cuya cuantificación dependen de un juicio de valor
El Pliego de Cláusulas Administrativas Particulares (en adelante PCAP) establece los criterios cuya cuantificación depende de un juicio de valor y que aparecen descritos como sigue:
a. Diseño muestral.
Especificación de los criterios de diseño de la muestra, errores asociados, determinación del tamaño muestral y descripción de todos los aspectos a considerar para garantizar la fiabilidad de los datos obtenidos sin realizar referencia explícita al tamaño muestral
propuesto. 5 puntos
b. Descripción y planificación de los trabajos de toma de datos.
Especificación de las actividades previas a la planificación, propuesta de planificación y plan de contingencias. 5 puntos c. Dimensionamiento y formación y requerimientos del equipo
de trabajo.
Especificación de la asignación de recursos en todos los niveles funcionales del equipo, formación, selección y asignación
numérica. 5 puntos
d. Control de calidad de los trabajos.
Especificación del procedimiento de supervisión en términos de veracidad, completitud y adecuación de la información recogida.
5 puntos.
e. Explotación y análisis de la información.
Propuesta de análisis de los resultados obtenidos, análisis de consistencia de los datos y explotaciones complementarias.
5 puntos
La autenticidad de este documento se puede comprobar en www.madrid.org/csv mediante el siguiente código seguro de verificación: 1239482172828723389785
f. Propuesta de evaluación de indicadores.
Especificación de criterios para la construcción de los indicadores
objetivo del trabajo. 5 puntos
g. Definición de los entregables.
Propuesta de presentación de resultados, modelo de fichas de indicadores por concesión y grupo de empresa. 5 puntos h. Descripción de las herramientas tecnológicas aplicables al
estudio.
Descripción de los instrumentos, número, características técnicas, número de instrumentos de reserva. 5 puntos 4. Consideraciones sobre la valoración
Al disponer de una sola oferta, como ya se explicó en la introducción, la presente valoración pretende comprobar si esta oferta alcanza la puntuación mínima exigida que, según el PCAP, es de 20 puntos.
5. Resultados de la valoración
Teniendo en cuenta las puntuaciones máximas anteriores y la escala de graduación descrita en el PCAP en su punto 9, la puntuación de esta propuesta sería la siguiente:
Criterio Puntuación
máxima Puntuación Ideara
Diseño muestral 5 1.00
Descripción y planificación de los trabajos de toma de datos
5 2.50
Dimensionamiento y
formación y requerimientos del equipo de trabajo
5 2.50
Control de calidad de los
trabajos 5 3.25
Explotación y análisis de la
información 5 2.50
Propuesta de evaluación de
indicadores 5 2.50
Definición de los
entregables 5 3.25
Descripción de las
herramientas tecnológicas aplicables al estudio
5 3.50
Total puntos 40 21.00
Al obtener una puntuación mayor de 20 puntos, esta oferta es aceptada.
La autenticidad de este documento se puede comprobar en www.madrid.org/csv mediante el siguiente código seguro de verificación: 1239482172828723389785
Más adelante se explica la puntuación de cada uno de los criterios:
a. Diseño muestral.
Se han encontrado pocas evidencias de cómo se va a realizar el diseño muestral. Dentro de la escala descrita en el PCAP se ha hecho una graduación entre “sin evidencias” y “alguna evidencia”.
Se establece como unidad de análisis la concesión, como ya indica el Pliego de Condiciones Técnicas (en adelante PCT). En una primera aproximación proponen como criterio de incremento de la muestra en función del número de vehículos inspeccionados respectos del total de la flota con el fin de incrementar aquellas concesiones con menor porcentaje de vehículos inspeccionados.
Sin embargo, la aplicación práctica no parece consistente con esta premisa, se propone incrementos dentro de esta hipótesis en concesiones cuyo número de mediciones supera a la flota de vehículos.
Se propone una segunda hipótesis modificando la ratio de conductores, pero con una aplicación práctica que finalmente no elimina el objetivo que pretende solventar y es el aproximar la ratio de conductores evaluados por concesión.
Finalmente, no queda muy clara su propuesta. No se desarrollan los criterios de distribución de la muestra salvo de forma muy genérica.
b. Descripción y planificación de los trabajos de toma de datos.
En conjunto, realizan una descripción coherente de todas las fases del trabajo a desarrollar. Hay evidencias de la exposición de actividades previas, de la planificación de los trabajos, …
Se detecta algún error en la planificación ya que hay seis agentes que no libran nunca según la planificación mensual. Además., también se ve una asignación de concesiones poco práctica porque se obliga al inspector a realizar recorridos muy largos y no queda clara cómo se puede alcanzar la productividad prevista con esa dispersión de líneas a investigar.
Se profundiza mucho en aspectos generales, pero se observan pocas evidencias de los aspectos prácticos del trabajo. Hay aspectos esenciales, como el control de no repetición del conductor, que no queda suficientemente aclarado cómo se van a abordar.
La autenticidad de este documento se puede comprobar en www.madrid.org/csv mediante el siguiente código seguro de verificación: 1239482172828723389785
c. Dimensionamiento y formación y requerimientos del equipo de trabajo.
La descripción del equipo técnico coincide con los requisitos del PCAP y lo mejora con un responsable estadístico, un técnico informático y un técnico administrativo.
En cuanto a la dimensión del equipo, parece desproporcionada la relación entre el número de auditores y el número de supervisores, de 9 a 3. Se considera que debería incrementarse algo más el equipo de auditores en detrimento de los supervisores. Se asignan 4 auditores de sustitución, cifra que parece un poco desproporcionada en relación al número de agentes titulares.
d. Control de calidad de los trabajos.
Se hace tres tipos de supervisiones: remota, presencial y gráfica.
Incluye formulario de supervisión y posibilidad del CRTM de acceder a la programación y resultados de esta supervisión.
Describe de forma detallada el procedimiento de supervisión incluido un formulario de ejemplo. No obstante, surge la incertidumbre de saber si el supervisor es conocido o no por el auditor.
e. Explotación y análisis de la información.
Aportan tabla del tipo de respuesta que se presupone para determinados atributos, pero está incompleta.
Propone un análisis bivariable de carácter general. No es incorrecto, pero no dice nada específico que permita valorar la especificidad de la propuesta. En el análisis multivariable, se enumeran diferentes análisis pero no se relacionan con elementos concretos para poder identificar claramente la idoneidad del mismo.
Se propone la elaboración de un indicador de calidad global sobre el que exponen diferentes posibilidades sin concretar de antemano.
f. Propuesta de evaluación de indicadores.
Han aportado evidencias en la construcción de indicadores, se han tenido en cuenta todos los atributos necesarios para las mediciones que se pretende hacer, pero estas evidencias no pueden considerarse claras puesto que en algunos casos la respuesta no es dicotómica sino que habría que considerar más categorías, como es el caso de la “información obligatoria”.
En cuanto a “estado de limpieza y conservación”, deberían especificar los elementos exteriores e interiores que se van a analizar y evaluarlos en tres categorías (bien, regular, mal) y no en cinco, como la escala que se ha diseñado.
La autenticidad de este documento se puede comprobar en www.madrid.org/csv mediante el siguiente código seguro de verificación: 1239482172828723389785
En la medición de la climatización y ventilación, se considera adecuado que se hagan tres categorías, aunque es excesiva la oscilación de 5ºC que se permite en la categoría intermedia, si tenemos en cuenta las recomendaciones generales existentes.
En el resto de indicadores, se considera que los cálculos son correctos.
Como la propia empresa prevé, estas ecuaciones están sujetas a recodificaciones y podrían variar si el CRTM lo creyese más conveniente para el análisis de los resultados.
g. Definición de los entregables.
Incluye un modelo de ficha por concesión que no recoge todos los elementos que hay que revisar, aunque indican que se adaptará al nivel de desagregación de los subindicadores que contenga el formulario final.
Como mejora se incluye el uso de infografías.
Presentan un modelo de ficha por concesión y otro por empresa.
Es correcto, aunque nunca se dice que la unidad de análisis sea la empresa.
Proponen dos opciones como herramienta de consulta y cálculo de indicadores:
- Consulta a través de Excel - Consulta a través de SQL
h. Descripción de las herramientas tecnológicas aplicables al estudio.
Se trabajará con LimeSurvey, que incluye un medidor de tiempos.
Los dispositivos utilizados serán 17 tabletas, que incluyen 9 para los agentes activos, 4 de refuerzo o sustituciones y otras 4 destinadas a cambios por tablets rotas o dañadas.
No realiza ninguna indicación respecto del instrumento de medición de temperaturas.
En Madrid, a fecha de la firma La Técnica de Apoyo del Área de Calidad
Fdo: Diana Bermejo Torralba
La autenticidad de este documento se puede comprobar en www.madrid.org/csv mediante el siguiente código seguro de verificación: 1239482172828723389785
Firmado digitalmente por DIANA BERMEJO TORRALBA Organización: COMUNIDAD DE MADRID
Fecha: 2019.03.11 16:16:51 CET
Huella dig.: 1cf8da7c9b9b8851904dd6799db01bfdbe3911c4
