Cómo definir Criterios de Evaluación
Pertinentes para los Procesos de
Compras y Contrataciones
Asistencia Técnica PMG 2005
Julio de2005
Ley de compras (Art. 6)
“Las bases de licitación
deberán establecer las
condiciones que permitan
alcanzar la combinación más
ventajosa entre todos los
beneficios del bien o servicio
por adquirir y todos sus costos
asociados, presentes y futuros.
Estas condiciones no podrán
establecer diferencias
arbitrarias entre los
proponentes, ni sólo atender
al precio de la oferta”.
•
Combinación más
Combinación más
ventajosa de los
ventajosa de los
beneficios
beneficios
•
Considera
Considera
todos
todos
los
los
costos asociados,
costos asociados,
presentes y futuros
presentes y futuros
•
No permite establecer
No permite establecer
diferencias arbitrarias
diferencias arbitrarias
, ni
, ni
considerar
considerar
sólo el precio
sólo el precio
de la oferta
Reglamento (Art. 22)
•
Las bases deberán
contener:
7. Los criterios objetivos que
serán considerados para
decidir la adjudicación,
atendido la naturaleza de
los bienes y servicios que
se licitan, la idoneidad y
calificación de los
Oferentes y cualquier otro
antecedente que sea
relevante para efectos de
la Adjudicación.
•
Criterios objetivos
•
Naturaleza de los bienes
y servicios
•
Idoneidad y calificación
de los Oferentes
•
Cualquier otro
Elementos constitutivos de una
evaluación
•
Objetivos
–
Qué se quiere obtener
•
Indicadores
–
Variables observables para medir cumplimiento de objetivos
•
Meta o estándar
–
Valor deseado o ideal para cada indicador, incluyendo su
tolerancia
•
Rangos de evaluación
–
Valoración de las diferencias en relación a la meta
•
Método de medición
–
Instrumentos o metodologías
Ejemplo
•
Objetivo
–
Contar con implantadores
de software competentes
•
Indicador
–
Número de proyectos
similares al licitado
realizados
•
Meta o estándar
–
Jefe de proyecto: al menos
5 proyectos similares como
jefe de proyecto
•
Rangos de evaluación
–
Jefe proyecto
• Más de 5: excelente • 3 – 4: regular
• 2 o menos: insuficiente
•
Método de medición
–
Listado de proyectos
–
Certificado de los clientes
•
Pregunta para reflexionar
Comité evaluador
Criterios para la conformación
•
La administración de una licitación compleja requiere de
especialidades diversas
•
Hay que formar equipos multidisciplinarios
•
Hay que involucrar a todas las áreas de la organización
que tengan alguna relevancia para el proceso
•
Hay que evaluar cuáles de los conocimientos requeridos
no están disponibles y buscarlos externamente:
–
Benchmark
–
Contratación de asesores especialistas
•
La composición del equipo debe definirse en función del
monto involucrado, de la complejidad del proceso y de la
disponibilidad de competencias al interior de la
Comité evaluador
Roles en la evaluación de licitaciones
•
Comprador a cargo del proceso (*)
•
Usuarios relevantes (*)
•
Asesor presupuestario (*)
•
Asesor jurídico (*)
•
Especialista técnico
•
Especialista en economía industrial
•
Especialista en gestión de operaciones
•
Especialista en métodos de negociación
•
Asesor de calidad
Dos enfoques de evaluación
•
Puntaje
– Criterios de evaluación se agrupan en económicos y técnicos
– Se asignan puntajes en cada factor y se evalúa sobre el conjunto de factores
evaluados
– La ponderación puede variar de un factor a otro, poniendo énfasis en los que tienen más importancia para el proceso
•
Preclasificación
– Primero se evalúan los aspectos técnicos
– Propuestas insatisfactorias se eliminan
– Todos los oferentes que pasan a la fase económica deben ser satisfactorios
– Entonces, se evalúa sólo por aspectos económicos (precio + costos asociados)
Proceso de evaluación
•
Entrega información para
orientar la adjudicación de la
compra
•
Busca identificar
tempranamente ofertas que no
satisfacen los requerimientos
•
Ayuda a comparar ofertas con
fortalezas en distintos ámbitos
Administrativa
Oferentes
Técnica
Económica
Informe de evaluación
Evaluación administrativa
•
Objetivo
– Asegurar que se satisfagan los requisitos administrativos de la licitación
•
Requerimientos deben reflejar
la naturaleza de la
contratación
– Riesgo y complejidad
– Características del mercado
•
Simplificación de trámites
– No requerir información que se pueda obtener
directamente de otros organismos
•
Riesgos
– Descalificar ofertas atractivas
•
Enfoques alternativos
– Registro de proveedores
• Repositorio central con información actualizada • Proveedores registrados no
necesitan presentar antecedentes
– Declaración representante legal
• Oferta se presenta con declaración jurada + boleta de garantía de seriedad de la oferta
• Antecedentes se entregan a la firma de contrato
Evaluación de oferentes
•
Revisa si el oferente satisface
condiciones críticas
para el
éxito de la contratación
– Respaldo financiero
– Experiencia
– Competencias técnicas
– Infraestructura y recursos
•
Se utiliza cuando:
– Puede haber gran cantidad de ofertas
– Características del oferente son indispensables para el éxito del contrato
– Evaluación de las ofertas técnicas es muy compleja
•
En la mayoría de los casos, se
incluye dentro de la evaluación
administrativa
•
En ocasiones, se realiza como
un
proceso previo a la
licitación
, con el objeto de
preseleccionar un número
manejable de oferentes
calificados (3 – 6)
•
Se recomienda que esta
evaluación tenga carácter
precalificatorio
Evaluación técnica
•
Objetivos
– Asegurar que se contrate una solución adecuada a las
necesidades de la institución
• Descalificar ofertas insatisfactorias
• Establecer un criterio objetivo de comparación para ofertas satisfactorias
•
Aspectos a considerar
– Calidad de producto
– Calidad de servicio
– Idoneidad y calificación de los oferentes (*)
•
Estrategias
– Evaluación directa
• Los oferentes participan del proceso completo
– Precalificación
• Etapas sucesivas que van filtrando las mejores ofertas para evaluarlas con más profundidad
•
Consideraciones de diseño
– Es más importante cuando:
• Hay heterogeneidad de los bienes o servicios
• No hay un mercado maduro para el bien o servicio
(*) A veces este proceso forma parte de la evaluación de oferentes
Evaluación técnica
Calidad de producto
•
Factores posibles de evaluar
– Directos
• Experiencia previa
• Certificación de productos • Pruebas de uso del producto
(muestras)
• Pruebas de laboratorio • Reportes de terceros
– Indirectos
• Certificaciones de calidad • Referencias de clientes
• Experiencia y trayectoria del fabricante
•
Factores directos
– Dan mayor confiabilidad a la evaluación
– Tienen un mayor costo para ambas partes
– Se recomiendan para
suministros críticos, asociados a funciones de producción
•
Factores indirectos
– Son menos confiables
– Tienen un bajo costo
Evaluación técnica
Calidad de servicio
•
Problema
– El proveedor puede prometer en el papel niveles de servicio que no es capaz de entregar
•
Metodología
– Identificar variables de servicio
– Definir niveles de servicio deseados
– Definir las condiciones que debe cumplir el proveedor para satisfacer los niveles de servicio definidos
– Asignar puntaje a los requerimientos
•
Cómo evaluar
– Verificar que el proveedor cuenta con infraestructura, recursos y procesos que aseguren que es capaz de cumplir con el servicio
requerido
•
Ejemplo
– Horario de atención
• 5x12
– Tiempo de inicio de reparaciones
• 24 h
– Tiempo de resolución de problemas
Evaluación técnica
Idoneidad y calificación de oferentes
•
Frecuentemente, la evaluación
de oferentes se queda en
aspectos formales que no
necesariamente garantizan
una buena contratación
– Ej:
• Nivel de estudios de los profesionales
• Trayectoria del proveedor • Prestigio de marca
• Cantidad de proyectos realizados
• Metodologías genéricas
•
Para hacer una buena
evaluación de oferentes es
necesario
– Concentrarse en las
experiencias relevantes para el éxito del contrato
– Privilegiar experiencia específica por sobre la general
– No quedarse sólo con la presentación escrita
• Pedir referencias de clientes • Pedir demostraciones
Evaluación económica
•
Objetivo
– Asegurar que se contrate la solución más eficiente para satisfacer las necesidades de la institución
•
Dificultades comunes
– Normalizar las ofertas con una escala común, que permita comparar con la evaluación técnica
– Homologar diferencias en la forma de entrega del bien o servicio que afectan los costos para la institución
– Homologar diferencias en los aspectos financieros de las ofertas
•
Debe considerar todos los
costos asociados, presentes y
futuros
– Costos logísticos
• Transporte, importación e internación, seguros
• Inventarios en consignación, “Just in Time”, distribución al usuario
– Costos administrativos
• Procesos internos asociados a la administración del
contrato
– Costos financieros
• Plazos de pago
– Costos de operación
Evaluación económica
Ejemplo 1: método para asignar puntaje
Definir escala (Ej. 0 – 100)
Definir criterio para fijar puntaje máximo
Definir criterio para fijar puntaje máximo
Evaluación económica
Ejemplo 1: método para asignar puntaje
•
Definir criterio para fijar el puntaje máximo
Criterio Fortalezas Debilidades Cuando aplica Menor precio
ofertado
No requiere estudios previos
Puede distorsionar la evaluación frente a errores en el
costeo (“maldición del ganador”) Mercados competitivos Precio meta (ej.- estimación del costo eficiente) Comprador define un estándar de precios en base a criterios técnicos
Requiere de estudios previos. Genera distorsión si hay error en la
estimación.
1. Cuando hay imperfecciones de mercado
Evaluación económica
Ejemplo 1: método para asignar puntaje
•
Definir criterio para fijar el puntaje mínimo
Criterio Fortalezas Debilidades Mayor precio
ofertado
No requiere estudios previos
Exagera diferencias cuando hay poca dispersión de precios Diferencia porcentual
(ej.- 50% de diferencia con el menor precio)
Comprador define un estándar de precios en base a criterios técnicos o económicos
Falla si hay
desconocimiento del
marcado, o si se presenta una oferta mal costeada. Máxima disposición a
pagar
Se adecua al presupuesto y da señales claras a los proveedores
Evaluación económica
Ejemplo 2: Camioneta diesel v/s bencinera
•
Problema
–
Cómo se define la solución más conveniente cuando
un bien es más caro que otro, pero tiene costos de
operación menores
•
Solución
–
Emplear un modelo que sume los costos relevantes a
lo largo de la vida útil del bien (TCO)
•
Ejemplo
Evaluación económica
Ejemplo 3: compras de importación
•
Problema
–
Cómo evaluar compras que se presentan en modalidades
logísticas distintas (ej.- FOB, CIF, en dependencias del cliente)
•
Solución
–
Homologar precio a una condición logística equivalente,
sumando los costos que el SSPP incurriría para llegar a dicha
condición
•
Ejemplo
–
Condición equivalente: despacho en bodegas del SSPP
–
Si la oferta es FOB, el precio equivalente es:
[Precio ofertado] + [Flete internacional] + [Internación] + [Flete
interno] + [Costo administración]
Informe de evaluación
•
Entrega información clara y precisa a la persona o
comisión responsable por la adjudicación
•
Mantiene un registro formal y ordenado de todos los
antecedentes considerados en el proceso de
observación
•
Asegura el fiel cumplimiento del proceso de evaluación
establecido en las bases
•
Entrega los fundamentos para defender a la institución
en caso de cuestionamientos al proceso de adjudicación
Ejemplo
Adquisición sistema informático
•
Necesidad
– Adquisición de un sistema informático para llevar seguimiento de los procesos de compra y contratación
•
Intereses del cliente
– Disponer de una solución operativa en el corto plazo
• Solución empaquetada
– Minimizar los riesgos de la implantación
– Maximizar el valor del presupuesto
• Más que la solución más barata, se busca comprar la mejor solución posible por el presupuesto disponible
– Dejar espacios de libertad para que el proponente contribuya a la definición de la funcionalidad
•
Comité de evaluación
– Usuarios
– Especialista funcional (consultor externo)
– Especialista técnico (unidad de informática)
Ejemplo
Adquisición sistema informático… (2)
•
Criterios de evaluación
Criterio
Ponderación
Oferta técnica
70%
Experiencia de la empresa
15%
Experiencia del equipo consultor
15%
Calidad de la solución
50%
Referencias de clientes
20%
Ejemplo
Adquisición sistema informático… (3)
•
Evaluación técnica
Criterio Indicador
Experiencia de la empresa Número de proyectos realizados por la empresa, con la misma solución ofertada, en temas
similares al tema de la propuesta. Experiencia del equipo
consultor
Número de proyectos realizados por cada consultor, con la misma solución ofertada, en temas similares al tema de la propuesta.
Calidad de la solución Varios ámbitos evaluados (ver lámina)
Ejemplo
Adquisición sistema informático… (4)
•
Experiencia
Puntaje
Criterio Ponderación 7 5 3 Experiencia de la empresa
(nº proyectos calificados)
15% Más de 5 3 – 4 1 – 2
Experiencia del equipo consultor – Jefe proyecto (nº proyectos calificados en calidad de jefe de proyecto)
10% Más de 3 2 1
Experiencia del equipo
consultor – equipo proyecto (nº proyectos calificados promedio por consultor)
Ejemplo
Adquisición sistema informático… (5)
•
Calidad de la solución
Criterio Indicador
Paquete software (25%) Funcionalidad (33,3%) Base instalada (33,3%)
Referencias técnicas (33,3%) Funcionalidad ofertada
(25%)
Cumplimiento requisitos mínimos (50%) Valor agregado (50%)
Metodología consultoría (25%)
Evaluación experta (50%)
Ejemplo
Adquisición sistema informático… (6)
•
Encuesta clientes
–
Descripción del proyecto
–
Evaluaciones (nota de 1 a 7, con fundamentación)
• Cumplimiento de objetivos
• Cumplimiento de plazos
• Cumplimiento del presupuesto
• Calidad de los consultores
• Percepción general del proveedor
–
Otras preguntas
Ejemplo
Adquisición sistema informático… (7)
•
Proceso de evaluación
–
Evaluación administrativa
–
Preselección técnica
• Un equipo revisor pone notas a las propuestas en distintos ámbitos, sobre la base de los antecedentes escritos, con el objeto de
descartar las propuestas que no satisfacen requisitos mínimos
–
Evaluación en profundidad
• Antecedentes complementarios
– Evaluación de referencias de clientes – Presentaciones de los proponentes
– Investigación de antecedentes del paquete de software
Algunas recomendaciones para definir
los métodos de evaluación
•
Enfocarse en los factores
críticos de éxito para la
licitación
•
No quedarse sólo con lo
escrito
– Demostraciones de productos
– Pruebas de laboratorio
– Certificaciones de calidad
– Referencias de clientes
•
Establecer claramente las
diferencias entre los oferentes
•
Privilegiar experiencias
específicas en la materia del
contrato
•
Evitar requerimientos que
dificultan la presentación de
ofertas y no contribuyen a
tomar una mejor decisión
•
Emplear criterios objetivos y
demostrables
Evaluación económica:
Camioneta Diesel vs Bencinera
Anexo presentación
Cómo definir Criterios de Evaluación
Parámetros
Diesel Bencinero
Inversión 11.000.000,00 8.000.000,00 [$]
Rendimiento 15,00 10,00 [KM/l]
Costo Combustible 400,00 600,00 [$]
Costo Mantención 100.000,00 100.000,00 [$]
Frecuencia Mantención 15.000,00 20.000,00 [KM]
Uso 50.000,00 50.000,00 [Km/año]
