Experiencias e institucionalización del seguimiento y la evaluación de la investigación en el ICA

Texto completo

(1)EXPERIENCIAS E INSTITUCIONALIZACION DEL SEGUIMIENTOY LA EVALUACIONDE LA INVESTIGACION EN EL ICA Enrique Alarcón Millán - Hernán Chaverra Gil* RESUMEN El seguimbnto a la ejecuciónde la polltica da inuestigación agrcpecusrío. y lo eualuación d,ela.s realizacian¿s y del im¡nrto d.e los resulta.dos d.e Lo accün instituciDnal, son funcíows fundsmental¿spa.a ln toma de decr sionesen el proceso d,eplanificación y ejecución de ln investigación en el Instítuto Colombiara Agropecuario, ICA. Por estas razones,el sístema de d,irección d,el Instituto ha compartíd.o b necesidad de conceptualizar, instrumentsr e institucionalüar h. funcíón d,eseguirníentoy eualua.cíón de lo inuestigociÁnA partir d,eestas afirmaciones, los autores d.escribenen l¿ primera parte del artlculo las anteced,entesrcci¿ntesd,ela erperi¿ncia del ICA en el seguirnientoy eval,uadónde programas y proyectos rle inuestigo,ción. Indícan al respecto que en el períado 1962-1986,el 76 por ciento de 206 rcfe¡erwiasbibliDgráficasconsultadassobreel tena correspond,ena d.ocumentos eli,borad,ospor el ICA, lo que demuestra el tradicioncl interés del Irasütúto en estos tópicos. Sín embatgo, seña,ltnque las etperiencias nuis s¡stemáticasy conti,u!4s se conctetan a po.r'tb d,e1980y luego de b formulación en 1981d.el Priner Plan Nacíana.ldc Inuestigacün Agropecuaria, PLANIA, junto con sus instrurnentos y mecataismosde evqluació¡t Posteriarmente. en 1984,se fonnuló el Plan Naeio¡t¿ld,eTransferenciaAgropecuaria" PLANTRA. Qtros hitos impoftantes han sido el apoyo dodo entre 1984-1986a la función de segui¡niento ! eualuo.ün por po.rte de b Subgerencia de Investigaaü4 y TransferenciaAgropecuaria del Instituto, como p@rted.el üseño y estableciniento d,eun sistema i'?,tegrald.eplaniftcación.. r Respectivamente, subgerente de Investigación y Ttansfe¡encia Ag¡op€cua¡ia y asesorde la Gerencia General, Instituto Colombialo Agropecuario,ICA, Bogotá, D.E. Los auto¡es desea¡ hacerun expreso reconocimiento a la colaboraciónprestada para Ia elaboración del presente docuuento por los docto¡es Flaüo Dias Avila, Hernando Gutiérrez de la Roche, Jaime Navas Alvarado, R¡¡niro Orozco lópez, Marcela Robles G, y Luis RomanoOrozco.. 12411.

(2) 242. ANDRES RICABDO NOVOA IEDITOR). Resulta.dode esasaccionps,cono b destatdn los autores en b segunda pafte de su artkula, han síd.oe¿desarrollo d.emétodos parfl el rcgístro, seguímientoJ/ evaluoaün de etpeirnentos y proyectos dc inuestiga.iórt: h, integracün d4 rutinas de sewimi¿nto y eualu4cün en Prcyectos corr finrrnair:ciórrerteüú" corno eI d1l ICA - Bc,ncoMundial parc ir.vesügación agropecuaria; Lac.eación e ¡nst¡tucbnalización del Sistern4 de Proyectos, SIDEP; tn formulacün de planes operativos anuoles, y h eualuocün y reformul,ación d.elos pltnes naaionolzs de inuestigaciÁn y tmnsferencia de tecr.olagíoLuego de d.escribir a)gutws otms experie¡rcias en eualuacün económi' ca de proyectos y en desanollas metodológicosy de aPlicaciónpnict¡ca, que han contribuido a lz institucionalización d¿l prcceso en el ICA, Ios autores analizan y proponen uarios citerios fundamentahs pam que h funcían de seguimíento y evaluoción dc Ia investigotión ogropecutria sea contínua y sístenóticamente utilizada en bs hlstituc,ores' Señalan al respectoalgun4s de las a.ciones preuistas pam fortol¿cer esta funcün y eete dar la aplicadón en otr.ts ca.mpos dz trabüo que cotesponden al ICA y concluyeacon uarías rcfleríanes sobre el te¡no anolizedo y sobre el aprendizajead,quiido en materh de eualua¿ün dz la inuestígaciótl, como prodrcto de las accionescumplüas por el l¡Étituto en este campo. SUMMARY Superuisinn of the execution of agtícultural reseatck policies and eualuation of the results and inpaat of insütutio¡ul qstiuities are basic requir' ements for decisían making ín the processesof planning qnd erecution of researchat thz ICA (Itustituto Colombiano Agropecuario / Colombia'n Agriculturul Institute). For these reasons,the Institute's di¡ectors have agreed, upon the teed to conceptualüe, ir.strurn¿nt, and institutionalize the fi.nctians of researchsupentísionend'eualuatíon" After mahing these affirmations, in the iirct pert of the articl¿ the authors go on to dcscríbe rccent ba.hgTound erperbtces ot th¿ ICA in superuising and euqluating reseorch progrums and proiects. ?hey indiaate herc that from ne to 1986, 76 Percent of thg 206 bibliagmpltical references consulted on the topic carresponded to docwnents pepotd by the lCA, a tesümony to the Inst¿tute's tr¿ütiotul intercst in such thenes, Nevertheless, they pointed out thot the most system&tíc ond continuos experientes began sfter 19ffi and 1 1 drawing up of the first Natíonal Agricultuml Eeseorch Pla¿, with íts evohaatian insttuments and mechanísms.Later, in 1984,the Natioral Agrioulturcl Tlonsfer Plan was d,euelaped.Other ínportant hndma¡hs haue bee¡ the support prouüed from 1984 to 19E6 for superuision and evaluotion by the Agioultural Researchand Tlensler Subdirection at the Institute, par-t ol the desiín a.ndesta.blishnentof an integruting Planning system.

(3) AGRICULTURA.TECNOLOGIAY DESARROLLO. 243. As a ¡esult of such activitbs, as emphasízedby the authors in the secondpart of the articlp, there haue been d.euelopmentsof methods for the rcEistruüon, supervisio4 and,eualuation ol reseo.rchexPerimentsand projects; ¡ntegratior, of supervision ¡outines and eualuation of projects with er,temal funding, os th4t of the ICA-World, Bank for agricultural research; creaüon and insütutiorwli¿ation of the Project System; formub.üon of annual operutianal plans, and eualu.otionand reformulatinn of nstiona.l.researchand technologicaltransler plans, After descr¡bing son e other e*peiences wíth economí¡al proiect eualuation, methodological d.eDelapmpnts,and pmatícal applicatínns which haue contributed to ínstítutionolize the processat the ICA, the authors analyze and,propose seoeral basic citeria required for continuos atd systenotic superuisionand eualuati,onof agricuhurdl rcsearchon the part of ¡nst¡tutions. They present, in this regard, some of the foreseeable actiuities teed,ed,to strengthen this functbn and,eetend íts applicatian to other uork areaEuhí¿h are ¡elated,with the ICA, concluding with seueral reflections on the topic analyzed,ond ot¿ the hnou¿edgeobtained about researchevaluation as a prod,uct of actiuities caüied,out by the Inst¡tute in thís field,..

(4) 244. ANDRES RICARDO NOVOA IEDITOR). INTRODUCCION El propósito del documento es presentar la experiencia del ICA en el proceso de institucionalización pro€resiva de la función de Seguimientoy Evaluación (S y E) de la investigación agropecuaria, su evolución histórica, conceptualización, objetos de su acción, instrumentos, mecanismos, clientela, beneficiariosy la institucionalizaciónpropiamente dicha. DESEGIIIMIENTO Y EVALUACION ENELICA LA FUNCION Evolución histórica Si bien se señala explícitamente en los estatutos y otras normas reglamentarias de la entidad, la función de evaluación, su grado de cumplimiento es bajo en general en todas las dependencias,con muy pocasexcepciones.La ejecuciónde las actividades propias de la función es descoordinada,irregular , esporádicay coyrmtural en la mayoría de las veces. Su compoñamiento está estrechamente relacionado con variables propias de la actividad de planeación institucional, planeación sectorial y el proceso nacional de planeación, en ge neral . La necesidarlde instrumentar e institucionaliza¡ el sistema de planificación y la función de S y E ha sido compartida en mayor o menor grado por el sistema de dirección del ICA a través del tiempo. En una revisión histórica de la documentación reiacionadaen alguna forma con evaluación de la investigación en el periodo 1962-1986fueron consultadas 206 refe¡enciasbibüogáficas, de las cuales el 75 por cíento correspondenal ICA y el 18 por ciento ¡estante a entidades relacionadascon la investigación ag¡opecuaria en Colombia. Ciento veinticuatro de estas referencias, aproximadamente el 60.2 por ciento del total, se ¡efieren a la aplicación de la fi¡nción a objetos concretos, tales como realizaciones {33.27o);etapas,procesos,problemáticay recursosglobales y funcionesl2l.UVol; impacto ll9.íVol; resultadosll6.9Vol; y planes y programas (9.77o) . Fueron revisados 55 documentos metodológicosy 27 narrativos y descriptivos..

(5) AGRICULTURA, TECNOLOCIAY DESARROLLO. 245. la información, sus flujos y sistematización, es quizá uno de los factores que más han incidido en la función de evaluación. Por su misma naturaleza, la investigación utüza y genera volúunenesmasivos de información relativa a especies, disciplinas, áreas, subáreas y otros diversos aspectos. Sin embargo, el Instituto no ha creado las estructuras organizativas ni los mecanismosesencialespara el manejo apropiado de dicha información. A lo la¡go de los años se han dado mütiples iniciativas parcialesy aisladas,en diversoscampos y con continuidad va¡iada, que si bien representan esfuerzos valiosos, conlleva¡r el peligro de crear un sistema general desarticuladoy duplicacionesinnecesa¡ias. La evaluacióndel impacto económico seha realizado ocasional y puntualmente como producto de tesis de postgrado. la metodología empleadatanto para este tipo de evaluación como para la evaluación de realizaciones cubre parcialmente la gama de insumos, actividades e impactos de la investigación. las metodologias existentes son conceptualmente parcialese incompletas para efectosde evaluación sistemática. En la evaluación de impacto económico se considera el excedente global generado y a veces su distribución entre productores. Cuando éste es el caso se presentan limitaciones, puesto que no contemplan oferentes de factores. I.os estudios se basan metodológicamenteen funciones de producción, números indices y análisis multivariados. El enfoque de funciones de producción ofrece mayor información, pero su utilidad queda reducida a contar con especificaciones apropiadas para las fi¡nciones y a la disponibilidad de datos. Las evaluacionesde etapas, procesos,problemática, funcionesy recursosglobales no se realizan con unidad de criterios, coherentey sistemáticamente. I¡s estudios no son actualizados periódicamente con la dinámica de cambio de la realidad, objeto de la accióninstitucional. l¿ información que genera la evaluación de realizaciones de tipo presupuestal es de difícil manejo y publicación, lo cual, a su vez, dificulta su distribución y uso. La evaluación ex-ante de los proyectos de investigación no se ha institucionalizado, por lo cual muchos proyectos se ejecutan a nivel regional y local sin ser sometidos a este re-.

(6) 246. ANDR.ESRICARDO NOVOA (EDITOR). quisito formal. La evaluación de los recursos es llevada a cabo en forma irregular. La de los planes y programas constituye, con algunas excepciones,solamente una relación de los trabajos ejecutadosy los problemas operativos, con poca ¡eferencia a Io programado inicialmente y al impacto esperaoo. Las propuestasmetodológicasformuladas a fines de 1984 principios y de 1985han suscitadoreaccionesdiversas, especialmentelas referidasa la doctrinainstitucional,los marcos orientadores, la planeación operativa, la identificación y formulación de proyectos y la función de seguimiento y evaluación. Una critica genera.l a los informes de evaluación se na hechocon respectoa la terminologiautilizada, su extensión, el recargo en la conceptualización y la redacción, factores que hacen dificil su rápida comprensión. Además, Ios formatos o lbrmularios en los que se consigna la información básica del proyecto, en cuanto a programación, seguimiento y evaluación, deben ser simpüficados, tanto en el número de variables como en su descripción, especialmentela información relacionada con variables financieras, de ejecución del gasto y de tareas y actividades. El número de informes, su frecuencia y complejidad han sido también elementos de la crítica generalizada a los instrumentos y flujos de informaclón que reglamentarlan la función de segrrimientoy evalración. Se acepta, no obstant€, la necesidadde aplicar y evaiuar los instrumentos una vez se eliminen las objecionesplanteadas. Conceptualizacitin La formulación del Plan de Investigaciones Agropecuarias, PLANIA, en 1981, y del Plan de Transferencia Agropecuaria, PLANTRA, en lg&1, la elaboración de los marcos orientadores de los prograrnas por especieo disciplina, las propuestasconceptuales,metodológicasy normativas sobre el sistema de planificación-ejecuciónde la investigación, sus component€se instrumentos, asi como el ajuste progresivo conceptual y metodológico del plan y programas operativos.

(7) ACRICULTURA, TECNOLOGIA Y DESARROLLO. anuales, han permitido mediante aproximaciones sucesivas mejorar y fortalecer Ia conducción del proceso de planificación-ejecuciónde [a investigación agtopecuaria. Parte de este esfuerzoestá represehtadoen Ia conceptualizaciónque en los últimos años se ha venido proponiendo para los procesosde planificación-ejecución,y de anáüsis de polfticas, para la función de segrrimiento y evaluación y para su institucionalización. Se espera que esta función haga parte de las norrnas y mandatos institucionales. El seguimiento y la evaluación son funciones que corresponden a necesidadesdistintas pero estrechamente relacjonadas, por lo cual se consideran como una sola función. Unlcamente para fines de definición se consideran por separado. Del seguimiento. EI seguimiento es considerado un procesointerno con relación al instrumento de política respectivo y, por lo tanto, hace parte integral de su administración. Su utilización asegura la eficiencia en la ejecución de actividades, tareas y recursos; identifica "cuellos de botella" y permite aplicar oportunamente los correctivos necesarios. Aunque el seguimiento se inicia en el nivel de la ejecución de experimentos y otras actividades específicas de los proyectos, es utiüzado así mismo en todos los niveles de políti cas articulando recursos, actividades y productos. De la evaluación. La evaluación mide, compara y analüa si los productos alcanzadosson consistentes con los objetivos especificos o propósitos programados y si éstos lo son con el objetivo general. En esencia,permite determinar si se han alcanzado o se alcanzarán los productos, objetivos e impacto previsto del instrumento de política respectivo. Alcance de la funci<ín.El seguimiento y la evaluación se cumplen en diferentes niveles programáticos y espaciales. Se inician, sin embargo, a partir de los insumos, actividades y productos del proyecto. El Cuadro I esquematiza la función segrln la jerarquía de los objetivos y resultados finales; y el tipo de evaluaciónsegún el resultado final y el tiempo de ejecución de la evaluación. La función de S y E verifica si las hipótesis en cadena de un proyecto de investigación, u otra figura progtamática, se dan realmente b4jo los supuestosque determinan en mayor.

(8) ANDRES RICARDO NOVOA (EDITOR}. 248. É.8 9.9. 3. .o. ?. .E s-. -{€eE. ÉS E EE o o É áo .hF. g. <. A.6. o. .3É;E. ¡. f. ñ. .r,E c,,¡:. ar{. zo. ¡É. 3H. g. <Ec >6{ .o E E rt¡. 5. _*. X. E¡.. 'úaa O.it^t!. .9H{E IE¡IE{F. ooo.a. OF !. r¡ <la. e&. -*. ,EAAA.

(9) AGRICIiI,TURA, TECNOLOCIAY DESARROLLO. o menor grado el alcancede los resultados, efectos e impacto esperado, En el ICA la verificación y comprobación de las hipótesis va más allá del proyecto especifico. Cada uno de ellos debe mntribuir al lo€ro parcial o total de un objetivo especificode un progxama por especieo disciplina, y el conjunto de proyec'tosal logro del objetivo general. De igual manera, el alcancede los objetivos generales de los programas contribuirá parcial o totalmente al logro de los objetivos específicosde la investigación como un todo. Contexto. Dentro del proceso de planificación-ejecución de la investigación, la función de S y E se ubica en la etapa de cont¡ol/evaluación; pero su patrón de comparación o medida se establece en las etapas de formulación e instrumentación. A la vez que se utiliza información de la ejecu' ción de las etapas del proceso, genera información para la toma de decisionesen relación con dichas etapas. Objetos de la función S y E. En el proceso de analisis de politicas se señalan como objetos finales del seguimiento y evaluación las realizaciones, los resultados y el impacto del modelo instituciona.lcomo un todo y de cada uno de sus instrumentos: doctrina, planes, programas, proyectos, subproyectos y expenimentos.El ICA considera, sin embargo, que los instrumentos en sí, como también el proceso de planificación-ejecucióny sus etapas, son objeto de la función de S y E de la investigación agropecuaria, La evaluación de los instrumentos en si en su dimensión temporal ex-ante, tiene como objetivo final la consistencia externa e interna del respectivo instrumento. Esta evaluación se considera esencial para el alcancede las metas, propósitos y objetivos, y para la adecuada instrumentación y ejecuciónde Ia función de seguimiento y evaluación. Y MECANISMOS INSTRUMENI1OS En la década del ochenta, el ICA enma¡có la investigación y la transferencia de tecnologíaen el Plan Nacional de Investigación Agropecuaria, PLANIA, y en el Plan Nacio¡al de Tlansferencia de Tecnología Agtopecuaria, PLANTRA' res' pectivamente. Los planes fueron elaborados mediante una.

(10) 260. ANDRES RICARDONOVOA IEDTTORI. metodologíaque facilita su actualizaciónperiódica como respuesta a Ia dinámica del sector, a los avances en ciencia y tecnologia y al mismo seguimiento y evaluación de sus realizaciones,resultados e impacto. Plen Nacional de Investigación Agropecuaria, PLANIA Los principales objetivos generalesdel PLANIA son: 1) De. finir prioridades de investigación para ¡eÉrolverlos limitantes tecnológicosde los alimentos y materias primas correspondientes a especiesde origen animal y vegetal de mayor importancia socioeconómicapara el pals; 2) Formular proyectos de investigación y otros instrumentoe de orientación en el mediano plazo (perfodosquinquenalesI para cadÉespeciey disciplina, para cada región, subregión y zona de producción agropecuaria; 3) Contribuir al desarrollo y formulación de politicas de ciencias y tecnologia agropecuaria, y 4l Contribuir al cambio técnico agropecuario mediante la innovación tecnológica,para lograr aumentos de producción y productividad en el sectorpara bienestar del pueblo colombiano. El producto esperado del PLANIA consiste en lo siguiente: a) El plan global y planes individuales por región, subregión, microrregión; b I Programas nacionalespor esp€ciesagrlcolasy pecuariasy por las respectivasdisciplinas; c) Ca¡acterizaciónde proyectos segrlnla naturaleza de la invesügación, tipo de usuario y clase de investigación, básicaorientada o aplicada; d) Indicadores socioeconómicospara Ia evaluaciónex-ante; e) lndicadores de naturaleza de la prioridad, bioflsicos y de recursos para el seguimiento y evaluación. El PLANIA en su versión l98l se convirtió en un pro. g¡ama de gobierno, prioritario, y su ej€cución se oficializó eomo mandato en el Plan Nacional de Desarrollo; su ejecución fue autorizada mediante un pr,oyectode inversión por US$206 millones, con un préstamo por US$64 millones del Banco Mundial. Su ejecución se inició en 1984. La institución evalúa y reformula el PLANIA para otro perlodo de cinco años..

(11) AGRTCULTURA,TECNOLOGIAYDESARROI,LO. 26L. Plan Nacional de Tlansferencia de TecnologiaAgmpecuaria, PLANTRA Los principales objetivos generalesdel PLANTRA son: l) Divulgar ánte los diferentes ususrios del ICA los resul' tados de la tecnologla generadabajo el sistema de asignación de prioridades segrlnseanecesario;2) Propiciar una racionaIización en el uso de los recursos de las diferentes institu' ciones públicas y privadas que ejecutan labores de trans' ferenciade tecnologlaen Colombia; 3) Contribuir a la formulación y ejecución de pollticas sectoriales y a los planes de producción del gobierno, mediante un adecuado conocimiento tecnológico debidamente transferido a los pro' ductores. En cada proyecto del plan general se consigrranlas necesidadestecnológicascon solución en el ICA y aquella tecnología no solicitadapor los productorespero consideradaaplicable y útil por los técnicos. Las meüasseñalan los niveles de cubrimiento de usuarios, de tecnoloela, de producción y de productividad por alcanza¡en los cinco años de ejecución del Plan. En cada á¡ea de influencia se determinan los municipios de la subregión por cubrir con el proyecto. Como medios de comunicación por utilizar se sugieren aquellos que segrimel diag¡óstico fueron mencionadoscomo los más usados y más adecuados.Entre los posibles ejecutores se mencionan las instituciones que se encontraba¡rtrabajando en la especierespectiva cuando se hizo et diaenóstico. Cabe destacarque por la forma como fueron elaboradosy por la información que contienen, los proyectos del PLANTRA puedencompendiarsepor especieagropecuaria,por tipo de usuario, por subregión o región natural y por el nivel de prioridad que los mismos tienen a nivel de subregión o del pals. Esta organización resulüa de gran ayuda para la administración y coordiaación, para el seguimiento y evaluación de la transferencia de tecnologfa en Colombia. Sistemade proyec{os Si se tiene en cuenüaque el ICA ha definido el proyecto como unidad básica de planificación y programación, después de.

(12) 252. ANDRES RICARDONOVOA{EDITOR). varios años de esfuerzos, en 1982 fue institucionalizado el denominado Sistema de Proyectos (SIDEPI. Se partió de la base según la cua.lla asignación de prioridades, la formulación, ejecución,aruiüsisde resultados, y el análisis de impacto, son elementosfundamentales para llevar a cabo actividades de seguimiento y evalúación. Si bien la tarea se circrmscribe a proyectos, tiene un alcancemayor, ya que éstos pue den agruparse por región, subregión, producto, centro, programa, etc. El conjunto de proyectos configura planes institucionales que también son objeto de seguimiento y evaluación. Tan sólo en relación con la actividad de investigación, el PLANIA contiene un gran número de perfiles de proyectos, lo que refleja las aspiracionesque tiene la entidad en materia de actividades potenciales para realizar. Cuando sobre la base de t¡nas políticas gubernamentales e institucionales se va a ejecutar el PLANIA, con un total global asignado a la institución por un año o preferiblemente por perlodos de años, el SIDEP entra a jugar un papel preponderante regulando las aspiraciones totales, para da¡ entrada al total de proyectos que física, humana y económicamentesean posibles de realizar. Para lograr lo ante¡ior se dispone de una matriz de priorizacionesde proyectos, dinámica y modificable, segrln los lineamientos y politica de gobiemo, en la cual para cada proyecto se asigrran los punt4jes para los siguientes criterios: a) Politica nacional: seguridad alimentaria, erradicación de la pobreza, zonas de rehabilitación; b) Aspectos socioeconómicos: como los de comercio exterior, número de beneficiarios, incrementos en ingreso o producción; y c) Aspectostécnicos: relativos a factibilidad para alcanzar las metas, normalización de la producción y complejidad de la problemática. Como en la planeación de la investigación a mediano y largo plazo, la matriz conserva su continuidad plasmando en uno de sus ejes tres componentesglobales de política sectorial, los que son muy poco probables de modificar por los gobiernos; éstos son: seguridad alimentaria, mejoramiento del pequeño productor campesino, generación y sustitución de divisas. Hoy en día debe añadirse un cuarto componente.

(13) ! r :7.^V. AGRICULTURA,TECNOI,OOIAY DESARROLLO. 263. relacionadocon la "conservación del medio ambiente de una manera productiva". En el proceso de formulación del PLANIA se llevó a cabo una evaluación e¡-ante de Ia consistencia externa de cada uno de sus componentes incluyendo los perfiles de proyecto. El SIDEP provee los instrumentos y mecanismos para la posterior formulación de los proyectos {p¡otocolo), Ia evaluación ex-ante de su consistencia interna y los crit€rios de aprobación de proyectos no contemplados en el PLANIA y que surgen durante la ejecución. El SIDEP considera tres estados i¡nportantes en la vida de los proyectos, los que a su vez sirven para identifica¡ niveles de evaluación: proyectos formulados, de los que hay u¡a evaluación ex-an¿etanto biofísica como económica;ptoyectos en ejecución, de los cuales se hace seegimiento y evaluación en la marcha y, por ultimo, proyectos termi¡ados para evaluacionesex-post, tanto de resultados como de impacto (Figu¡a 1). T tr'IGURA NIVE.LES DEEVAI,UACION SISTEtrIADEPROYECTOS.. aa( ¿\ \\ 7¿\'z.

(14) 264. ANDRES RICARDO NOVOA (EDITOEI. En el procesode ejecuciónel SIDEP dispone de mecanismos e inSrumentos para obtener la información, haceda ci¡cular y establece¡ los estamentos responsablesde su analisis, tanüopara la ejecución como para la toma de decisiones. Asi por ejemplo, se cuenta con instructivos y formatos para la formr-¡laciónde perfiles y de proyectos (protocolof, resultado finai de la actividad, seguimiento de la ejecución de proyectosy resultado frnal del proyecto. La consolidaciónfinal a nivel de programas nacionalesy unidades de seguimiento y evaluación del nivel regional se hace en el lormato especifico para seguimiento consolidadopor especie, disciplina o área técnica. Las bondadescompletasdel SIDEP se medirán en el proceso de institucionalización progresiva. De antema-nopueden establecerselos principa.lesproductos esperados.Algunos de ellos han sido ya institucionalizados y se usan para efectos de "gerencia" o administ¡ación de la investigación, El Cuadro 2 muestra los productos del sistema desde que son establecidaslas prioridades, es formulado el proyecto y se continúa con el seguimienüohasta llegar a su evaluación, Se destaca que en esta última etapa se tendrá información para: a) conocer los log¡os finales; b) decidir si se continrla o Do con el proyecto o llnea de investigación; c) fo¡talecer Ia actividad obteniendo recursos cuyo uso tiene r¡¡ra rentabilidad socioeconómica;y d) divulgar y'promocionar no sólo los logros finales sino Ia actiüdad de investigación per se y retroa.limentar el sistema de priorización y formulación de pfoyecrcs,. Evaluacirinde impacto ex-ante y ex-Iro6t Dada la importancia que tienen las evaluaciones ex-ante y ex-post sobre el impacto socioeconómicode las inversiones en investigación, se ha considerado importante presentarlas como caaos de institucionalización en el proceso de investigación agFopecuariadel ICA..

(15) TECNOLOCIA Y DESARROLLO A,GBICULTURA,. 265. CUADRO2 DE PROYECTOS, SIDEP,DEL ICA PRODUCTOS DEL STSTEMA Función. hoducto. Priorüació¡. r'iñiiflrtes ter¡¡ológioos co! poca o ninguDa oferta de üecnologia y oon relevancia eocio€conómica. a. b. c. d. e,. formulaciln. Seguimiento. A¡chivo Archivo Archivo Archivo Archivo. d€ diagnóstico t€Gológico de perñles de proyectos formuladoe de acerr¡o potencial tec¡lotógico de necesidades de ¡ecurcos. a. I¡fomracón de supewisión b. InIo¡rnación de comités, coneejoe asesores y consultivos c. Infor¡rmió¡ de situación: -lnfor¡nes a nivel de ceD¿¡o,especie o disciplina. -Informe anual de actividades por centm, especie o disciplina, o área técnica y por regional. d. l¡formación de eficielcia de iasunos y actividad e. Info¡mación de alerta (¡€st¡icciones reales y pot€nci¿l€s ) f, Info¡mació¡ de logme ¡urcialee. Evaluación. a, I¡fom¡ación de lqgme finales b. Infotmación para decisiones sobre conti¡üdad c. I¡fomac¡ón pa¡a forialece¡ la sctiyidad d. Info¡mación pa¡a pmmover la actiüdad e. Información para retroaliEe¡iar l¡ prioridad de actiüüdes. Evaluecidnsocioeconómicaex-ante La evaluación socioeconómicaex-ante de las actividades, proyectos, programas y planes de investigación que se lleva.

(16) 256. ANDREg RICARDONOVOA {EDITOR). a cabo en el ICA, cumple loe siguientes objetivoe: a) demostrar la contribución de estas actividadesen la consecuciónde las metas gubemamentales expresadasen los planes de desarollo; b) seleccionary enfatizar lag actividades prioritarias desdeel punto de üsta institucional, económico,socialy tecnico; y c) descartar aquellas actividades que muest¡an un bajo impacto en la economíadel pais, de acuerdo con la contribución esperadaen términos de los indicadores económicosy sociales. Al nivel más agregado se usan tablas de valoración institucional, las cuales combinan los criterios de polfticas nacionales y criterios socioeconómicosy técnicos en rma tabla de doble entrada, con un sistema de puntajes ponderados, el cual permite obtener un orden prioritario de actividades, proyectos o p¡ogrrimas. Este sistema permite también comparar las ac"tividadesde investigación con otras que ejecuta el Instituto. En determinadas épocas, el ICA ha diseñado sistemas más forma.lespa¡a asi8¡a¡ prioridades a proyectosy prog¡a' mas de investigación, con el objeto de contribui¡ en la elaboración de algunos planes institucionales, talee como el PLA' NIA y el proyecto ICA-BIRF. Ejemplos de eetog sistemas son los que describeRomano {1987},quien combinó l¡ teorla de la utilidad, los grandes objetivos de la polftica agfcola y Ios planes de gobierno, además de varios aspectos socioeco' nómicos para luego producir un lndice que p€rmitió est¿' blece¡ un orden de prioridades para la investigEción en cul' tívos. Posterio¡tnente, el Instituto diseñó un sigtema de asignación de prioridades a los cultivos y especies animales teniendo en cuenta sus ventajas comparativas y Ia seguridad alimentaúa. En el nivel más concreto de los proyectos o perñles de proyectos de investigación se dispone también de sistemas que permiten captar ex-ante la importancia socioeconómic¿ de las contribucionesdel proyecto. Asl por ejemplo, los perfiles de proyectos para PLANIA 1989-1993,contienen la información pa¡a clasificarlos de acuerdo con el efecto económico esperado y también para calcula¡ su contribución económica.Para ello se usan indicadores cualitativos y cuantitativos del aumento de la produc{i-.

(17) AGRICULTURA,TECNOLOGIAY DESARROLLO. 257. vidad, aumento de la producción, generación de empleo, mejoramiento nutricional, ahorro d€ instrmos, generaciónde divisas, número de agricultores/ganaderos, y número de hectáreas/cabezasafectadas. Mediante el uso de las técnicas de evaluación financiera y económica de proyectos se estiman las tasas ínternas de retorno y demás indicadoresde bondad económica. Evaluacitin socioeconómicaex.post La Figura 2 señala el alcancegeneral de las accionesde seguimiento y evaluacióndel proyecto ICA-BIRF para la ejecución del PLANIA y de los productos institucionales que éste genere. Por intermedio del proyecto, con recursosde contrapartida y présüamoexterno se progra¡nan la adquisición y disponibílidad de los insumos financiados por fuente, los gastos operativosy los elementos de fndole física; se incluye además, como es la esencia misma del proyecto, el ¡ecurso humano incremental. Por medio del PLANIA v de la formulación del proyecto se programó una seriede aciividades propias de los procesos de generación de tecnologia y de difusión de la misma, para ser realizadas por intermedio de los diferentes programas de investigación que conforman el proyecto. Una vez establecidasla programación y las metas, el proyecto busca como primer objetivo fortalecer el proceso de gpneración de tecnologia o, en otras palabras, mejorar en cantidad y calidad Ia investigación. El objetivo es intermedio, pues más adelante en el sistema se encuentra un propósito más tangible, como producto del proyecto, que es el de rnejotar en cantidad, calidad y frecuencia la entrega dé resultadosde investigación. Con estosresultados se pretende poder cumplir el objetigeneral vo de fortalecer Ia investigación, mejorando la producción, Ia productividad y el uso eficiente de los recursos (insumos), para reducir los costosen el campo y en la postcosecha. Si Io anterior se logra, se podrá cumplir con otro objetivo general de mayor trascendencia, cual es lograr impact{ir.

(18) ANDNES RICARDO NOVOA IEDIToR). FIGI'IA 2 AI¡AI{CE GDNEBAI DE LAS ACIÍVIDADES DE SF,Grr$'mNTO Y FYAIIJACIOT INSUMOS- ACIIVTDADES lPlolfrrlacfttD y Met8e) OBJTIIVO IMIERMEDIO. PnoPosrl\o. EN CANIIDADY CAITME.'ORAMIENTO DAD DELDESANNOUÍ)DE Iá INVESNGACION.. EN CANI'IDAD. CAU. ME¡ONAM'ETüTO DE EI*rNEGADE DAI' Y Í'BECT'ENCTA DE¡¡i¡VESflGACION, RESI'LTADOS. OBJEfIVO GENERAI. ME¡O¡A}IIEI¡IO DE LA PTODU@ION Y PRODUCITYIDADY DEL USO EfIC'IE TE DE trECI,¡ESOSPAFA REDUCI¡ COS'¡OS DE PRODUCCION.. oE Efrvo GENERAL. SOTRE IMPAC¡o DE LA TNVESTTGAC¡ON DEL EL DESAtrROI,rcY PRODUCCION SECIORAGNOPECUAruO.. OBJBÍIVO GENERAI.. IMPACToINSI{TÜCIONAL{DELICA) SODELSECIOA, BREIA TECNIFICA€ION. OBJEfIvO GENERAL. IMPAC¡O O EFECTODEI SECTORAGRG TECUAXIOEN LA E@NOMIA DEL PAIS.

(19) AGRICULTURA,TECNOIOGIA Y DESARROLLO. 259. positivamente con el cambio técnico el desarrollo y la producción agropecuaria nacional. Adernás, el propósito debe corresponder a la confianza y recursos depositados por el país en la labor de la institución, lo que plantea el objetivo general de producir un impacto institucional, o sea el efecto de la tecnologia del ICA sobre el sector ag¡opecua¡io del pais. Con fines aún más ambiciosos, el proyecto persigue contribuir para que el sector agropecuario afecte positivamente la economíadel pais. La eva.luacióneconómicaex-post es una actividad fundamental como instrumento de planeación en cualquier institución de investigación. Sin embargo, ponerla en operación es r¡na tarea muy compleja, dado el carácter de bien público que tienen los productos o tecnologias generadas; es decir, que benefician a la sociedadpero no generan retorno financiero direcüopa¡a la institución que los ha desa¡rollado. Po¡ otro lado, los efec.tosde la transferencia de conocimientos hacen aún más compleja esta tarea, puesto que es difícil establecercuál es la proporción de los méritos que debe ser atribuida a una determinada institución. También existen enormes dificultades ¡espectoa la cuantificación de los costos de la investigación, especialmente cuando el producto resulta de un proyecto de investigación que ha tenido la participación de otras instituciones o está basadoen tecnologia generadaen otro país. En el desa¡rollo del sistema de evaluación del proyecto ICA-BIRF no se desconocióla existencia de esta gran complejidad en la cuantificaciónde los costosy beneficios. Por el contrario, se buscó montar urr sistema en el que los diferentes factoresinfluyentes en los procesosde generación,transferencia y adopción fuesen debidamente identificados y analizados. Con esto se espera minimizar los errores de subestimación o de sobreestimación,tan frecuentes en evaluacionesde proyectosde inversión de esta natu¡aleza. EI sistema diseñado para .la evaluación de impacto del préstamo co¡ el Banco Mundial estuv<¡basado en la experiencia de EMBRAPA, en la adquirida con evaluación de proyectos similares con el BID y el pmpio BIRF, y en Ias caracterfgtic¿s del Instituto Colombiáno Agropecuario. Dicno sistema deberá permitü al equipo involuc¡ado en Ia evalua..

(20) 2ú. ANDRES RICARDO NOVOA(EDITOR). ción analizar los impactos sociales y económicos del Proyec' to, tanto desde el punto de üsta de la eficiencia económica (rentabilidad de la inversión realizada) como de la equidad (distribución de los beneficios). Para alcanzar el objetivo gene¡al establecido, el sistema prevé la ejecución de un conjunto articulado y secuencialde actividades y estudios durante el periodo 1988-1992'dentro de los cuales destacanlos siguientes (Figu¡a 3): a) Inventario tecnológico de los "productos" del proyecto; bl Analisis económico (potencial y real) de estos "productos"; c ) Análisis del entorno socioeconómicodel proyecto (indicadores macroeconómicosy sectoriales); d) Análisis de las poXticasgu.bernamentales(macroeconómicas y agrímlas| y sus relacionescon el ICA y el préstamo; e) Análisis de los procesos de generación, transferencia y adopciónde tecnología; f) Estimación del flujo de costosy beneficios del proyecto y de la tasa inte¡na de retorno; g) Análisis de la distrÍbución de los beneficios generados;y h) Análisi" de los beneficios indirectos o no cuantificables del préstamo. Se esperaque este sistema, además de cumpür los objetivos frente al Banco Mundial, si¡va como base para que el fCA continúe el proceso de institucionalización de la evaluación en lo referente al impacto socioeconómicode las actividades de investigación y transferencia, La experiencia ha mostrado que los beneficios de este proceso de evaluación permanente, en los dive¡sos niveles institucionales, superan considerablementelos costos. La existencia de un sistema permanente de evaluaciónde impacto permitirá al Instituto rendir cuentas periódicamente, de las inversionesrealizadas,a una determinada fuente de financiación o al gobierno, asi como ahanzar su prestigio a fin de que el gobiemo y el sector puedan encornendarlenuevos desafíos. Por último, e.lsistema permitirá que el ICA informe permanentemente a la sociedad colombiana acerca del grado de eficiencia en el manejo y la equrdad en la distr! bución de los recursos públicos invertidos en investigación y.

(21) AGRICI'LTURA, TECNOLOGIAY DESARROLIO. NOIÍ)VCIJSÍIü V't Íc NorcvtNr"-rdsq os¡coüd. eE¡i. €fiF¡ <.E b{ -t. ü € ¡. sEc !*$. Í¡i. g. ef;.s '9ü¡r. t¡. .E€E ¡É{. z r¡¡. f;E{ '5. i;s g$ÉÉ ,. ;! a6 <. rBF<. R a. Er. c) ¿ !l 2. EÉEÉ. ? r¡l. s> = r¡l a) aD ha. vclcorloñcÍJ. NOTCVUSNSC sq Oescoud.

(22) 262. ANDRES RICARDONOVOA {EDITORI. transferencia tecnológica pa¡a desarrollo del sector agrario dei pais. Revisirinexterna de programae Luego de cinco años de ejecución del PLANIA, el ICA ha decidido realizar Ia revisión externa de los programas, teniendo como base los resultados de la evaluación de su primera etapa y formulación del peiodo 1989.1993. La evalución externa de los programas es conducida por especialistasnacionalesy extranjeros, ajenoe al ICA, selec' cionadosentre grupos de científicos investigadores y profesionales en ejercicio particular y de reconocido prestigio en sus áreasde competencia. Dado el gran número de programas involucrados, es necesarioconformar grupos que tengan cierto grado de afinidad, de manera que un solo equipo de eva.luadorespueda realizar la tarea para cada grupo de programas en el plazo prevrsto. El primer aspectoen la evaluación es la definición de su ámbito, de tal manera que permita a los evaluadoresconocer con precisión y claridad el objeto de análisis. Para ello se han eiaborado unos términos de referencia que definen con precisiónlos logrosesperados. Los objetivos especificosde la evaluación externa son los siguientes: a) suministrar al gobierno de Colombia, al ICA y al Banco Mundial un análisis de las actividades de investigación del lCA, actuales y propuestas, en las áreas específicas de los progtamas objeto de la reüsión; b) hacer recomendaciones que sirvan para fortalecer la investigación y la difusión de resuitadosen cada una de las áreas de los programas o grupos de programas, teniendo como marco de referencia las propuestas del ICA en Ia actualización del PLANIA; y c) ayudar a desarrollar una capacidad de evaluación propia del ICA, para incorporarla en sus procesos normales de funcionamiento institucional. Con más exactitud, la revisión se concretará a examina¡ los procesosde fijación de prioridades y formulación de proeramas en contraste con las metas de desarrollo nacional y la.

(23) AGRICULTURA,TECNOLOCIAY DESARROLLO. disponibilidad de recursos; evaluar el contenido de los programas o grupos de ellos; valo¡ar el impacto socioeconómico de los programas propuestos; examinar la efectividad del enlace de los p¡og¡amas con los planificadores, los científicos, el personal de difusión y los productores, todo ello dentro y fuera del ICA, y proponer las recomendacionesapropiadas en cuanto a la planeación del programa, su instrumentación y la difusión de tecnoloSla para los próximos cinco años, en términos de las metas nacionalesy las necesidad€s de los productores.. Evaluacftinde la eficiencia de proyectos La concepcióndel PLANIA y su poeterior ejecución por intermedio del Proyecto I de invesüigacióny extensión con el Banco Mundial tiene un profundo eentido socioeconómico, al buscar contribuir a la revitaliaación agropecuaria por medío del aumento en la producción y productividad y, en general, por el mejoramiento de la tecnificación del aero. EI desarrollo del proyecto ICA-BIRF para ejecutar el PLANIA, como seIe conocedentro de la institución, en lo referido a metas de programacióny accionesde seguimiento y evaluación, no se reduce tan solo a aspectosfísicosy financieros; por el contrario, tiene un a.lto componente relacionado con el recurso humano y el apoyo técnico a la investigación. El seguizriento en relacidn con la eficiencia de proyectos. El proceso que debe seguirse consiste en la definición de va¡iables y su posterior análisis que permita la construcción de series históricas para varios casoÉl,oon el fin de aportar suficientes elementos a la evaluación. El seguimiento es importante en primera instancia a nivel de di¡ectivas, de tal manera que comenzariapor desarrollar un sistema de información gerencial que permita @nocer las ca¡acteristicas generales del proyecto. En segundo lugar, el seguimiento debe ser ta¡ea de los otros niveles je¡arquicos para asegurar el cumplimiento de metas y hacer correccionessobre la marcha, en relación con los posibleo desfaseee imponderables que se encuentren..

(24) 2U. ANDRES RICARDONOVOA IEDITOR). Ins conceptosanteriores se tuvieron en cuenta para establece¡ los indicado¡es de seguimiento correspondientes al ProyectoICA-BIRF con el Banco Mundial. La idea inicial fue definir variables y relaciones utilizables como instrumentos de evaiuación. Para esto se dete¡mina¡on grupos de indicadores sobre las principales va¡iables (financieras, fisicas, de recursos humanos y técnicas) relacionadascon los insumos del proyecto y con el producto del mismo; es decir, con los resultados de la investigación. En consecuencia,los indicadores de insumos serán relacionados con el producto de la investigación. En conclusión, el fin primordial del sistema de segui miento, en lo que correspondea Ios indicadores, es comp¡obar el desarrollo de los insumos del Proyecto I de Investigación y Extensión, dentro de cada uno de los programas que comprende la organización de la Subgerencia de Investigación y Tla¡sferencia del l¡stituto. Seguimiento de la eficiencia del proyeeto ICA-BIRF. Ios indicadores de seguimiento mencionados fueron obtenidos para el proyecto en sus cuatro años de ejecución (f984-1987) y para todos los programas del Instituto, tomando como base 1982(año "0" del proyecto). Es decir, se tomó la relación de cada año de ejecución del p¡oyecto para una variable específica de cualquiera de los grupos mencionados (fisico, financiero, de recursos humanos) y se obtuvo una tasa de crecimiento cuya interpretación y analisis aporta elementos de juicio sobre el desarrollo de cada variable observada y su influencia en el proyecto. Los indicadoresno son solarnenterelaciones simples formadas por dos elernentos; en su cálculo utilizan relaciones compuestas,que ademástienen una interpretación especlfica para cada caso. Otro aspecto importante es haber producido indicadores para los programas sino también para los centros de sólo no investigación, lo cual, dada Ia estructura organizacional del Instituto, permite da¡ una idea del desarrollo de los centros como organismos de apoyo al procesode investigación de los programas. Puesto que al calcular los indicadores para todos los programas en los que trabaja el Instituto se obtienen mat¡ices.

(25) //¡:€. 26. AGRICIJLTURA,TECNOLOGIAY DESARROLLO. de más de 400 elementos, se hizo necesario seleccionar variables. Es decir, ya no se toman todos los programas sino las dívisiones que los agrupan, Io cual reduce la cantidad de datos observadosen un alto porcentqje, conservando aún la participación de los programas en el interior de c¿da división. Concretamente,al considerar la relación entre el valor de cada año observadoy el a.ñobase en rma variable determinada, se obtiene una tasa de crecimiento que en términos generales define el desarrollo de un programa para un indicador concreto. Si la relación obtenida es mayor que uno, muestra que hay crecimiento en el indicador observado; en el casocontrario (menor que la unidadl se puede afirmar que hay disminución. Para evitar distorsión monetaria, en los indicadores financieros se deflactaron los datos inicíales tomando como base 1982; las inversiones y los gastos genera.lesse deflactaron por el indice de precios implicitos en el sector agropecuario y los gastos personales se deflactaron por el indice de precios al consumidor, lo cual garantiza que el indicador obtenido se relaciona estrechamentecon la realidad. Al aplicar los pasos descritos, se obtiene información como la que se muestra en el Cuaüo 3, el cual resume todos los indicadores calculados.Con respectoa los indicadores de recursos humanos y financieros se encontró que en general son más altos los indicadores de programas para las variables relacionadas con recursos humanos, excepto para el indicador "profesional especializado" a partir de 1985, lo cual señala que comparativamentehan ine¡esado más profesiona.lesespecializadoscomo apoyo logístico a los centros. En cua¡to a indicadores financieros, los de inversiones en los centros son altísimos (90.27, 149.01y 290.70 entre 1984y 1986)y evidencian el fuerte apoyo financiero proveniente del ProyectoICA-BIRF. En los indicadores compuestos,los prograrnas tienen en general los valores más altos, con algunas excepciones,entre ellas la capacidadoperativa total: Gastos operativos totales. Toán"p**"*. '. debido a que en centros y estacioneslos profesionalesy el.

(26) 266. ANDRDS RICARDO NOVOA (EDITOR). CUADRO3 INSTTru¡O COTOMBIANOAGROPECUARIO SUBGER¡NCIADE INVESTIGACIONY TRANSFERENCIA RESUMENDE INDICADORESDE PBOGRESO DEL PNOYECIOICA.BIRF 2303-CO 196,t- 198? ¡¡dh¡dd. Ou.rüa. hdicldo6. Obte¡¡d@. CLe&. r98r. rm5. r98?. rÉ6. ra?. rsa. r!e5. t9E6. 196?. 1962 rgc2. tw. 198¿. 198¿. 1982. l9€¿. I A l.¡1 1.35 l . a t 1 16 ¡.t9 ].66 2,61 | & l-30 5.95 1,t.66 1 . 3 6 l.66. 1.12 l.a€ 1.D 2.74 l.,l¡l. Gi!üo! oFeEtirro lotute8. 1.23 1.19 r.D t.n 1,89 0.74 1.48. G.ro.. e@.1€!/profesi'n.t€.. t.12 la. ].t6 L. 1,81 |.74. l.8a L. 1.30 1.64. 1,60. l,t3. |.77. r.E8. Gdlc. ofer8ri@. t,20. ¡.03. 0.96. tm. M¿do'tJ. srp€¡¿rir¡do. l.8a. l.m 1 2 9 I t7 r.@ l os l_09 o.ae l.fr t42 t,€E t.42 1,4€ 1.21 I ll L.20 s_tt 1490l 2S.?0 l_it¡) I.t1 125. 1.r? 1.09 150 1.90 1,11. 1.28 I f0. t,21 r27. |,72 1.62. 166. 185. 1.36. 1 75. 1.2E. 1.11. 1.15. I 16. t,26. |o|!le!/. r Los rñ¡ü.¡@3 Fiwlers! F @&!rüü €n péó6 cñ-i**, lS2 =100, t s g!süo! Aere.rter 6 ir_ vstrion€. e.ltn défl.ct¡dos po¡ el Indi@ de ft€cio. ldplciios 6 et Seci¡¡ Asrcpe.ldio r los c.st6 PE¡dElés Fr el lDdie de PÉdo6 d Con.unidór (€ophádo.) .. I¡! ¡DvdrioD6 pcE 196? ¡|l¡ D é!tá¡ dürari6ü.d¡. por pnrar!tu.. pe¡sonal de apoyo administrativo tjenen indic¿dores bajos, luego es mayor proporcionalmente el incremento anual en gastos operativos totales que en eI total de personas. Durante estos últimos cuatro años el Instituto y particularmente la Subgerenciade Investigación han tenido un buen desarrollo, superior al año base, desarrollo eüdeneiado por el crecimiento que presentan en general todos los indicadores, De lo anterior se infie¡e la importancia del seguimiento en la evaluación y, dentro de éste, de los indicadores desarrollados, los que están relacionadoscon el objetivo general del Instituto, cual es fortalecer la investigación. Un aspecto positivo del seguimiento es la posibilidad de articular el trabqio desa¡rollado en indicadores con el producto instituciona.l..

(27) ¡¡téLJCfL, C,1 o..., ttt-'lt toR't o ¡ c- . ..l- - l ".-. lj ¿.i,. TECNOLOGIA Y DESARROLLO AGRICULTURA,. 267. DELSEGIIIMIEMOY LA EVAIUACION INS'ITTUCIONAUZACION Conceptualizaciónde la institucionalización Institucionalizar una actividad o enfoque implica establecer una conductao comportamiento que regule una acción. Para ello se pueden utilizar mecanismos inductivos y otros que implican aprendizaje, desarro.llode destrezas y hasta creación de estructuras organizaciona.les. La institucionalizacióndel seguimiento y evaluacióndebe üeneren cuenta su utilidad e importancia y las posibilidades para que estas funciones sean puestas en práctica y satisfagan las necesidadesde información de quienes toman decisiones. En una entidad de investigación no debiera ser tan üfícil institucionalizar la evaluación, ya que la misma en muchas oportunidades utiliza métodos de investigación para recofectar y analizar información. En varias oportunidades se usa el término de investigación de evaluación para connotar la afinidad que existe entre estos dos procesos. Sin embargo, la evaluaciónse diferencia de la investigación básica en los propósitos para los cuales se obtiene y acumula información. La primera se lleva a cabo para obtener nuevos conocimientos,probar teorias y para generalizar en el tiempo y el espacio.La segunda, o sea la evaluación, se lleva a cabo para informar decisiones, aclarar alternativas, reducir incertidumbres y dar información a individuos y programas bajo criterios limites de tiempo y espacio, Se considera que la institucionalización del seguimiento y evaluación de la investigación, en una entidad como el ICA, impüca considerar una variada gama de instrumentos alternativos o complementarios. En primer lugar se considera importante hacer explícita esta actividad como cualquiera otra en el insÉituto de investi gación. Asi como se diseñan programas, se ejecutan y se obtienen resultados de investigación, así también se siguen y evalúan estas actiüdades, los insumos utilizados, los productos y su impacto. En las decisiones de institucionalización juegan un papel importante los individuos, y sobre todo quienes tienen liderazgo, para mostrar una actitud positiva.

(28) 2@. ANDRES RICARDONOVOA ÍEDITORI. hacia el seguimiento y la evaluación, trá¡smitirla a sus compañeroso subalternosy, hasta donde seaposible, convertirla en algo natural dentro del procesode investigación. En segundo lugar es necesa¡io que las actividades sean realizadas con el concepto y el enfoque por el cual las mismas serán sometidas a un proceso de seguimiento y evaluación; esto implica que explicitamente se diseñen planes, proyectos y estrategias y se ejecuten actividades a sabiendas que gene¡an información que será utilizada para diversos propósitos,entre ellos,para evaluación. En tercer lugar se pueden utilizar estrategias de obligatoriedad, como seria especificar en los estatutos de la entidad, en las funcionesde las unidadesde trabajo o en la descripción de los cargos de los individuos, que deben realizar tareasde seguimientoy evaluación. En cua¡to lugar, formalizar en la estructura orgá'nicade Ia institución una o varias unidades de seguimiento y evaluación, segrin el interés sea de carácter nacional, regional, o ambos,y por sector o subsector. Si bien dicha unidad puede tener un rango jerárquico importante, su función corresponde más a actividadesde asesoriaque de ejecucióny mando. En quinto lugar, incluir la evaluación directamente en un programa, proyecto o actividad de investigación o de apoyo operativo a este proceso. En este sentido, el proyecto conlleva, como una de sus fases de ejecución, el seguimiento y la evaluación, para ello se establecen metas, indicadores, verificadoresy metodologíapara desarrollar dichas actividades. Con el fin de institucionaliza¡ la evaluación se recohienda eJ uso de todos los mecanismos o instrumentos planteados, en mayor o menor proporción según las circunstancias, ya que ellos pueden considerarse como integrables y complementarios. Pero ante todo, el éxito en el proceso de institucionaüzación de .laevaluación se¡á medido por el gr.adode uüilización que de la misma se haga, bien para mejorar el desarrollo y ejecución de los proyectos, como sería el caso de la evaluación formativa, o para tomar decisiones; eutre ellas, si un proyecto debe o no continuar y a qué nivel, como es el caso de la evajuaciónsuma¿iva..

(29) AGRICI']-TURA, TECNOLOGIA Y DESARROLLO. 249. MECANISMOS DEINSTITUCIONAUZACION En la sección anterior se analizaron en forma somera algunos conceptosque sirven de base para el proceso de institucionalización de la evaluación de la investigación, Para el casodel ICA, se consideraque ademásde una actitud y comportamiento positivo y favorable a la evaluación, de modo que ésta ocurra naturalmente como parte de las actividades de la institución, se dispone de los siguientes mecanismoso instrumentos: La evaluacióncomo función estatutaria Según los estatutos y decretos que normatüan la organización del ICA, la evaluación global de políticas, planes yprogramas institucionales corresponde aI Comité de Gerencia. La evaluación global del impacto de las actividades del ICA en el sector es función de la Oficina de Planeación, asi como la evaluación de proyectos y actividades provenientes de empréstitos externos. El proyecto financiado en años anteriores por el BID, el que se ejecuta actualmente con la financiación del Banco Mundial y el Programa ICA-USDA de Sanidad Animal son evaluados por oficinas coordinadoras organizadas para tal fin, como requisito sugerido por las entidades financieras. En cuanüoa la actividad técnica, corresponde a la Subge¡encia de Investigación y TYansferenciaAgropecua¡ia evaIua¡ las limitaciones tecnológicas y los factores de producción globales por especiey área ecológica, así como evaluar las actividades que ejecutan las diüsiones, la Oficina Coordinadora ICA-BIRF y las direcciones regionales de investigación. Las direccionesde división y de los programas y proyectos eva.lúa¡rlos progtamas, proyectos y activjdades, respectivamente. De politicas y planificación En cuanto a la formulación de políticas y planes de investigación, se cuenta con meca¡ismos para seguimiento y evalua-.

(30) 27O. ANDRES RICARDO NOVOA IEDITOR}. ción, tales como: los planes institucionales PLANIA y PLANTRA, en cuyo diseño y iormulación la fase de evaluación es parte integral; en el desarrollo de aetividades de investigación y transferenciabajo el conceptode planificaciónejecución; el Sistema de Proyectos, que incluye en forma expücita la actividad de seguimiento y evaluación; la formulación de proyectos, en donde se incluyen indicadores que penniten tanto evaluación ex-ante y ex-post, como facjlitar el seguimiento y evaluación sobre la ma¡cha de los mismos y, finalmente, las revisiones externas de los pro gramas de investigación.. De estructuras or ganizativas Dentro de la o¡ganización de la entidad existen varias áreas de trabqjo, u¡idades o depa¡tamentos que estámefectuando actividadesde evaluación, actualmenteen un procesode fortalecimiento. Se tiene la Oficina Coordinadora del Proyecto ICA-BIRF, como apoyo a la dirección general de investigación, la cual es responsablede la evaluación de impacto. Su üareaactual es el proyecto ya referido; pero será la r¡nidad que permita continuar esta actiüdad como parte nacional del proceso de planificación y administración de la investigación. Existe ademÉrsel Programa de'Economia Agtaria para la evaluación socioeconómicade los resr¡ltados de investigación. Para evalua¡ el cumplimienüo de objetivos y metas y la eficacia, se dispone de la Unidad de Evaluación de la Oficina de Planeación,localizada fuera de la Subgere¡cia de lnvestigación y bqjo el mando de la Ge¡encia General de la institución. En relación con el seeuimiento y evaluación de los insumos aportadosal pnocesode investigación (humanos, fisicos y financierosl, también es realizado por la Oficina del Proyecto ICA-BIRF, con mi¡as a que una vea concluido el pro yecto se conüerta en una unidad de apoyo especializadaen programación y evaluación para la dirección de investigación..

(31) ACNICULTURA. TECNOI,OGIAY DDSARROLLO De formación. de personal. Permanentementese evalúan Ia capacitaciónformal y no formal que se realiza en aspectosde planificación, dirección y administración de proyectos y programas o de entidades de investigación. De articulación con el medio externo Se cuenta con mecanismosde evaluación tales como:.consejos asesoresde los centros nacionales y regionales de investigación; consejosconsultivos de los CRECED (1), los que tienen influencia local a nivel de ünidades de investigación y consejos asesoresde las divisiones, compuestos por los diferentes programas de investigación por especies y productos.. De desarrollo y ejecueiónde la investigación Se realizan reuniones anuales o bianuales de los programas de investigación; actividades de coor¡linación y supervisión de los directores de programa, líderes de proyecto o líderes de grupo multidisciplinario; revisiones externaa de los programas de investigación como un todo o de aspectospu¡tuales, por medio de consultores,y comités de evaluación para el lanzamiento de nuevas tecnologíasbiológicas, fi sico-mecánicas o socioeconómicas. De cooperacióntécnica Una buena parte de los proyectos de investigación se realiza luego de previa concertación con otras entidades públicas, privadas, nacionales e internacionales. La ejecución de dichos proyectos está amparada por un convenio, contrato o 1. CRECED: Centro Regional de Ext€nsión, Educación y Difusión Agropecua¡ia,.

(32) 272. ANDRESRICARDONOVOA(EDITOR). carta de entendimiento, el cual compromete a las partes a un seeuimiento y evaluación de las actividades producto de la cooperación. Producciónde medios para entrega de resultados Se producen y distribuyen informes de progreso y finales para uso dentro y fuera de la institución; los resultados se divulgan por medios escritos y audiovisuales, y se realizan actividadesgeneralesde información y promoción institucional, como dlas de campo, semina¡ios, cursos, boletines de prensa, videos, audiovisuales,sonovisos,etcétera. De ent¡ega del producto institucional La institución, como cualquier otra y sea cual fuere su naturaleza, al entregar sus produc'tos a sus usuarios permite, quizás de una manera no forma.lpero si concreta y práctica, la evaluación de sus actividades de investigaeión. Esto ocurre cuando se entrega un genotipo superior de plantas o animales, una recomendación, una metodología o técnica de trabajo, etc. Ia receptividad del público y el grado de adopción de dichos productos son en parte una medida para evalua¡ la investigación. DELOSDTVERSOS MECAMSMOS ARTICULACION Si bien el ICA dispone de múltiples mecanismos e instrumentos de evaluación de la investigación, el reto más fuerte es saber a¡ticular los mismos, ordenarlos apropiadamente y log¡ar que produzcan información que sea luego utilizada realmente por quienes están interesados en los programas y su evolución y tengan que tomar decisiones con respecto a su orientación y su futu¡o. Desde el punto de vista de los mecanismos de politica y de los planes y programas, el ICA tiene instrumentos que están articulando progresiva y eficientemente unos y otros..

(33) AGRICULTURA, TECNOLOGIAYDESARROLLO. 273. Se espera que antes de iniciar la décadadel g0 se encuentren totalmente institucionalizados y, lo qüe es más importante, en ejecucióntotal. Otro mecanismo formal para institucionalizar la evaluación es la estructura organizativa de la entidad. Si bien es cierto que el proceso de seguimiento y evaluación debe darse prácticamente en todos los niveles de la institución, sin que necesariameDtese creen unidades jerrírquicas, también lo es, para el caso del ICA, que debe profundizarse más al respectoy responsabilizarseconcretamentea ciertas deoendenciasque de hechotienen esasfunciones pero no las cumplen en su totalidad. En el caso concretodel área de investigación, como ya se mencionó, se crea¡ía en la dirección de investigación una unidad de ca¡ácter asesorcuya denominación podría ser Oficina de Programación, Seguimiento y Evaluación (OpSE); ésúapodría originarse en Ia actual Oficina ICA-BIRF. Para el casoen discusión, su principal tarea seria a nivel de proyectos terminados para evaluar su impacbosocioeconómico.El programa, departarnentoo división de economíaagraria tendúa como una de sus funciones Ia evaluación económica de los resultados de investigación. Esta actiüdad se puede realizar a nivel de economísta del centro experimental y de acuerdocon la actualizacióndel proyecto; también a nivel de grupo central o nacional. Es imprescindible el enlace entre esta dependenciay la de programacíón y evaluación; a.lfin y al cabo hay retroalimentación entre ellas y en muchas oportrmidades pueden ar¡naresfuerzos. Otras evaluacionesde realizacionesy resultados de índole biofísica encuentran cabida en las diversas unidades o dependenciassegún la estructura organizacional. Se destaca el SIDEP, que de hecho configura su propio sistema de segu.imientoy evaluación.Tal como está organizadohoy en día el ICA, esta tarea la cumple la Oficina de Planeaciónpor ser el Instituto no especializado,o sea plurifuncional. Sin embargo, esta oficina debe considerar como suya la información del sistema de proyectos, para manejarla y arregiarla en función de la toma de decisionestécnico.cientlficas v de administración de la investigación por parte de la dirécción..

(34) 214. ANDRES RICARDO NOVOA (EDITOR}. NESUMEN Y CONCLUSIONES. El seguimiento a la ejecución de Ia politica institucional y la evaluación de sus resultados e impacto, constituyen funciones fundamentales para la toma de decisiones oportunas en la conducción del proceso de planificación-ejecución de la investigación agropecuaria. Razónesta por la cual el sistema de dirección del ICA ha compartido a través del tiempo la necesidad de conceptualizar, instrumentar e institucionalizar la función de seguimiento y evaluación, Prueba de ello han sido los esfuerzosmetodológicosy las evaluacionesrealizadas, asi como la institucionalización pro8resiva de mecanismos, normas e instrumentos para el seguimiento y evaluación. A parüir de 1980 se ejecutan acciones que han permitido crea¡ el contexto adecuadopara el diseño, instrumentación e institucionalización procresiva de Ia fi¡nción de seguimiento y evaluación en el ICA. El hecho más trascendental fue la formulación en 1981del primer Plan de Investigación Agropecuaria, PLANIA, que fue incluido en el PIan Nacional de Desarrollo Económicocomo un instrumento de politica para la investigación agropecuaria. Posteriorrnent¿,en 1984, fue formulado el Plan Nacional de Ítansferencia Agropecuaria, PLANTRA, que está en prrceso de institucionalizarae como instrumento de política pero que representa el esfuerzo rfrás serio y elaborado de articulacíón de la investigación y difusión de la tecnología. A finales de 1984 y hasta el primer semestre de 1986,Ia Subgerencia de Investigación y llansferencia Agropecua¡ia, por medio de la Oficina Coordinadora del ProyectoICA-Banco Mundial, apoyó decididamente el diseño e instrumentación de la función de seguimiento y evaluación,dentro del mejoramiento integral del proceso de planificación-ejecucióny del sistema de planificación como un todo. Resultadode esta acción fueron las propuestas conceptuales, metodológicasy normativas dentro del procesode planificación-ejecución, sus componentes e instrumentos y el ajuste de las metodologfas y procedimientoE pa¡a Ia formulación de los planes y progxamas operativos anuales. A mediados de 198á las divisiones y p¡ogramas de investiga-.

(35) AGRICULTURA, TECNOLOCIAY DESARROLLO. ción elaboraron una primera aproximación a la formulación de sus respectivos marcos orientadores de mediano plazo. En el segundo semestre de 1986 la División de Apoyo Técnico de la Subgerencia de Investigación y Transferencia Agropecuaria propuso una metodología para el registro, seguimiento y evaluación de experimentos y proyectos de evaluación con formatos codificados para sistematizar la información. Simultáneamente, la Oficina Coordinadora del ProyectoICA-Banco Mundial integró a la rutina de su trabajo el uso de formularios codificados para el registro de proyectos de investigación, seguirnientoy evaluación de actividades del proyecto. La propuesta de la subgerencia fue acogida y mejorada por la GerenciaGeneral,que la institucionalüó por medio de la Oficina de Planeación,crea¡do el Sisrema de Proyectos.El sistema establecelas basespara la evaluación ex-ante de proyectos, como unidades básicasde programación y asi€¡ación de recu¡sos y provee los procedimientos, va¡iables e indicadores para el seguirniento y evaluación de realizaciones,resultados e impacto. En la formulación del Plan Operativo Anual para l98Z se utilizaron los formula¡ios codificadospara el registro de proyectos y actividades, lo que permitió consolida¡ la información por programas regionales de investigación y de los centros de investigación, ejecutar una evaluación ex-ante de las realizacionesy resultados potencialespara obtener en el año presupuestal,y establ€cerlos patrones de medida y comparación para el seguimiento y evaluación de actividades especificas y tramos de proyecüos. A principios de 1987 se inició la evaluación del PLANIA elaboradoen 1981y la formulación del PLANIA f989.1993. En el procesode formulación, que tenninará en septiembre del presenteaño, se introdujeron mejoras sustancialesen los mecanismos de participación a partir del nivel microrregional, pasandopor el reg:ionaly terminando el proceso de consolidación a nivel nacional; así mismo, se caracteriza¡on los entornos socioeconómicospara cada nivel de programación. Sin embargo, la mejora introducida más destacadaes la sistematización de las variables e indicadores que caracterizan la problemática objeto de acción de la investigación, los resu.ltadosque se buscan, su naturaleza y su ubicación espa-.