Borja Colón de Carvajal Fibla, miembro de la Junta Directiva de la Asociación de la Dirección Pública Profesional, entrevista a Daniel Catalá Pérez, Presidente de la Sociedad Española de Evaluación de Políticas Públicas.
Pregunta.- ¿Cuál es actualmente la misión de la SEE y dónde estáis centrando todos vuestros esfuerzos?
Daniel Catalá.- La misión de la SEE, tal y como se recoge en sus estatutos, es contribuir al desarrollo en España de una cultura de la evaluación de políticas públicas como instrumento fundamental de la mejora de la actividad de las Administraciones públicas y, en línea con este propósito, impulsar la institucionalización de la evaluación, entendida como el proceso que ha de desembocar en la creación de un sistema público de evaluación.
La SEE ha trabajado para alcanzar estos objetivos durante sus 20 años de historia, llegando a ser un actor muy relevante en momentos clave como la gestación y puesta en marcha de la desaparecida AEVAL en 2006. En estos momentos existen ciertos factores que sitúan a España ante, probablemente, una gran oportunidad para tratar de retomar aquel camino de institucionalización que se inició con AEVAL, pero que se truncó rápidamente debido a la crisis económica que la dejó pronto sin apenas recursos para desarrollar plenamente el potencial que la institución tenía. Por ello, nuestros esfuerzos van dirigidos a convertir a la SEE en un actor relevante en ese camino, fundamentalmente desde dos puntos de vista: por una parte, concienciando sobre la necesidad de incrementar la demanda de evaluación desde el sector público y promoviendo una oferta de evaluación de calidad a través del impulso y apoyo de la formación y profesionalización en la práctica evaluativa; y por otra, participando y propiciando el debate, en la medida de nuestras posibilidades, en aquellos foros en donde se tomen las decisiones que puedan afectar a la institucionalización de la evaluación.
P.- ¿Podemos decir que en España existe «cultura de evaluación»?
D.C.- La Administración española arrastra cierto estigma en este sentido. Y aunque en mi opinión no podamos hablar de una cultura de evaluación tal como existe en otros países, creo que sí existen las piezas necesarias para tratar de armarla por parte de quienes tienen la mayor parte de la capacidad para hacerlo.
Hace algunos años, Marco Segone, experto reconocido internacionalmente en el ámbito de la evaluación, citaba a Saville Kushner, otro experto no menos reconocido, afirmando que la existencia de una cultura de evaluación pasa por la existencia de «las condiciones sociales e institucionales que ayuden a crear una comprensión común de qué significan las palabras y acciones relativas a esta actividad». Yo añadiría, además, siguiendo a nuestro compañero Antonio Igea, presidente de la Red Internacional de Evaluación y miembro de la actual junta directiva de la SEE, que son necesarias, además, unas condiciones técnicas.
En este sentido, estamos en un momento en que las condiciones sociales son cada vez más favorables para el desarrollo de una cultura evaluativa. La demanda por parte de la sociedad (en un sentido amplio del término) a los gobiernos de información sobre su gestión, de transparencia en su actividad o de mecanismos a través de los que participar en la toma de decisiones públicas, abren un escenario muy propicio para que la evaluación sea una de las herramientas que permita a dichos gobiernos cumplir con estas exigencias.
Las capacidades técnicas relativas a la práctica evaluativa son un elemento clave en el impulso de la cultura de evaluación y en España existen también iniciativas orientadas a formar profesionales en este sentido, que ejercen su actividad fuera, pero también, y cada vez más, dentro del sector público. En este sentido, existen ejemplos interesantes de iniciativas impulsadas por intra-emprendedores públicos, como es el caso, entre otros, del Grupo de Trabajo en Evaluación de Políticas Públicas del Instituto Andaluz de Administración Pública, que están haciendo una intensa labor de promoción de la cultura evaluativa con una oferta de evaluación de calidad.
El problema surge cuando nos referimos a la existencia de las condiciones institucionales óptimas para el desarrollo de la cultura evaluativa. El factor más relevante en este sentido es la firme y clara voluntad política de incrementar la demanda de evaluación y de promover e impulsar la creación de un marco normativo y organizativo que permita canalizar esa demanda. El ministro Iceta ha anunciado la intención de impulsar el marco normativo a nivel estatal, en la línea de lo que están haciendo ciertas CCAA. Esperemos que la intención se traduzca en realidad. En cuanto al marco organizativo, en la actualidad existen diversos agentes tratando de impulsar la evaluación. A nivel estatal, tenemos, por ejemplo, al cada vez más activo Instituto para la Evaluación de Políticas Públicas, heredero de AEVAL, o a la AIReF, fuertemente decidida a potenciar su actividad en materia de evaluación, por no hablar de algunas exitosas experiencias autonómicas. Pero por el momento, cada uno está haciendo la guerra por su cuenta, por lo que, más allá de pensar en crear nuevas instituciones, tal vez los esfuerzos deberían ir dirigidos a aprovechar los recursos ya existentes, coordinando esfuerzos y creando, con ello, las condiciones institucionales necesarias para poder hablar de una verdadera cultura de evaluación en España.
P.- ¿Cuáles serían, en tu opinión, los mayores desafíos en términos de evaluación que debéis hacer frente desde la SEE?
D.C.- Desde una perspectiva general, el principal reto es precisamente hacer entender a las administraciones públicas y, sobre todo, a los representantes políticos, esa idea de evaluación que desde la SEE se defiende. Como decía, para que en el sector público se consolide una cultura de evaluación y se consigan avances en su institucionalización, es absolutamente necesaria la clara voluntad política de impulsar estas cuestiones.
Desde una perspectiva más restringida, los retos se centran en ser capaces de dinamizar una organización de la sociedad civil como es la SEE, con las dificultades que ellos suponen, y situarla como uno de los actores clave en todos aquellos contextos en los que se tomen decisiones importantes que afecten de alguna forma a la evaluación de políticas en España. El escenario en el que apareció la SEE no es el mismo escenario en el que nos movemos ahora. El escenario cada vez es más complejo y, consecuentemente, cada vez es más difícil mantener dicho rol si no se tiene una masa social importante detrás. Afortunadamente, como decía antes, también existe cada vez más consciencia por parte de la sociedad y de determinadas organizaciones públicas y privadas sobre la importancia de la evaluación y desde la SEE vemos esperanzados cómo va creciendo el número de nuestros socios individuales e institucionales.
P.- ¿Crees que la evaluación de políticas públicas y dirección pública profesional son dos caras de la misma moneda?
D.C.- Sí, desde el punto de vista de la gestión pública, creo que son dos elementos plenamente relacionados. He comentado la importancia de la institucionalización de la evaluación como un proceso clave para la construcción de un sistema público de evaluación. Pero existe otro elemento clave para alcanzar ese objetivo, que también he apuntado, la profesionalización de la práctica evaluativa.
En este sentido, en el ámbito de la gestión pública, no debería haber dudas acerca de los beneficios que la evaluación aporta no solo en términos de aprendizaje y mejora para la propia organización, sino también en términos de rendición de cuentas, transparencia y participación. De esta forma, una dirección pública profesional comprometida con estos aspectos ha de contar con las competencias necesarias para el desarrollo de las funciones vinculadas con la evaluación.
Pero, además, el debate sobre la profesionalización de la evaluación es uno de los más extendidos y encendidos que existen en la comunidad evaluadora internacional. Así, referentes como Gauthier hablan de profesionalizar como establecer un plan colectivo para otorgarle una importancia y un reconocimiento especiales a la actividad evaluativa con el fin de contribuir a su desempeño superior. Y parece claro que la práctica evaluativa de calidad que puede ser impulsada por esa dirección pública profesional comprometida, contribuye notoriamente a la profesionalización de la evaluación y con ello a la construcción de sistemas públicos de evaluación sólidos.
P.- ¿En qué ámbitos de la gestión pública crees que es más necesaria una evaluación en profundidad?
D.C.- Más que hablar de ámbitos de la gestión pública, tal vez hablaría del momento de la intervención pública en que integrar la evaluación. Por lo general, cuando se habla de evaluación, instintivamente se piensa en la evaluación de impactos, esa evaluación ex-post que se realiza al finalizar la intervención con el objetivo de comprobar si los efectos de la misma han sido los que esperábamos. Pues bien, aunque lo ideal es plantear un enfoque integral de la evaluación, es decir, desde el diseño de la intervención hasta la medición de sus impactos a más largo plazo, la integración del enfoque evaluativo en ese primer paso, en el del diseño de las intervenciones, sería clave para identificar ya desde ese momento malos diseños y por tanto, intervenciones con pocas garantías de alcanzar sus objetivos. Dado que alcanzar ese grado de integración de la evaluación en la gestión pública en España no parece todavía cercano, cobra especial relevancia el concepto del análisis de la evaluabilidad de una intervención, pues dado que las intervenciones no se diseñan generalmente pensando en su posterior evaluación, ésta no siempre es posible o aconsejable y es mejor determinarlo antes de invertir recursos en un proceso de evaluación infructuoso.
Otro ámbito en el que creo que se debería profundizar y que en la SEE siempre ha tenido su espacio, es la evaluación del impacto normativo para tratar de racionalizar y mejorar la actividad regulatoria, pues al final, las normas legales son los marcos habilitadores de cualquier política pública. Y, por último, un aspecto esencial y gracias al cual cobra sentido la actividad evaluativa, es el uso de los resultados de la evaluación. Aunque esto pueda parecer una perogrullada, son muchas las evaluaciones cuyos informes finales no salen del cajón, por mucho que el cajón pueda ser un repositorio digital.
P.- ¿Cómo estáis impulsando desde la SEE el conocimiento y la importancia de la evaluación?
D.C.- Todos los proyectos que hemos iniciado o que tenemos previsto iniciar están vinculados con los retos a los que he venido haciendo referencia. Así, desde el punto de vista del impulso de la cultura de evaluación estamos preparando diversos seminarios y jornadas temáticas sobre aspectos de actualidad, como la evaluación de la gestión de la pandemia, o sobre nuevos enfoques en la práctica evaluativa, como puede ser el enfoque conductual. Además, estamos ya trabajando en la próxima edición de la Conferencia Internacional Bienal que, recogiendo el testigo de la celebrada en la Fundación Las Naves de Valencia en 2020, se celebrará en Pamplona en junio de 2022 con el apoyo, en este caso, del Observatorio de la Realidad Social del Gobierno de Navarra. También se está trabajando en la convocatoria del 4º Premio Internacional «Carlos Román» de investigación aplicada en evaluación de políticas públicas.
Más vinculado con el objetivo de la institucionalización, en breve participaremos como ponentes en la tramitación de la Proposición de Ley de Transparencia y Buen Gobierno de la Comunidad Valencia y también hemos mantenido o estamos manteniendo conversaciones, con el objetivo de establecer alianzas estratégicas, con otros actores clave como la Autoridad Independiente de Responsabilidad Fiscal (AIReF), la Conselleria de Transparencia de la GVA, la Red Internacional de Evaluación de Políticas Públicas o GIGAPP. Con la Asociación de Dirección Pública Profesional los contactos han cristalizado ya en el establecimiento de un marco de colaboración, fruto del cual la SEE se ha adherido a la «Alianza de personas y organizaciones por la DPP».
P.- ¿Es posible que esta crisis pandémica haya despertado más la conciencia pública en torno a la evaluación o solo es un espejismo?
D.C.- La gestión de una crisis como la que estamos viviendo no es en absoluto sencilla y es lógico que se hayan tomado decisiones más o menos acertadas. Por eso, desde ciertos ámbitos profesionales y científicos se ha venido reclamando una evaluación integral de los sistemas de atención social y de salud españoles, para detectar donde se han cometido errores y preparar al país ante posibles nuevas oleadas que, efectivamente se han ido produciendo. Así, esta demanda de evaluación se originó entre colectivos que la planteaban, sobre todo, como una herramienta de generación de conocimiento para la mejora de la acción pública, más allá de su función como herramienta para determinar responsabilidades en un contexto de rendición de cuentas. Pero lo cierto es que la demanda ha tenido bastante eco entre los medios de comunicación, y que ha desvelado cierta conciencia generalizada de que existe un déficit de información clara, relevante, pertinente y oportuna sobre cómo se deciden las acciones a implementar, cómo se gestionan y cuales son sus efectos. Teniendo en cuenta que la evaluación es una herramienta orientada a poder generar ese tipo de información, podemos pensar que, en cierta forma, la crisis pandémica sí ha despertado la conciencia pública en torno a la evaluación.
P.- ¿Se podría decir que evaluación de políticas públicas y rendición de cuentas son complementarias?, ¿qué relación hay entre ellas?
D.C.- Totalmente. Lo que he comentado en la anterior pregunta es una buena prueba de ello. Tú mismo, Borja, en alguna ocasión has comentado que la rendición de cuentas va más allá de la transparencia y que «puede entenderse como el requerimiento para que los representantes den cuenta y respondan frente a los representados sobre el uso de sus poderes y responsabilidades, actúen como respuesta a las críticas o requerimientos que les son señalados y acepten la responsabilidad en caso de errores, incompetencia o engaño, es decir, que actúen con un amplio sentido ético». Desde luego no es baladí esta obligación que les reconocemos a los representantes públicos, y desde luego, la evaluación de las políticas que se derivan del uso de aquellos poderes y responsabilidades es la herramienta indicada a través de la cual generar la información que ha de permitir a los representantes públicos cumplir con la misma. Pero la evaluación, no tiene que ser únicamente entendida, como ya he comentado, como una fórmula para aumentar la transparencia y la rendición de cuentas y asignar responsabilidades en el caso de errores, sino como un instrumento para mejorar los programas de intervención pública y su gestión; impulsar el aprendizaje y la innovación en la gestión pública; hacer efectiva la participación de los ciudadanos en la toma de decisiones; legitimar la intervención; y, con todo ello, mejorar la calidad democrática.
P.- Desde el punto de vista de la Dirección Pública Profesional, ¿cuáles crees que son las competencias que se deben tener para realizar una buena evaluación?
D.C.- Precisamente, en ese debate sobre la profesionalización de la evaluación que he comentado que existe desde hace años, uno de los aspectos en el que todas las partes coinciden, es en la necesidad de definir un marco competencial que garantice la práctica profesional y competente de la evaluación. Así, en los últimos 10 o 15 años se han desarrollado diversos marcos de competencias para la práctica de la evaluación definidos por asociaciones profesionales nacionales, como la de EEUU o la canadiense, u organismos internacionales, como Naciones Unidas a través de su Grupo de Evaluación (UNEG).
Las competencias incluidas en estos marcos no son todas específicas de la evaluación de la misma manera que las competencias para otras profesiones no son específicas de ellas. Que una competencia no sea específica de una profesión no significa que no sea importante para la práctica profesional en el área. En este sentido, los directivos públicos profesionales tienen una parte importante del camino ya recorrido, pues comparando las competencias que, por ejemplo, plantea el marco HEADs de la AEC para directivos públicos profesionales y el marco competencial de la UNEG para la práctica evaluativa, nos encontramos con muchísimas coincidencias. De los cinco grandes bloques de habilidades que este último marco plantea, el único que probablemente debería desarrollar un directivo público profesional de forma más específica, es el de las habilidades técnicas de evaluación que incluyen: conocimiento para identificar las necesidades de evaluación y desarrollar diseños de evaluación con preguntas de evaluación enfocadas; conocimientos sólidos sobre enfoques y métodos de evaluación; y las habilidades analíticas para interpretar los hallazgos y formular conclusiones y, si es relevante, recomendaciones que estén claramente relacionadas con los hallazgos y conclusiones. Y ya he comentado que, afortunadamente, en España existen posibilidades de formación para poder desarrollar estas habilidades.