El porqué: evaluar para asegurar que la acción pública tiene impactos positivos
Desde hace años, la ciudad de Barcelona tiene en funcionamiento los programas ‘Camino Escolar, espacio amigo’ y ‘Patios escolares abiertos al barrio’. Estos programas, más allá de la propia lógica funcional, tienen como objetivo potenciar la relación de la red educativa con las dinámicas de cada barrio mediante el trabajo en red y comunitario, y situar al niño o niña en el centro de las políticas educativas y de ciudad.
Ahora bién, ¿Qué sabemos de estos programas? ¿Qué evolución han tenido desde su implementación? ¿Cumplen los objetivos planteados por la propia administración pública? Para dar respuesta a estas preguntas, desde el Institut Infància i Adolescència estamos haciendo una evaluación de estos dos programas, por encargo del Instituto Municipal de Educación de Barcelona (IMEB), que es quien los está gestionando.
Es evidente que en el ámbito de la gestión pública es esencial evaluar para asegurar el “regreso social” de las políticas públicas. Las administraciones públicas están obligadas a saber los impactos que las políticas públicas tienen sobre la ciudadanía. Es decir, se tienen que asegurar que la acción de gobierno tiene efectos positivos visibles en la calidad de vida de la ciudadanía, o en la reducción de las desigualdades. Por lo tanto, es indispensable plantearse hasta qué punto los objetivos de las políticas públicas se logran, lo cual requiere y es algo que no se puede dar por sentado, que se evalúen.
Las administraciones públicas tienen que asegurar
que la acción de gobierno tiene efectos positivos
visibles en la calidad de vida de la ciudadanía.
Muy a menudo, la preocupación de la gestión pública ha pivotado alrededor de la “rentabilidad económica” de los servicios públicos, en su sostenibilidad. Pero si partimos de la premisa que los recursos públicos son limitados, hay que preguntarse sobre el impacto de la inversión posible en función de las necesidades sociales existentes. Por lo tanto, hay que preguntarse sobre los efectos generales derivados de las políticas públicas, pero también, del perfil de los beneficiarios de las mismas. ¿Disponemos de unos servicios y unos programas a los cuales accede toda la ciudadanía?
Así pues, se trata de plantear la sostenibilidad de un servicio público, no sólo a partir de su rentabilidad económica, sino de los beneficios sociales que produce. ¿Cuáles son las personas, los colectivos sociales o simplemente los perfiles socioeconómicos que se benefician de estas políticas públicas? Incluso si un servicio es deficitario económicamente puede ser legítimamente sostenible en la medida que corrige desigualdades sociales y genera oportunidades que benefician a las personas y a la sociedad. En el caso de los Caminos escolares y Patios abiertos, ¿se produce este beneficio social de largo recorrido?
El qué: la avaluación de los Caminos escolares y los Patios abiertos, ¿què queremos observar?
Atendida esta necesidad, el análisis de los proyectos de Caminos escolares y Patios abiertos de la ciudad de Barcelona tiene como objetivo final proporcionar criterios generales que ayuden a orientar la toma de decisiones en la distribución de recursos públicos. Es decir, captar la situación actual de los dos programas, analizar el funcionamiento y poner encima de la mesa sus límites con el objetivo de mejorar la planificación y los resultados.
La evaluación plantea, pues, una serie de aproximaciones de carácter general. Se pretende indagar sobre las formas de implementación del proyecto -funcionamiento y las fases del proyecto-, el impacto que tiene entre los diferentes actores -comunidad educativa, los agentes del territorio y la administración municipal- vinculados al programa y, finalmente, la correlación entre objetivos fijados y objetivos logrados.
Esta aproximación tiene que permitir conocer el desarrollo de cada programa, medir el grado de heterogeneidad, captar la estructuración formal, hacer emerger las lógicas de funcionamiento y el grado de implicación de los agentes participantes y, finalmente, detectar los límites y las carencias. Todo ello posibilita la construcción de una primera batería de indicadores para medir el nivel de funcionamiento del programa y las distancias y proximidades en relación a los objetivos marcados.
El cómo: una aproximación cualitativa a los Caminos escolares y a los Patios abiertos
Ahora bien, ante la multidimensionalidad y heterogeneidad de ambos proyectos, hay que medir detenidamente como se aborda su análisis. ¿Cómo nos aproximamos al objeto de estudio? ¿Cuál han sido la metodología y las técnicas que han guiado la observación y el tratamiento empírico de las cuestiones planteadas en esta evaluación?
Para conocer las diferentes inercias que se desarrollan en ambos programas analizados, se ha optado por una aproximación cualitativa que ha priorizado unas técnicas de recogida de datos de carácter intensivo: las entrevistas semiestructuradas y la observación directa. La utilización de estas técnicas permite llegar a una gran cantidad de hechos captando, de este modo, modelos, comportamientos, normatividades, prácticas y discursos.
Así, también se ha hecho una aproximación de carácter cuantitativo con el objetivo de concretar a quién y qué había que observar, con una indagación previa sobre la situación de los programas, el análisis de los datos disponibles de cada proyecto (número de Caminos escolares y Patios abiertos, número de usuarios, participación de los centros educativos, zonas de influencia, etc.). La observación de estos datos ha permitido disponer de una información descriptiva en lo referente a la tipología, funcionamiento, mecanismos de implementación, usos de los proyectos y agentes implicados que ha posibilitado la configuración de la muestra de individuos a entrevistar. Paralelamente, esta primera aproximación de carácter cuantitativo ha permitido acotar una serie de factores explicativos capitales –cuantitativamente hablando– que han conformado, en consecuencia, una parte importante de los factores sobre los cuales se ha indagado en la fase cualitativa.
Se ha hecho una aproximación de carácter cuantitativo y
entrevistas cualitativas para conocer los contextos singulares de cada
proyecto, el papel de los diferentes agentes implicados, el funcionamiento
organizativo y el impacto sobre los usuarios y el territorio.
Después de la observación de los datos generales disponibles y de las entrevistas exploratorias a expertos y personas referenciales, el principal instrumento metodológico ha sido la realización de una serie de entrevistas a los agentes implicados que han permitido desgranar las diferentes realidades territoriales y coger la multiplicidad de interpretaciones sobre los beneficios de su implementación, así como algunas de sus disfuncionalidades. La utilización de esta técnica de recogida de datos posibilita el conocimiento de los contextos singulares de cada proyecto, el papel de los diferentes agentes implicados, el funcionamiento organizativo y el impacto sobre los usuarios y el territorio. El punto de partida es, pues, la narración de la organización y el modo de funcionamiento de los programas y las experiencias vividas alrededor de las diferentes fases de su implementación.
La primera pregunta que se se tiene que formular en el momento de la reflexión metodológica es el porque de la realización de entrevistas y el porque de las preguntas que se formulan. Tan sólo desde esta reflexión se puede ser consciente tanto de las ventajas de esta técnica, como de las limitaciones inherentes a la misma técnica. La variabilidad y multidimensionalitat del objeto de estudio ha hecho esencial la captación de los diferentes modelos de funcionamiento, especialmente de los Caminos escolares, desde la lógica interna de los diferentes agentes implicados. Es decir, la percepción del funcionamiento de los programas y sus objetivos varía en función de cada uno del agentes (IMEB, Distritos, centros educativos, familias, niños y niñas, etc.). Ante esto, la entrevista tiene que ser, sin duda, la herramienta que nos proporcione los datos suficientes que permitan verificar las diferentes hipótesis iniciales.
A la vez, tampoco se puede obviar la multiplicidad de “realidades” que se quiere poner de relieve, unas “realidades” sociales con características específicas y no reduïbles a un tratamiento único. Por este motivo, es de vital importancia que haya gran rigor en la determinación de la muestra; formulación clara y unívoca de las preguntas; correspondencia entre el marco de referencia de las preguntas y el marco de referencia de la persona que contesta; atmósfera de confianza y altas dosis de empatía a la hora de producirse la entrevista; etc.
Entrevistar a representantes de todos los agentes implicados en estos proyectos, que son muchos y muy diversos, nos ha permitido hacer una aproximación muy rica en puntos de vista y matices que, de no haber sido así, difícilmente habríamos podido obtener.
Ahora estamos terminando de cerrar el proceso de evaluación y, en breve, podremos compartir los resultados, para dar sentido, retorno y uso social al proceso de conocimiento, y aplicando criterios de trabajo abierto y transparencia, tal y como nos marcamos en el Plan estratégico 2016-2020.
