El perquè: avaluar per assegurar que l’acció pública té impactes positius
Des de fa anys la ciutat de Barcelona té en funcionament els programes ‘Camí Escolar, espai amic’ i ‘Patis escolars oberts al barri’. Aquests programes, més enllà de la pròpia lògica funcional, tenen com a objectiu potenciar la relació de la xarxa educativa amb les dinàmiques de cada barri mitjançant el treball en xarxa i comunitari, i situar l’infant al centre de les polítiques educatives i de ciutat.
Ara bé, què en sabem d’aquests programes? Quina evolució han tingut des de la seva implementació? Assoleixen els objectius plantejats per la pròpia administració pública? Per donar resposta a aquestes preguntes, des de l’Institut Infància i Adolescència estem fent una avaluació d’aquests dos programes, per encàrrec de l’Institut Municipal d’Educació de Barcelona (IMEB), que és qui els està gestionant.
És evident que en l’àmbit de la gestió pública és essencial avaluar -per tal d’assegurar- el “retorn social” de les polítiques públiques. Les administracions públiques estan obligades a saber els impactes que les polítiques públiques tenen sobre la ciutadania. És a dir, s’han d’assegurar que l’acció de govern té efectes positius visibles en la qualitat de vida de la ciutadania, o en la reducció de les desigualtats. Per tant, és indispensable plantejar-se fins a quin punt els objectius de les polítiques públiques s’assoleixen, la qual cosa requereix -i és quelcom que no es pot donar per descomptat- que s’avaluïn.
Massa sovint, la preocupació de la gestió pública ha pivotat al voltant de la “rendibilitat econòmica” dels serveis públics, en la seva sostenibilitat. Però si partim de la premissa que els recursos públics són limitats, cal preguntar-se sobre l’impacte de la inversió possible en funció de les necessitats socials existents. Per tant, cal preguntar-se sobre els efectes generals derivats de les polítiques públiques, però també, del perfil dels beneficiaris de les mateixes. Disposem d’uns serveis i uns programes als quals accedeix tota la ciutadania?
Les administracions públiques s’han d’assegurar
que l’acció de govern té efectes positius visibles
en la qualitat de vida de la ciutadania.
Així doncs, es tracta de plantejar la sostenibilitat d’un servei públic, no només a partir de la seva rendibilitat econòmica, sinó dels beneficis socials que produeix. Quines són les persones, els col·lectius socials o simplement els perfils socioeconòmics que es beneficien d’aquestes polítiques públiques? Fins i tot si un servei és deficitari econòmicament pot ser legítimament sostenible en la mesura que corregeix desigualtats socials i genera oportunitats que beneficien les persones i la societat. En el cas dels Camins escolars i els Patis oberts es produeix aquest benefici social de llarg recorregut?
El què: l’avaluació dels Camins escolars i els Patis oberts, què volem observar?
Atesa aquesta necessitat, l’anàlisi dels Camins escolars i els Patis oberts de la ciutat de Barcelona té com a objectiu final proporcionar criteris generals que ajudin a orientar la presa de decisions en la distribució de recursos públics. És a dir, copsar la situació actual dels dos programes, analitzar-ne el funcionament i posar damunt de la taula els seus límits amb l’objectiu de millorar-ne la planificació i els resultats.
L’avaluació planteja, doncs, un seguit d’aproximacions de caràcter general. Es pretén indagar sobre les formes d’implementació del projecte -funcionament i les fases del projecte-, l’impacte que té entre els diferents actors -comunitat educativa, els agents del territori i l’administració municipal- vinculats al programa i, finalment, la correlació entre objectius fixats i objectius assolits.
Aquesta aproximació ha de permetre conèixer el desenvolupament de cada programa, mesurar-ne el grau d’heterogeneïtat, copsar-ne l’estructuració formal, fer emergir les lògiques de funcionament i el grau d’implicació dels agents participants i, finalment, detectar-ne els límits i les mancances. Tot plegat possibilita la construcció d’una primera bateria d’indicadors per mesurar el nivell de funcionament del programa i les distàncies i proximitats en relació als objectius marcats.
El com: una aproximació qualitativa als Camins escolars i als Patis oberts
Ara bé, davant la multidimensionalitat i heterogeneïtat d’ambdós projectes, cal mesurar detingudament com s’aborda la seva anàlisi. Com ens aproximem a l’objecte d’estudi? Quina ha estat la metodologia i les tècniques que han guiat l’observació i el tractament empíric de les qüestions plantejades en aquesta avaluació?
Per tal de conèixer les diferents inèrcies que es desenvolupen en ambdós programes analitzats, s’ha optat per una aproximació qualitativa que ha prioritzat unes tècniques de recollida de dades de caràcter intensiu: les entrevistes semiestructurades i l’observació directa. La utilització d’aquestes tècniques permet arribar a una gran quantitat de fets captant, d’aquesta manera, models, comportaments, normativitats, pràctiques i discursos.
Tanmateix, també s’ha fet una aproximació de caràcter quantitatiu amb l’objectiu de concretar a qui i què calia observar, amb una indagació prèvia sobre la situació dels programes , l’anàlisi de les dades disponibles de cada projecte (nombre de Camins escolars i Patis oberts, estat dels mateixos, nombre d’usuaris, participació dels centres educatius, zones d’influència, etc.). L’observació d’aquestes dades ha permès disposar d’una informació descriptiva referent a la tipologia, funcionament, mecanismes d’implementació, usos dels projectes i agents implicats que ha possibilitat la configuració de la mostra d’individus a entrevistar. Paral·lelament, aquesta primera aproximació de caràcter quantitatiu ha permès acotar un seguit de factors explicatius cabdals –quantitativament parlant– que han conformat, en conseqüència, una part important dels factors sobre els quals s’ha indagat en la fase qualitativa.
S’ha fet una aproximació de caràcter quantitatiu i entrevistes qualitatives
per conèixer els contextos singulars de cada projecte,
el paper dels diferents agents implicats,
el funcionament organitzatiu i l’impacte sobre els usuaris i el territori.
Després de l’observació de les dades generals disponibles i les entrevistes exploratòries a experts i persones referencials, el principal instrument metodològic ha estat la realització d’un seguit d’entrevistes als agents implicats que han permès desgranar les diferents realitats territorials i copsar la multiplicitat d’interpretacions sobre els beneficis de la seva implementació, així com algunes de les seves disfuncionalitats. La utilització d’aquesta tècnica de recollida de dades possibilita el coneixement dels contextos singulars de cada projecte, el paper dels diferents agents implicats, el funcionament organitzatiu i l’impacte sobre els usuaris i el territori. El punt de partida és, doncs, la narració de l’organització i el mode de funcionament dels programes i les experiències viscudes al voltant de les diferents fases de la seva implementació.
La primera pregunta que hom s’ha de formular en el moment de la reflexió metodològica és el perquè de la realització d’entrevistes i el perquè de les preguntes que s’hi formulen. Tan sols des d’aquesta reflexió es pot ser conscient tant dels avantatges d’aquesta tècnica, com de les limitacions inherents a la mateixa tècnica. La variabilitat i multidimensionalitat de l’objecte d’estudi ha fet essencial la captació dels diferents models de funcionament, especialment dels Camins escolars, des de la lògica interna dels diferents agents implicats. És a dir, la percepció del funcionament dels programes i els seus objectius varia en funció de cadascun del agents (IMEB, Districtes, centres educatius, famílies, infants, etc.). Davant això, l’entrevista ha d’esdevenir, sens dubte, l’eina que ens proporcioni les dades suficients que permetin verificar les diferents hipòtesis inicials.
A la vegada, tampoc es pot obviar la multiplicitat de “realitats” que es vol posar en relleu, unes “realitats” socials amb característiques específiques i no reduïbles a un tractament únic. Per aquest motiu, és de vital importància que hi hagi gran rigor en la determinació de la mostra; formulació clara i unívoca de les preguntes; correspondència entre el marc de referència de les preguntes i el marc de referència de la persona que contesta; atmosfera de confiança i altes dosis d’empatia a l’hora de produir-se l’entrevista; etc.
Entrevistar representants de tots els agents implicats en aquests projectes, que són molts i molt diversos, ens ha permès fer una aproximació als projectes molt rica en punts de vista i matisos que, de no haver-ho fet així, difícilment hauríem pogut obtenir.
Ara estem acabant de tancar el procés d’avaluació i, ben aviat, en podrem compartir els resultats, per donar sentit, retorn i ús social al procés de coneixement, i aplicant criteris de treball obert i transparència, tal com ens marquem en el Pla Estratègic 2016-2020.
