Embed Size (px)
Citation preview
¿CÓMO EVALUAR PROGRAMAS DE EDUCACIÓN
FINANCIERANO LUCRATIVOS?
Social Performance Assessment:Una metodología práctica
CLEF 2011
Lima, 18 a 20 de octubre 2011Ursula Heimann
SOLLIV – Constructing Opportunities for Solid Livelihoods, S.C.
Contenido
1. ¿Qué evaluaciones se están realizando?
2. Social Performance Assessment: Una metodología práctica.
¿Por qué no se realizan más evaluaciones?
• Falta de programación de evaluaciones.
• Falta de tiempo.
• Falta de presupuesto.
• Falta de visión.
• Falta de conocimiento como hacerlo.
• Falta de acceso a metodologías adecuadas.
• Etc.
1. ¿Qué tipo de evaluaciones se están realizando?
Conocimientos adquiridos (inmediatos o en el transcurso del tiempo).
Resultados cuantitativos (cuantas personas, cuantas horas, etc.).
Resultados descriptivos (características de las personas alcanzadas).
Resultados financieros de IMF’s(aumento de ahorro; cuentas nuevas; baja de la tasa de mora; etc.).
Medición de capacidades financieras (previas y adquiridas).
Mediciones de resultados que se están realizando
En los últimos años se ha iniciado un cambio de perspectivas:
De la educación financiera a la construcción de capacidades financieras.
Capacidades básicas identificadas:
�Usar los recursos financieros existentes eficientemente�Mantener un record de ingresos y gastos�Planear el futuro�Escoger productos adecuados�Mantenerse informados sobre temas financieros
Ver diversos estudios y análisis de Elaine Kempson, Adele Atkinson, y otros
Medir capacidades financieras
Líneas basales y evaluación de impacto
Con base en la propuesta de capacidades financierasbásicas se han realizado evaluaciones en proyectos deorden nacionales en diversos países (Inglaterra, Kenia,México, etc.):
a)Para construir lineas basales como punto de partida.
b)Para medir cambios e impacto especialmente enprogramas de orden nacionales.
Líneas basales y evaluación de impacto con RCT
Estos proyectos se caracterizan por:
Muestras grandes, estadísticamente relevantes.
Establecimiento de grupos de control.
Metodologías sofisticadas (RCT).
Se requieren repetir en el tiempo.
Alto costo.
Se requieren expertos muy especializados para su realización.
Generalmente no están al alcance de organizaciones más pequeñas.
Dificultades de los RCT
Se debe construir grupo de control desde el inicio de la
intervención.
Selección de grupo de control posterior: diferentes fuentes de
sesgo.
Las muestras deben ser grandes para tener validez estadística.
Difícil de construir grupos con características idénticas.
Difícil de valorar otros factores que influyen el grupo de control.
Requieren varias mediciones con el paso del tiempo.
Al volver a medir, los hogares de la muestra pueden haber
cambiado.
Alto costo de la metodología.
Requieren varias mediciones con el paso del tiempo.
¿Cómo evaluar programas de eduaciónfinanciera…?
a)¿… más allá de una mera medición deresultados inmediatos?
b)¿…sin aplicar metodologías que rebasanlas posibilidades (recursos, tiempos,presupuesto) de las organizaciones?
2. Social Performance Assessment
¿Cumple con su misión?
¿Alcanza la población objeto prevista?
¿Alcanza las metas propuestas?
¿Produce resultados adecuados y relevantes?
¿Tiene impacto para su población objeto?
Aspectos a evaluar en un programa de educación financiera
Es un método práctico para analizar, si intervenciones son positivaspara el grupo meta.
Propósitos centrales:
- Medir los avances en los resultados pretendidos.- Medir el número y tipo de personas alcanzadas, etc.- Analizar la visión de los beneficiarios sobre calidad de los
resultados.- Identificar “lecciones aprendidas“ para mejorar en el
futuro.- Enlazar planeación con medición.- Enlazar aprendizaje con mejoramiento.
Social Performance Assessment (SPA)
Es la puesta a la práctica de los objetivos sociales de una institución de acuerdo a valores sociales aceptados, como son:
• sustentabilidad.• atención a personas de bajos recursos o en condición de
exclusión.• mejora de las condiciones económicas y sociales de los
beneficiarios.• trabajar con responsabilidad social ante
clientes, empleados y la población objeto.• entre otros.
¿Qué es “Social Performance”?
Dimensiones del análisis:
Cuálitativa
PerceptualEmpírica
Cuántitativa
Social Performance Assessment (SPA)
Social Performance Assessment (SPA)
− Evaluación externa estructurada de la organización.
− Se evalúan:
- La misión y los objetivos.
- Los procesos y la operación.
- Los servicios brindados.
- Cuáles clientes alcanza y cómo los alcanza.
- Los beneficios para los clientes:
- Manejo de las finanzas personales/del hogar.
- Situación económica.
Tres tipos de impacto en educación financiera
Impactos directos de manejo financiero
Impactos directos e indirectos económicos
Impactos (indirectos) extensos
Manejo financiero mejorado (o no) con respecto a:… uso de ingresos y esquema
de gastos… planeación financiera … emergencias… ciclo del año y ciclo de vida… adquisición de productos… etc.
Mejora (o no) de bienestar, por ej.:-poder mejorar las condiciones de vidainmediatas
-poder mejorar lascondiciones de vivienda
-Poder pagar mayor nivelde educación
-reducir vulnerabilidad-etc.
Cambios positivos (o no) en un ámbito más extenso-empoderamiento depersonas marginadas
-mejora del desempeño delas MiPYMES
-menor impacto de posiblesemergencias y/o crisis
Tabla: Christiane Ströh de Martínez/Ursula Heimann 18
Proceso de un SPA
ObjetivosMisión
ProcesosProductosEntregaRecursos HumanosEtc.
Resultados- Poblaciónalcanzada
- Opinión- Satisfacciónalcanzada
CambiosMejoras
�Datos básicos y financieros de la organización.
�Objetivos, misión y visión de la organización.
�Indicadores para analizar los avances hacia las metas que tiene la organización.
�Datos que pueden ilustrar lecciones aprendidas.
�Opinión por parte de los beneficiarios/clientesy otros “stakeholders”.
Datos recolectados
Evaluar los pasos descritos:
1.) Misión, Objetivos.
2.) Procesos, productos, forma de entrega, recursos humanos.
3.) Resultados: personas alcanzadas y opinión/satisfacción.
4.) Cambios alcanzados: a) cambios en conocimiento > cuestionarios, etc. b) cambios en manejo financiero > según opinión de beneficiarios.c) mejoras en uso de recursos > según visión de beneficiarios.
¿Cómo aplicar SPA a programas de educación financiera y de formación de capacidades financieras?
Aplicando SPA en educación financiera
-Estatutos
-Seguimiento
a la misión
-Grupos meta:
Selección y primer
contacto
-Implementación:
contenidos, metodos
y presentación
-Recuros humanos:
proprios y otros
-Recursos financieros:
sustentabilidad
Resultados:
- Población
alcanzada
- Satisfacción de
necesidades de
educación
financiera
- Satisfacción
personal
Cambios
Mejoras
Misión y
visiónProcesos Resultados
-Cambios en
conocimientos
(“que
entendí?”)
-Cambios en el
comporta-
miento (“qué
cambió para
mí?)
Herramientas en un SPA
- Revisión de
documentos
- Entrevistas
semi-
estructuradas
-Grupos meta: analisis
de satisfacción
-Implementación:
entrevistas,
observación de
talleres
-Recursos: entrevistas
semi-estructuradas
con personal y
representantes de la
organización
- Población
alcanzada:
análisis de
datos
- Grupo de
enfoque sobre
necesidades de
educación
financiera y
satisfacción
con servicios
Cambios
Mejoras
Misión y
visiónProcesos Resultados
- Cambios en
conocimientos
- Cambios en
el comporta-
miento
- Grupos de
enfoque
“caminos de
la vida”
Social Performance Management (SPM)
− Rutinas estructuradas internas de monitoreo y evaluación.
− Se evaluan:
- los procesos y la operación.
- los servicios brindados.
- cuáles clientes alcanza y cómo los alcanza.
- los beneficios para los clientes.
− Tienen el fin de levantar datos periódicamente.
− Y poder mejorar los servicios para los clientes continuamente.
GRACIAS POR SU ATENCIÓN.
Dra. Ursula HeimannDirectora
www.solliv.com
