¿CÓMO EVALUARfelaban.s3-website-us-west-2.amazonaws.com/...− Rutinas estructuradas internas de...

¿CÓMO EVALUAR PROGRAMAS DE EDUCACIÓN

FINANCIERANO LUCRATIVOS?

Social Performance Assessment:Una metodología práctica

CLEF 2011

Lima, 18 a 20 de octubre 2011Ursula Heimann

SOLLIV – Constructing Opportunities for Solid Livelihoods, S.C.

Contenido

1. ¿Qué evaluaciones se están realizando?

2. Social Performance Assessment: Una metodología práctica.

¿Por qué no se realizan más evaluaciones?

• Falta de programación de evaluaciones.

• Falta de tiempo.

• Falta de presupuesto.

• Falta de visión.

• Falta de conocimiento como hacerlo.

• Falta de acceso a metodologías adecuadas.

• Etc.

1. ¿Qué tipo de evaluaciones se están realizando?

Conocimientos adquiridos (inmediatos o en el transcurso del tiempo).

Resultados cuantitativos (cuantas personas, cuantas horas, etc.).

Resultados descriptivos (características de las personas alcanzadas).

Resultados financieros de IMF’s(aumento de ahorro; cuentas nuevas; baja de la tasa de mora; etc.).

Medición de capacidades financieras (previas y adquiridas).

Mediciones de resultados que se están realizando

En los últimos años se ha iniciado un cambio de perspectivas:

De la educación financiera a la construcción de capacidades financieras.

Capacidades básicas identificadas:

�Usar los recursos financieros existentes eficientemente�Mantener un record de ingresos y gastos�Planear el futuro�Escoger productos adecuados�Mantenerse informados sobre temas financieros

Ver diversos estudios y análisis de Elaine Kempson, Adele Atkinson, y otros

Medir capacidades financieras

Líneas basales y evaluación de impacto

Con base en la propuesta de capacidades financierasbásicas se han realizado evaluaciones en proyectos deorden nacionales en diversos países (Inglaterra, Kenia,México, etc.):

a)Para construir lineas basales como punto de partida.

b)Para medir cambios e impacto especialmente enprogramas de orden nacionales.

Líneas basales y evaluación de impacto con RCT

Estos proyectos se caracterizan por:

Muestras grandes, estadísticamente relevantes.

Establecimiento de grupos de control.

Metodologías sofisticadas (RCT).

Se requieren repetir en el tiempo.

Alto costo.

Se requieren expertos muy especializados para su realización.

Generalmente no están al alcance de organizaciones más pequeñas.

Dificultades de los RCT

Se debe construir grupo de control desde el inicio de la

intervención.

Selección de grupo de control posterior: diferentes fuentes de

sesgo.

Las muestras deben ser grandes para tener validez estadística.

Difícil de construir grupos con características idénticas.

Difícil de valorar otros factores que influyen el grupo de control.

Requieren varias mediciones con el paso del tiempo.

Al volver a medir, los hogares de la muestra pueden haber

cambiado.

Alto costo de la metodología.

Requieren varias mediciones con el paso del tiempo.

¿Cómo evaluar programas de eduaciónfinanciera…?

a)¿… más allá de una mera medición deresultados inmediatos?

b)¿…sin aplicar metodologías que rebasanlas posibilidades (recursos, tiempos,presupuesto) de las organizaciones?

2. Social Performance Assessment

¿Cumple con su misión?

¿Alcanza la población objeto prevista?

¿Alcanza las metas propuestas?

¿Produce resultados adecuados y relevantes?

¿Tiene impacto para su población objeto?

Aspectos a evaluar en un programa de educación financiera

Es un método práctico para analizar, si intervenciones son positivaspara el grupo meta.

Propósitos centrales:

- Medir los avances en los resultados pretendidos.- Medir el número y tipo de personas alcanzadas, etc.- Analizar la visión de los beneficiarios sobre calidad de los

resultados.- Identificar “lecciones aprendidas“ para mejorar en el

futuro.- Enlazar planeación con medición.- Enlazar aprendizaje con mejoramiento.

Social Performance Assessment (SPA)

Es la puesta a la práctica de los objetivos sociales de una institución de acuerdo a valores sociales aceptados, como son:

• sustentabilidad.• atención a personas de bajos recursos o en condición de

exclusión.• mejora de las condiciones económicas y sociales de los

beneficiarios.• trabajar con responsabilidad social ante

clientes, empleados y la población objeto.• entre otros.

¿Qué es “Social Performance”?

Dimensiones del análisis:

Cuálitativa

PerceptualEmpírica

Cuántitativa

Social Performance Assessment (SPA)

Social Performance Assessment (SPA)

− Evaluación externa estructurada de la organización.

− Se evalúan:

- La misión y los objetivos.

- Los procesos y la operación.

- Los servicios brindados.

- Cuáles clientes alcanza y cómo los alcanza.

- Los beneficios para los clientes:

- Manejo de las finanzas personales/del hogar.

- Situación económica.

Tres tipos de impacto en educación financiera

Impactos directos de manejo financiero

Impactos directos e indirectos económicos

Impactos (indirectos) extensos

Manejo financiero mejorado (o no) con respecto a:… uso de ingresos y esquema

de gastos… planeación financiera … emergencias… ciclo del año y ciclo de vida… adquisición de productos… etc.

Mejora (o no) de bienestar, por ej.:-poder mejorar las condiciones de vidainmediatas

-poder mejorar lascondiciones de vivienda

-Poder pagar mayor nivelde educación

-reducir vulnerabilidad-etc.

Cambios positivos (o no) en un ámbito más extenso-empoderamiento depersonas marginadas

-mejora del desempeño delas MiPYMES

-menor impacto de posiblesemergencias y/o crisis

Tabla: Christiane Ströh de Martínez/Ursula Heimann 18

Proceso de un SPA

ObjetivosMisión

ProcesosProductosEntregaRecursos HumanosEtc.

Resultados- Poblaciónalcanzada

- Opinión- Satisfacciónalcanzada

CambiosMejoras

�Datos básicos y financieros de la organización.

�Objetivos, misión y visión de la organización.

�Indicadores para analizar los avances hacia las metas que tiene la organización.

�Datos que pueden ilustrar lecciones aprendidas.

�Opinión por parte de los beneficiarios/clientesy otros “stakeholders”.

Datos recolectados

Evaluar los pasos descritos:

1.) Misión, Objetivos.

2.) Procesos, productos, forma de entrega, recursos humanos.

3.) Resultados: personas alcanzadas y opinión/satisfacción.

4.) Cambios alcanzados: a) cambios en conocimiento > cuestionarios, etc. b) cambios en manejo financiero > según opinión de beneficiarios.c) mejoras en uso de recursos > según visión de beneficiarios.

¿Cómo aplicar SPA a programas de educación financiera y de formación de capacidades financieras?

Aplicando SPA en educación financiera

-Estatutos

-Seguimiento

a la misión

-Grupos meta:

Selección y primer

contacto

-Implementación:

contenidos, metodos

y presentación

-Recuros humanos:

proprios y otros

-Recursos financieros:

sustentabilidad

Resultados:

- Población

alcanzada

- Satisfacción de

necesidades de

educación

financiera

- Satisfacción

personal

Cambios

Mejoras

Misión y

visiónProcesos Resultados

-Cambios en

conocimientos

(“que

entendí?”)

-Cambios en el

comporta-

miento (“qué

cambió para

mí?)

Herramientas en un SPA

- Revisión de

documentos

- Entrevistas

semi-

estructuradas

-Grupos meta: analisis

de satisfacción

-Implementación:

entrevistas,

observación de

talleres

-Recursos: entrevistas

semi-estructuradas

con personal y

representantes de la

organización

- Población

alcanzada:

análisis de

datos

- Grupo de

enfoque sobre

necesidades de

educación

financiera y

satisfacción

con servicios

Cambios

Mejoras

Misión y

visiónProcesos Resultados

- Cambios en

conocimientos

- Cambios en

el comporta-

miento

- Grupos de

enfoque

“caminos de

la vida”

Social Performance Management (SPM)

− Rutinas estructuradas internas de monitoreo y evaluación.

− Se evaluan:

- los procesos y la operación.

- los servicios brindados.

- cuáles clientes alcanza y cómo los alcanza.

- los beneficios para los clientes.

− Tienen el fin de levantar datos periódicamente.

− Y poder mejorar los servicios para los clientes continuamente.

GRACIAS POR SU ATENCIÓN.

Dra. Ursula HeimannDirectora

ursula.heimann@solliv.com

www.solliv.com