Weiss, Carol_Investigacion Evaluativa

7/30/2019 Weiss, Carol_Investigacion Evaluativa

1/15


2/15

Catalogacl6n en la fuenteWeiss, Carol H.Investlgadon evaluatlva : metodos paradetermlnar la efldencla de los programas deacclOn. -- 2a ed. -- Mexico: Trlllas, 1990(relmp. 2001).

183 p. ; 23 cm.Traducdon de: Evaluation Research. Methodsof Asses/sing Program EffectJvenesBlbllografFa: p. 157-176Induye Fndlces15BN968-24-3353-31. Clendas soclales - Investigadon. I. t.

D- 300. 72'W1561 LC-H62.A5'W4.5 514

TItulo de esta obra en Ingles:Evaluation Research. Methods of Asseslslng Program EffectlvenesVersion autorlzada en espanal de laprimera edicion publicada en Ingles por Prentice-Hall, Englewood Cliffs,Nueva Jersey, EUALapresentaclon y dispos/don en conJunto deINVE5TIGACION EVALUATIVA. Metodos para determinarla eflcienc;a de los programas de acdOnson propiedad del editor. Ninguna parte de esta obrapuede ser reprodudda 0 trasmitida, mediante nlngun sistemao metxxio etearovco 0 mecsruco (incluyendo el fotocoplado,la grabac/on 0 cualquier sistema de recuperacion y almacenamientode informacion), sin consentimiento por escrito del editorDerechos reservados en lengua espanola 1975, Editorial Trillas, 5. A. de C. v.DiVisiOn Admlnlstrativa, Av. Rfo Churubusco 385,Col. Pedro Marfa Anaya, C. P. 03340, Mexico, D. f.Tel. 56884233, FAX 56041364Division Comerclal, Calz. de la Viga 1132, C. P. 09439Mexico, D. f. Tel. 56330995, FAX 56330870Miembro de la Camara Nacional de laIndustria Editorial. Reg. num. 158Primera edicion en espanol, 1975 (l5BN 968-24-0596-3)Relmpreslones, 1978, 1980, 1982, 1983, 1985, febreroy septiembre 19875egunda edicion en espanol, 1990 (l5BN 968-24-3353-3)Reimpresiones, 1991, 1992, 1996, 1997 y 1999

Sexta reimpresi6n, enero 2001*

prologo

ESTE LIBRO SE ocupa de la aplicaci6n de los metodos de la investigaci6n para la evaluaci6n de programas sociales, de programas en loscampos de la educaci6n, el trabajo social, las correceionales, la saludpublica, la salud mental, el entrenamiento para el trabajo, la asistenciatecnica, las actividades de la comunidad, las leyes y as! sucesivamente.Se Ie ha diseiiado como texto fundamental para cursos sobre investigaci6n evaluativa en el numero cada vez mayor de escuelas que ofrecenel curso, y como obra complementaria en el gran numero de eursos sobre metodos de investigaci6n. Ha sido redactado de manera que sirvatanto para la enseiianza de pregrado como de posgrado, y se ha procurado dar una explicaci6n clara de los conceptos y de las tecnicas, acornpaiiada de abundantes ejemplos.El tema fundamental del libro es el de que la evaluaci6n emplea losmetodos y el instrumental de la investigaci6n social, pero los utiliza enun contexto de acci6n que. intrlnsecamente, no se muestra hospitalariocon ellos. Los investigadores que se lanzan a la evaluaci6n, habiendorecibido unicamente instrucci6n en metodos de investigaci6n tradicionales, a menudo se pierden en las complejidades del marco de la acci6n.Uno de los fines primordiales de la obra es el de familiarizar al lectorcon las realidades del mundo de la evaluaci6n. Inclusive Ilegue a pensar en titulos como los de "Mi vida entre evaluadores" y "Dentro de lainvestigaci6n evaluativa", como manera de indicar el grado en que mepreocupan las cuestiones de la vida real en el proceso de evaluaci6n. Supongo que el lector esti familiarizado con los metodos fundamentalesde investigaci6n; pero, aunque s610 los conozca de lejos, leers coo provecho el libro. Otras obras de la serie "Metodos de la ciencia social".de Editorial Prentice-Hall, ofrecen mayores detaIles acerca de temascomo los del analisis de datos, que yo trato muy superficialmente. Hagohincapie en la aplicaci6n de los metodos de investigaci6n en el ambientede un programa de acci6n. Pretendo seiialar a los lectores los interrogantes y problemas mas notables del momento y ofrecer orientaci6npara adaptar los metodos de los libros de texto que mejor se prestana trabajar en el mundo especial donde vive el evaluador,

Actualmente, en los Estados Unidos existe una demanda enorme deevaluadores peritos, para trabajar en todos los programas federales nuevos consagrados a la educaci6n, la educaci6n vocacional, la rehabilita-Impreso en Mexico &Printed in Mexico


3/15

1inlroduccion

EL TERMINO EVALUACI6N es una palabra elastica que se extiende paraabarcar muchas clases de juicios. La gente habla de evaluacion de laejecuci6n de la tarea por parte de un trabajador, de evaluaci6n de ungui6n c i n e m a t o ~ M i c o , de evaluaci6n del potencial de ventas de un nue-vo detergente. Lo que tienen en comun todos los empleos del terminoes la noci6n de juzgar el valor 0 los meritos de alguna cosa, Alguien


4/15

14 Cap. I Introducci6n. para con los criterios que se habian establecido. Luego saca concIusiones acerca de la eficacia, el valor, el exito del fen6meno que se estaestudiando.

EI proceso de investigaci6n consume mas tiempo y cuesta mas dinero que las evaluaciones que connan simplemente en la intuici6n, la opini6n 0 la sensibilidad entrenada, pero permite alcanzar un rigor queresulta especialmente importante cuando: a) los resultados que quierenevaluarse son eomplejos, dificiles de observar y constar de muchos elementos que reaccionan de diversas maneras; b) las decisiones que seransu consecuencia son importantes y caras, y c) se necesitan pruebas paraconvencer a otras personas acerca de la validez de las concIusiones.

En la ultima decada, los programas sociales, a todos los niveles, hanaumentado enormemente. Algunos son prolongaciones 16gicas de esfuerzos anteriores, otros representan rompimientos radicales con el pa- Isado y se aventuran por caminos no trillados. Quienes toman decisionesquieren (y necesitan) saber: dcon que grado de acierto esta curnplien- Ido el programa los objetivos para los que se estableci6? dSe Ie deberfa Icontinuar, ampliar, reducir, cambiar 0 desechar? Es dificil llegar a lasrespuestas valiendose de procedimientos informales. Las personas mejorinformadas (e l personal que tiene a su cargo el programa ) tienden aloptimismo y, en todo caso, tienen interes particular en hablar de que seha alcanzado exito, Muchos programas ofrecen toda una variedad deservicios y tratan con gran mimero de participantes. Un pufiado de "testimonios de los consumidores" 0 una rapida gira de inspecci6n no ser- !viran gran cosa para estimar su eficacia. Las decisiones en torno a lasoperaciones futuras afectaran el destino de muchas personas y requeriran el empleo de considerables cantidades de dinero, aparte de quequienes toman las decisiones suelen ser personas (Iegisladores, juntas ;de directores), que estan 10 suficientemente apartadas del programacomo para desear que se les presenten hechos bien establecidos sobrelos cuales basar sus decisiones. En tales circunstancias, la investigaci6nevaluativa parece adaptarse bien a la tarea de proporcionar la informaci6n requerida, y en afios recientes se ha convertido en una creciente !empresa.

APORTACIONES A LA TOMA RACIONALDE DECISIONESLa investigaci6n evaluativa, en opinion de quienes la practican, es

una manera de aumentar la racionalidad de las decisiones. Al con tarcon informaci6n objetiva acerca de los resultados de los programas esposible tomar decisiones atinadas en materia de asignaci6n de partidaspresupuestarias y de planeaci6n de los programas. Los programas querindan buenos resultados se ampliaran, los que no 10 rindan seran dese-

Aportaciones a la toma raciooal de decisiones 15chados 0 se les haran modificaciones drasticas. EI extracto siguiente delReport to the People, del congresista Dwyer (republicano de Nueva Jersey), aun cuando no mencione la investigaci6n evaluativa, si contienela exposici6n razonada de todo 10 que puede decirse en favor de la evaluaci6n:

Es cada vez mas claro que gran parte de nuestra inversi6n en camposcomo los de la educaci6n, la salud publica, la pobreza, los empleos, Iavivienda, el desarrollo urbano, los transportes y demas, no nos esta rindiendo los dividendos esperados, en funci6n de los resultados. Sin quemengiie, ni por un momento nuestra voluntad de atender satisfactoriamente estas apremiantes necesidades humanas, una de las tareas primordiales, aunque a menudo demoradas, del Congreso, consiste en reexaminar nuestra multitud de programas soeiales, y concentrar los recursos (enverdad, aumentarlos) sobre prograrnas que den resultado, am donde lasnecesidades sean las mas grandes, y reducir 0 eliminar el resto. Ya notenemos ni tiempo ni dinero que desperdiciar en cosas no esenciales, queno produciran la necesaria influencia visible en los problemas.!Tanto en la escala nacional como en la local, se considera que laaplicaci6n de los conocimientos y la metodologia de las ciencias soeiales tendra efectos beneficiosos: mejorara la toma de decisiones, daralugar a que se planeen mejores programas y, de esta manera, rend iraun servicio a los participantes en los programas de maneras mas beneficiosas, eficientes e inherentes. Aportar testimonies objetivos se inter

preta como una manera de reducir la politiqueria y las maniobras enbeneficio proplo que eomunrnente acompafian a la toma de deeisiones,en todos los niveles, desde el Congreso hasta la escuela del lugar. Losdatos sustituiran a los Iavores y a otras negociaciones politicas de manera que se tomaran las decisiones mas racionales.En funci6n de 10 antes dicho, ha sido decepcionante la historia de

la investigaci6n evaluativa hasta nuestros dias, Pocos son los ejemplosde aportaciones importantes a las politicas y a los programas que puedan citarse. La raz6n, en parte, consiste en la notable resistencia de lasorganizaciones a la informaci6n indeseada - y al cambio indeseado.Hasta la prueba del franco fracaso dejara a algunas instituciones, figurada y literalmente, inc6lumes. Parte de la culpa estriba en la maneracomo esta estructurada, dotada de personal y ejecutada la evaluaci6nmisma. Hay fisuras entre los fines propuestos de la evaluaci6n y las cIases de estudios realizados. Por cierto que esto constituye el tema de granparte de esta obra.Pero parte de la decepci6n qu e se siente por las aportaciones de laevaluaci6n proviene del caracter poco realista de las expectativas. Por

1 Dip. Florence P. Dwyer, Report to the People, 12Q Distrito de Nueva Jersey,XIV, nurn. 1, 22 enero de 1970.


5/15

16 Cap. 1 Introducd6n10 general, un estudio de evaluaci6n no desemboca en la obtenci6n dedatos decisivos e inequivocos aeerca del valor de un programa. Sus resultados nos muestran a menudo pequenos cambios, ambiguos, efectosde poca monta, resultados en los que han influido sueesos especificosdel lugar y del momento. Tal Vf'Z se necesitara de un estudio continuadoa 10 largo del ticmpo y comparando proyectos para hablar con seguridadde exito y de fracaso.

Ademas, para quienes toman decisiones, la evaluaci6n de la evidencia del resultado es s610 una "entrada" 0 "insumo" entre muchos. Tieneque considerar multitud de otros factores, desde la reeeptividad del publico y la reacci6n de los participantes hasta los costos, la cantidad derecursos y de personal de que se disponga y las diversas altemativasposibles. Quienes conHan en que la evaluaci6n logre desterrar la "polltiea" de la toma de decisiones tendran que sufrir desengarios. Dentrode cada organizaci6n, a las decisiones se lIega mediante negociaci6n ytransacciones, mediante poUtica. Este es el sistema de que nos valemospara asignar oalores a los hechos. Diferentes actores aportan valores yprioridades distintas al nroceso de toma de decisiones. Los hechos dela evaluaci6n eiercen influencia en las decisiones colectivas s610 en lamedida en que" se considera valiosa la eficiencia del programa, tal eficiencia -inevitable y justificadamente- compite, en 10 relativo a influirsobre las decisiones, con consideraciones en materia de aceptabiIidad,factibilidad e ideologia. A veces resulta emotiva y poHticamente remunerativo realizar un programa, aun cuando se haya mostrado que tendria poea consecuencia no hacer nada por eI grupo particular de que setrate. A veces el ambiente ideol6gico existente impide la adopci6n deprogramas mas efectivos que puedan violar supuestos y valores muyaeeptados.

Dentro de este contexto hay que reflexionar sobre la evaluaci6n. Loque esta puede haeer es proporcionar datos que reduzcan ineertidumbres y aclarar las perdidas y ganancias en que decisiones diferentes pueden incurrir. De tal manera, permite a quienes toman decisiones aplicarcon mayor precisi6n sus valores y preferencias, con un mejor conocimiento de los "cambalaeheos" que encierran las diversas opciones posibles.

FINES DE LA INVESTIGACI6NEI objeto de la investigaci6n evaluativa es medir los efectos de unprogram a por comparaci6n con las metas que se propuso alcanzar, a finde contribuir a la toma de decisiones subsigulentes aeerca del programay para mejorar la programaci6n futura. En esa definici6n hay cuatrorasgos primordiales: la expresi6n "medir los efectos" haee referencia aIa metodologfa de investigaci6n que se emplea. La expresi6n "los efee-

Fines de la investigaci6n 17tos" haee hincapie en los resultados del programa y no en su eficiencia, honestidad, moral 0 respeto a reglas 0 normas. La comparaci6nde los efectos con metas subraya el uso de criterios expHcitos para juzgar hasta que punto el programa va marchando bien. La contribuci6na la toma de decisiones subsigutente y al mejoramiento de la programaci6n futura denota la finaUdad social de la evaluaci6n.

Hay muchas clases de programas. No s610 abarcan toda una gamade campos; varian tambien por sus alcances, dimensiones, duraci6n,cIaridad y especificidad de las entradas del programa, complejidad demetodos y grado de innovaci6n. Estas diferencias que existen entre losprogramas contienen consecuencias importantes para eI tipo de evaluaci6n que es factible y productiva. Una cosa es evaluar los efectos deun pequeno programa, de corta duraci6n, especffieo, bien definido,como serla una pelicula para entrenamiento, y otra cosa, muy diferentey mucho mas dificil, evaluar los efectos del programa nacional de luchacontra la pobreza, dada su diversidad de metodos, aeeiones y metas.Al evaluador Ie resultara recompensador darse cuenta de algunas delas diferencias existentes entre los programas, a fin de facilitarle labusqueda de maneras ideales de dar forma a los enfoques y metodosevaluativos.

Alcances. EI programa que esta siendo evaluado, tal vez abarque ala naci6n 0 a una regi6n, a un estado, a una ciudad, a un barrio 0 secircunscriba a determinado lugar (un aula). Algunos programas se realizan en locales dispersos (un programa para tratamiento con methadone para drogadictos, en diez hospitales dispersos por el pais).Dimemi6n. Los programas pueden dar servicio a unas cuantas personas 0 a miles y aun a miIlones de seres humanos.Duraci6n. Un programa puede durar unas cuantas horas, 0 dias 0semanas, determinado mimero de meses 0 de afios, 0 proseguir indefinidamente (el programa de los nifios exploradores, el sistema de la educaci6n publica).Claridad y especificidad de las "entradas del programa. Lo que elprograma esta hacienda realmente puede ser algo bien definido y preciso; por ejemplo, puede instalarse un alumbrado publico mas eficaz, endeterminadas calles, con objeto de reducir la delincuencia. Muchos programas tienen algnn grado de claridad (un nuevo plan de estudios delas materias cientificas, la coloeaci6n en hogares adoptivos), puesto quese estan empleando materiales especificos 0 un metodo en particular,pero eI estilo y la pericia en su administraci6n pueden ser diferentesde acuerdo con los distintos miembros del personal. En el caso extremo,hay programas difusos, muy variables y diffciles hasta de describir (unprogram a de interplaneaci6n para varias organizaciones oficia les).Complefidad y longitud de tiempo abarcado por las metas. Algunosprogramas tienen como objeto producir un cambio 0 unos cambios claros y tajantes (mejoramiento de la capacidad de lectura, celocacion en


6/15

18 Cap. I Introducci6nun empleo). Otros tratan de alcanzar metas mas complejas (convertira los nifios en mejores ciudadanos, mejorar la salud mental, el funcio-namiento de la familia) que son mas diHciles de definir 0 medir. Unameta como la de "mejorar 1a calidad de 1a vida urbana" contiene en simisma no solo gran numero de submetas (que tienen que haeerse ex-pHcitas), sino tambien submetas ambiguas (mejorar la estetica del pai-saje urbano) que plantean aterradores problemas de conceptualizaciony medicion.Otro problema es el de la longitud de tiempo comprendido por lasmetas, Le es mas facil al eva1uador tratar con cambios propuestos quese manifiestan rapidamente que con aquellos que se hacen evidentes 0seguros solo despues de decenas de afios,Grado de innovacion. En un extremo del continuo tenernos progra-mas que constituyen un drastieo apartarse de los rnetodos de operacionacostumbrados. En e1 otro tenemos los programas ordinarios en marcha .de organizaciones bien establecidas. !Las caracterfsticas del programa afectaran a la clase de evaluacionque puede haeerse y a los fines que permitira alcanzar la eva1uacion.En el capitulo dos se examinara con mayor detalle el tema de los fines.Uno de los problemas que encierra la buena investigacion evaluativaconsiste en que distintas personas asignan diferentes fines a la evalua-cion y desean utilizar sus resultados de maneras diversas. A menos Quey hasta que e1 evaluador descubra concretamente quien es el que quie-re saber algo, y cuales son los fines que persigue con ello, el estudio eva-luativo probab1emente se hundira en un pantano de expectativas enconflicto.

COMPARACIoN ENTRE LA EVALUACI6NY OTRAS INVESTIGACIONESLa evaluacion aplica los metodos de la i n v e s t i ~ a c i o n social. Los prin-cipios y los rnetodos que tienen validez por 10 que respecta a todos losdemas tip os de Investigacton. son validos nqul tambien. Todo 10 quesabemos acerca de disefio, medicion y analisis entra en juego para pla-near V efectuar un estudio de evaluacion. Lo Que distingue a la inves-tigacion evaluativa no es el metodo 0 la materia de estudio, sino la in-

tendon. el objetivo 0 fina1idad con que sa lleva a cabo.Diferencias

Uso para la toma de decisiones. La evaluacion esta destinada al uso,MientraS que la Investigacion fundamental hace htncapie en la produc-cion de eonocimientos y confia su uso a los proeesos naturales de la di-seminacion y la aplicaeion, la evaluaeion parte del uso. En su forma

Comparaci6n entre 1a evaluaci6n y otru investigaciones 19ideal, la evaluacion se realiza para un cliente que tiene que tomar deci-siones y que recurre a ella para encontrar respuestas en las cuales basarsus decisiones. A menudo, el uso es menos directo e inmediato de 10que acabamos de decir, pero proporciona siempre el fundamento racio-nal de la evaluacion.lnterrogantes derivados del proerama. Los puntos que tiene en cuen-ta la evaluaolon son los del que tiene que tomar decisiones y no la delevaluador, A diferencia del i nvestigador fundament al que formula suspropias hipotesis, el evaluador se ocupa de 10 que preocupa a los progra-mas mismos. Puede deci r mucho aeerca de la forma del estudio, y 10aborda con las persj'ectivas de sus propios conocimientos y de su dis-ciplina. Por 10 comun esta en lib ertad de entrelazarlo con investigacio-nes que Ie interesen particularmente a el; pero el meollo del estudioesta constituido por asuntos de interes administrativo y programatico,La hip6tesis eornun de la evaluaeion es la de que el programa esta efee-tuando 10 que se propuso hacer,CaUdad del il/ido. La evaluacion compara "10 que es" con "10 quedeberia ser". Aunque el mismo investigador carezca de prejuicios y semantenga objetivo, se ocupa de fenomenos que demuestran que el pro-grama esta alcanzando 0 no las metas propuestas. Sea como qulera quese formuIen los interrogantes 0 problemas que se estudiaran, en algunaparte de la formulacion anareeera la preocupacion por estar a la alturade los criterios establecidos. Este elemento del juicio por eornparacioncon criterios es fundamental para la evaluaeion y la distingue de otrasclases de investlgacion. Por consiguiente, el enuneiado de las metas delprograma, por parte del personal del mismo, tiene un valor esencial parala evaluacion, Constituyen un inconveniente grande descubrir que losprogramas, por 10 general, no tienen enunciados claramente sus obje-tivos. En el capitulo 3 estudiaremos los problemas que esto encierra,Marco de acoion. La evaluaclon se realiza en un marco de aecion,en el que 10 mas imnor tante de 10 que esta ocurriendo es e1 programa,el cual esta prestando servicios a 1a gente. Si existen conflictos de ne-eesidades entre el progra ma y la evaluaoion, 10 mas prob able es que seIe coneeda prioridad al programa. A menudo, el personal del programacontrols el acceso a las personas a quienes sa da servicio en el mismo.Tambien puede controlar el acceso a los expedientes y archivos. Tiene asu cargo la asignacion de los participantes a las actividades y localida-des del programa. Frecuentemente, las necesidades de la investigacion(de datos anteriores a la iniciaeion del mismo, de grupos de control)chocan con proeedimientos establecidos del programa, los cuales tien-den a prevalecer.Conflictos entre papeles. Son frecuentes las fricciones interperso-nales entre evaluadores y ejecutantes del programa. Los papeles quedesempeiian los ejecutantes y las normas de sus profesiones encaminadasal servicio tienden a hacerlos insensibles a las necesidades y promesas de


7/15

20 Cap. 1 Introducd6nla investigaci6n. A su entender, 10 imperativo es el servicio; la investigaci6n evaluativa tal vez no haga aportaciones tan importantes al mejoramiento del servicio que justifiquen las interrupciones y las demoras, Amenudo, creen firmemente en el valor del programa que estan ejecutando y no consideran que exista necesidad de evaluaci6n. Ademas, lacalidad de juicio que tiene la investigaci6n evaluativa significa que seesta sopesando el merito de sus actividades. En cierto sentido, seg6n 10entienden, se les esta juzgando. Si los resultados de la evaluaci6n sonnegativos, si se descubre que el programa no esta cumpliendo los finespara los que se cre6, entonces estan en peligro el programa y, acaso, ,sus empleos. Son obvias las posibiIidades de que surj an fricciones, '

PubUcaci6n. Se publica la investigaci6n fundamental. Su diseminaci6n entre la fraternidad de investigadores y profesionales es esencial ynadie la discute. En el caso de la evaluaci6n, podemos decir que pro- Ibablemente la mayoda de los informes de los estudios se queda sin ipublicar. Los administradores y el personal de los programas creen a Imenudo que la informaci6n se gener6 para encontrar respuesta a sus pre- tguntas, y no tienen muchas ganas de que su ropa sucia se lave en pu- iblico. A veces, los evaluadores estan tan escasos de tiempo, 0 tan decep- Icionados por causa de las componendas que han tenido que hacer enel disefio de la investigaci6n que entregan un informe en mime6grafo ial organismo de que se trate y pasan a hacer el siguiente estudio; sin !embargo, si hemos de avanz ar en 10 que r especta a sab er cuales tipos de Iprogram as dan buenos resultados y cuales no, es esencial contar con unabase de informaci6n acumulativa. S610 a traves de la publicaci6n se iranacumulando resultados; aun cuando estos muestren que el programa noha dado mayores rendimientos, es importante que otros se enteren delos descubrimientos a fin de que no se repitan, una y otra vez, programas inefectivos.

Por supuesto, no todos los estudios de evaluaci6n valen la pen a deser publicados. Los estudios mal realizados son mas perjudiciales queutiles. Ademas, si el evaluador ha tratado sus problemas de manerastan concretas y especHicas que sus resultados no son generalizables masalla del programa inmediato, no habra mucho que comunicar a otros.Hovland traza una distinci6n entre "poner a prueba el programa" y "poner a prueba las variables". Si s610 el programa especifico ha sido puesto a prueba y no los conceptos 0 los enfoques (variables) en los que estafundado, el estudio no aportara mayor cosa al desarrollo del conocimiento.Fidelidad. El que investiga acerca de evaluaci6n tiene una fideli

dad doble y quiza triple. Tiene obligaciones para con la organizaci6nque paga su estudio. Debe entregar un informe de irrestricta objetividad y que posea toda la utilidad para la acci6n que pueda idear. Aparte de la organizaci6n de que se trate, tiene el deber de hacer aportaciones para el mejoramiento de los esfuerzos en pro del cambio social.

Comparaci6n entre 1a evaluaci6n y otras investigaciones 21Independientemente de que la organizaci6n este de acuerdo 0 no conlas conclusiones de su estudio, con frecuencia el evaluador descubre quetiene el deber de esforzarse en pro de su aplicaci6n para el bien cormm.Por ambos conceptos, tiene compromisos en el campo de la acci6n. Tambien tiene deberes para con el desarrollo del conocimiento y hacia suprofesi6n. En su calidad de cientlfico de la sociedad, debe procurarampliar las fronteras del conocimiento acerca de c6mo la intervenci6nafecta las vidas y las instituciones humanas.Si algunas de las diferencias entre la investigaci6n evaluativa y lainvestigaci6n social mas academlca nos llevan a pensar que la suertedel evaluador es excesivamente dura, hay que decir tambien que existen comnensaciones. Una de las mas gratificantes es la de la oportunidnd de participar activamente en la tarea de integrar los conocimientos cientificos a la acci6n social y de contribuir al mejoramiento de losprogramas societarios. Es esta oportunidad la que ha atraido a tantostnvestigadores capaces hacia el campo de la investigaci6n evaluativa apesar de las dificultades que acompafian a su praetica.

SemejanzasExisten tambien semejanzas importantes entre la evaluaci6n y otrasclases de investigaci6n. Como otras investigaciones, la evaluaci6n tratade describir, de eomprender, las relaciones entre variables y establecer la secuencia causal. Porque esta estudiando un programa que interviene en las vidas de las personas con la intenci6n de producir un cambio, la evaluaci6n puede hacer, a menudo, inferencias directas acercade los vineulos causales que conduce desde el programa hasta el efecto.Los evaluadores utilizan toda la gama de metodos de investigaci6npara recabar informaci6n: entrevistns, cuestionarios, tests de conocimiento y destrezas, inventarios de actitudes, observaci6n, analisis del contenido de documentos, registros y expedientes y examen de las evidencias fisicas. Los evaluadores ingeniosos suelen encontrar las maneras

mas convenientes de explorar una amplia ~ a m a de efectos. La clase deesquema para reunir datos que se utilice dependera de la clase de informaci6n que se necesite para dar respuesta a las preguntas especificas que plantea la evaluaci6n.El disefio elasico de las evaluaciones ha sido el modelo experimental. Esto requie re la medici6n de las variables apropiada s de por 10 menos dos ~ p o s equivalentes, uno de los cuales habra quedado expuestoa la acci6n del programa, en tanto que el otro no 10 habra estado. Seutilizan muchos otros disefios en la investigaci6n de evaluaci6n: estudios de caso, encuestas posprograma, analisis de las series de tiempo,estudios de correlaci6n, y asi sucesivamente. El modelo experimentalque durante largo tiempo ha reinado como el disefio ideal (aunque a


8/15

22 Cap. 1 Introducdonmenudo desdeiiado) para la investigacion evaluativa recientemente hasido objeto de diversas oriticas. En el capitulo 4 se tratara con mas detalle estos interrogantes.No existe una f6rmula perfectamente probada que se pueda ofrecera los evaluadores acerca de la "mejor" manera 0 mas conveniente derealizar su estudio. Mucho dependera de los usos que vayan a darse alestudio, de las decisiones pendientes y de las necesidades de informaci6n de quienes tornen las deeisiones. Mucho dependent tambien (pordesgracia) de las restricciones que se encuentren en el ambiente delprograms, de los Hmites fljados al estudio por las realidades del tiempo,del lugar y de las personas. dinero es algo que hay que tener eneuenta tambien. Los libros de texto rara vez mencionan al sucio dinero,pero un presupuesto limitado impone restricciones inevitables en materiade cuanto es 10 que puede estudiarse y durante que tiempo. Asf pues,los metodos evaluativos representan a menudo una transaccion entre 10ideal y 10 factible.A veces se considera a la evaluaci6n como un orden inferior de lainvestigaci6n, sobre todo en los circulos academicos, por comparaci6ncon la investigaci6n "fundamental" 0 "pura". Se desprecia a los evaluadores como si fuesen los zanganos de la fraternidad de los investigadores tecnicos afanados en ventilar preguntas mon6tonas que ponen enpeligro constante su integridad en un mundo oorrunto; pero como lesdlra todo evaluador en activo, y con toda sinceridad, la evaluaci6n requiere un nivel de pericia mas alto que la investigaci6n que queda bajoel control completo del investigador. Es relativamente Iacil hacer exoerimentos en un laborator io aislado, con sujetos cautivos; pero realizartrabajo de investigaci6n, cuando se las tiene uno que ver con las complejidades de las personas reales, en programas reales, ejecutados pororganizaciones reales, requiere de pericia y de valentia. EI evaluadortiene que saber mucho acerca de la formulaci6n del problema de investigaci6n, del disefio del estudio, del muestreo, de la medici6n, del analisis y de la interpretaci6n. Tiene que saber 10 que se encuentra en lostextos acerca de metodos de investigaci6n y luego tiene que aprender aaplicar tal conocimiento en un ambiente que a menudo resulta inhospito para rasgos importantes de su conocimiento. Si no se sale de su librode texto, corre el riesgo de hacer un trabajo que nada tenga que ver conlas necesidades del organismo que se 10 encarg6, de chocar con el personal del programa con el que trabaja, y de ver desperdiciados los resultados de su estudio, en el caso de que Ilegue a completar su trabajo.De modo que, a veces, tiene que encontrarotras maneras posibles derealizar su estudio y, al propio tiempo, debe estar dispuesto a defenderhasta morir aquellos elementos del estudio respecto de los cuales nopuede IIegar a .ningun compromiso.

2objefivosde la evaluacion

EN ESTE CAPfn Iw veremos los fines, reconocidos 0 no, que bacen quelas personas decidan emprender la evaluaci6n de un programa. Sugerimos que el evaluador trate de descubrir que es 10 que quieren obtenerrealmente del estudio los que taman las decisiones y c6mo esperanutilizar los resultados. Con este conocimiento, podra ajustar mas eficazmente el estudio y diseiiarlo de manera que proporcione informacionpara tomar decisiones. La localizaci6n de la unidad de evaluaci6n -elsitio en que encaja en la estructura de la organizaci6n - determinara dealguna manera si eI estudio posee la latitud suficiente para ser uti!.Antes de entrar a tratar estas rnaterias, formularemos una preguntaprevia. eEsta justificada siempre la evaluaci6n? eSiendo buenos programitas, deberian todos los programas someterse a la evaluaci6n? Larespuesta, por heretica que pueda parecer, es no. La evaluaci6n, en sucaIidad de investigaci6n aplicada, esta consagrada aI principio de lautilidad. Si no tiene ninguna influencia en las decisiones resultara unatarea en vano. La evaluaci6n, probablemente, no valdra la pena dehacerse en cuatro clases de circunstancias:

l . Cuando no hay nada que preguntar acerca del programa. Se esta reaIizando y las decisiones sobre su futuro 0 no se van a tomar 0 ya sehan tornado.2. Cuando eI programa carece de clara orientaci6n. EI personal del programa improvisa sus aetividades de un dia para otro, basandose enpoeas reflexiones y menos principios y el programa eambia y se vatransformando, vagabundea y se orienta como puede, Ha y poca raz6npara Hamar a esto "programa".

11. Cuando las personas que deberlan saberlo no pueden ponerse de acuerdo en que es 10 que esta tratando de realizar el programs. Si existen25


9/15

24 Cap. 2 Objetivoo de Ia evaluadOngrandes discrepancias en las metas pensadas, la evaluaci6n carece defundamento sobre el cual levantarse.4. Cuando no hay suficiente dinero, ni personal 10 bastante calificadopara rcalizar la evaluacinn. Esta es una tarea exigente, que requieretiempo, dinero, imaginaci6n, tenac idad y destreza.

Hay quienes alegan que aim en tan tristes circunstancias Ia investigaci6n evaluativa puede producir algo de valor, algun resplandor penetrante que lograra prender una vela para el futuro. Es esta una noci6n atractiva, y de cuando en cuando sucumbimos a sus encantos enesta obra; pero la experiencia nos indica que hasta los buenos estudiosevaluativos de programas bien definidos, que tienen como objeto clarosfines de toma de decisiones, a menudo terminan siendo basura en elmolino burocratico. Excepcional sera el estudio, en verdad, que "arrojeluces" en condiciones nada favorables.

OBJETIVOS PATENTES Y ENCUBIERTOSLa gente decide evaluar un programa por multiples y diferentes razones, que van desde 10 eminentemente racional hasta 10 patentemente

politico, De manera ideal un administrador busca respuestas a apremiantes preguntas acerca del futuro del programa: edebera continuar? eSeIe deberla ampliar? eHabrfa que hacer cambios en su operaci6n? Perohabra ocasiones en las que reeurra a la evaluaci6n por razones menoslegftirnas.Aplazamiento. El que toma decisiones quiza ande buscando la forma de aplazar una decisi6n. En vez de recurrir a la estratagema cormmde designar un eomite y esperar a que rind a su informe, puede encargarun estudio evaluativo, que requiere aun mas tiempo.Eludir responsabilidndes. A veces, una facci6n, en la organizaci6ndel programa, es partidaria de un curso de acci6n, en tanto que otrafacci6n se opone al mismo. Los administradores echan mana de la evaluaci6n para que los saque del enredo al aportar testimonios desapasionados, que tomaran por ellos las decisiones. Hay casos en que los administradores saben cual sera la decisi6n aun desde antes de llamar a losevaluadores, nero dcsean envolverla en las vestiduras legitimadoras dela investigaci6n.Relaciones p6blicas. A veces, la evaluaci6n es considerada como manera de autoglorificarse. El administrador cree que cuenta con un programa de enorme exito yanda en busca de una manera de hacer visiblesus f!lorias. Un buen estudio Ie eaera de perilIas. Copias del informe,que hablen bien, por supuesto, se podran enviar a las juntas de fideicomisarios, a los miembros de los comites legislativos, a los ejecutivosde fundaciones filantr6picas, que otorgan grandes cantidades de dinero

Objetivoo patentee y encublertos ~ a losprogramas de exito, y a otros personajes influyentes. Suchman 1habla de dos finalidades emparentadas: echar hurno en los ojos y "adornarse". En la evaluaci6n para echar humo en los ojos, se hace el intentode justificar un programa debil, seleccionando para la evaluaci6n unicamente aquellos rasgos que tienen un buen aspecto superficial. La evaluaci6n para adornarse trata de encubrir el fracaso de un programa procurando evitar toda estimaci6n objetiva.Por supuesto, los motivos del administrador del program a no son necesariamente torcidos 0 egoistas. Por 10 general, es necesario justificarel programa ante las personas que pagan las cuentas y trata de rcunirapoyos para un concepto y un proyecto en cuyas virtudes eree. Obtenerapoyo para program as existentes es un motivo oormm para lanzarse auna evaluaci6n.A fin de cumpUr con los requisitos de un donatioo. Cada vez mas,la decisi6n de realizar una evaluaci6n proviene de fuentes que estanfuera del programa. Muchas donaciones federales para proyectos dedemostraci6n y para programas innovadores van acompanadas de unaexigencia de evah!aci6n; por eiemolo, todos los proyectos para ayudara alumnos no privilegiados, financiados conforme a 10 establecido enel articulo I de la Ley de educaci6n elemental y secundaria de losEstados Unidos, tienen que ser evaluados.Desde el punto de vista de los que conceden la ayuda econ6mica, yque estan corriendo el riesgo de financiar un proyecto que no ha sidonrobado en la practica, es razonable exigir que se aporten algunas prue-'bas del grado en que el proyecto esta funcionando bien. Para quienesse eneargan de la ejecuci6n de un proyecto, cobran prioridad las demandas de que se inicie y comience a ejecutar el nuevo programa. Acosados como estan, a menudo, por problemas inmediatos de conseguirpersonal, elaborar presupuestos, obtener apoyo logistico, entrar en buenas relaciones con la comunidad y todas las demas duras pruebas queal!Uardan a los precursores, tienden a olvidarse de la evaluaci6n. Ven enella, principalmente, un ritual destinado a propiciar y aplacar a las divinidades que sueltan el dinero, pero carente de utilidad real para el1os.Asi pues, la evaluaci6n es una empresa racional que a menudo seefectUa por razones que no son racionales 0 , al menos, que no son informativas. Podriarnos seguir haciendo el catalogo de variedades defines encubiertos (justificar un programa ante el Congreso, "convenccr"al director del programa, aumentar el prestigio del organismo), pero10 importante es que tales motivos pueden tener consecuencias graves ytristes para la evaluacion."

1 Edward A. Suchman, "Action for What? A Critique of Evaluative Research".en Ia obra The Organization, Managemeflt, ana Tactics of Social Research, RichardO ' T o o I ~ , dir. (Cam bridg e, Mass.: Sl'henkman Publishing Co., Ic., 1970).

2 Vease Sar Levitan, "Facts, Fancies, and Freeloaders in Evaluatinz AntipovertyPrograms", Poverty and Human Resources Abstracts, IV, num, 6 (1969), 13-16; Ri


10/15

26 Cap. 2 ObjetivOl de Ia evaluaci6nEI evaluador a quien se Ie pide que estudie un programa en particular, suele suponer que 10 han llamado porque hay personas que deseanobtener respuestas en 10 tocante a 10 que el programa esta haciendobien 0 mal. Cuando no es tal el caso, en su ingenuidad podra convertirse en peon de las luchas de poder intemas de la organizacion, en unamanera de aplazar la accion, 0 en bandera de una 0 de otra ideologia.Algunos evaluadores han descubierto, despues de haber completado suestudio, que sin quererlo ni saberlo han desempeiiado un papel en unjuego politico mas grande. Ha n descubierto que nadie estaba particular

mente interesado en aplicar sus resultados a las decisiones que estab anmas a mano, sino unlcamente en utilizarlos (0 algUn trozo citable delos mismos) como munieion para destruir 0 para justificar.La leccion 1, para el evaluador que acaba de entrar en escena, dice10 siguiente: trate de descubrir a quien se Ie ocurri6 la idea de realizaruna evaluacion del programa y cuales fueron sus fines. ,l,Hubo otrosgrupos de la organizacion que pusieron en tela de juicio la evaluaciono Ie presentaron objeciones? ~ C u a l e s fueron sus motivos? los ejecutantes, en los administradores 0 en los que conceden los fondos, 0 entodos a la vez, existe una verdadera intencion de utilizar los resultadosde la evaluaeion para mejorar la fut ura toma de decisiones? Si los objetivos reales de la evaluacion no tienen que ver con un mejoramientode la toma de decisiones y no existe mayor intenci6n de aplicar los resultados, el proyecto, probablemente, no sera un buen sujeto de evaluacion. EI evaluador bien podria ponerse a reflexionar en si desea verseenvuelto en esta situacion, 0 si no sera me jor que bus que maneras masutiles de emplear su talento.

USOS QU E SE LE QUIEREN DARAun cuando la evaluacion se emprenda con fines sanos (es decir,

para enterarse del grado en que e1 programa esta realizando sus fines),en las personas existiran expectativas ampliamente diferentes de lasclases de respuestas que se produciran, Para que no Ie tomen desprevenido, el evaluador hara bien en enterarse, desde un principio, de cuales son las respuestas que se esperan obtener gracias a su estudio,"chard H. Hall. "The Applied Sociologists and Organizational Sociology", en la obraSociology in Action, Arthur B. Shostak (dir.) (Homewood, Ill.: Dors ey Press, Inc.,1966), pags, 33-38; Joseph W. Eaton, "Symbolic and Substantive Evaluative Research", Administrative Science Quartely, VI, nurn. 4 (1962), 421-442; Lewis A.Dexter, "Impressions About Utility and Wastefulness in Applied Social ScienceStudies", American Behavioral Scientist, IX, num, 6 (1966), 9-10.a Downs establece que el grade de la investigaci6n aplicada deberia estar jus tificado de manera econ6mica por el valor de la informaci6n que produce para latoma de decisiones. Los evaluadores, como otros investigadores, pueden quedar fascinados con el problema y hacer mas investigacion de la que necesita el programa,

!

27

lQuienes esperan obtener respuestasy que esperan obtener?Lo que se espera de la evaluaeion varia, por 10 general, de acuerdocon la posicion que ocupa una persona en el sistema," Los encargados

de tomar las decisiones superiores necesitan la clase de informacion queles permita tratar las cuestiones mas amplias: ~ d e b e r f a continuarse elprograma 0 interrumpirse, se Ie deberia institucionalizar en el sistemao seria mejor limitarlo a un programa piloto; deberia proseguir con losmismos procedimientos y tecnieas 0 mejor seria modificarlos? ~ D e b e r i a asignarse dinero a este programa 0 a otros programas? Necesitan informacion aeerca de la eficiencia general del programa.Los directores del programa se enfrentan a otros problemas. Deseansaber no solo CUlm bien esta alcanzando su programa los fines deseados, sino tambien cuales son las estrategias generales que tienen mayoro menor exito, cuales estan alcanzando resultados de la manera maseficiente y economica, cuales rasgos del programa son esenciales y cuales pueden cambiarse 0 desecharse.Los miembros del personal de servicio directo tratan con individuosy grupos pequefios. Les preocupan cuestiones practicas, del trabajo cotidiano, de las tecnicas. ~ D e b e r i a n destinar mas tiempo a crear buenoshabitos de trabajo y menos tiempo a ensefiar materias de estudio? ~ D e -berian hacer un mayor hineapie en las discusiones del grupo, en laspelfeulas 0 en las conferencias? ~ D e b e r i a n aceptar a personas mas jovenes? (que aun no tienen habitos fijos) a personas de mayor edad?

(que tienen mas grandes responsabilidades y necesidades mayores). Lospracticantes acostumbrados a confiar en su propia experiencia y en sujuicio intuitivo, a menudo quieren que la evaluacion les ofrezca algopractice para tratar problemas como estos.Y no puede decirse que estos tres conjuntos de actores -encargadosde fijar directrices politicas, directores de programas y ejecutantesconstituyan toda la lista de quienes tienen interes en el asunto de la evaluacion. Los que conceden dinero para la Investigacton evaluativa, particularmente cuando se encuentran fuera de la linea directa de operaciones, tal vez se interesen en aiiadir algo a la suma de conocimientosexistente en el campo. Probablemente deseen respuestas no tanto a prepero tambien subraya que los clientes necesitan con frecuencia una redeftnlcion problema y que se les propongan otros enfoques posibles. Anthony Downs, "SomeThoughts on Giving People Economic Advice", American Behavioral Scientist, IX,num, 1 (1965). 30-32. Por supuesto, es mucho mas cornun que el gastar demasiadodinero, tratar de hacer una evaluaci6n con fondos por demas insuficientes para elgrado y la precision de los resultados deseados., Una uti! discusi6n aparece en Louis Ferman, "Some Perspectives on EvaluatingSocial Welfare Programs" _-\nnals of the American Academy of Political and SocialScience, vol. 385 (septiembre, 1969), 143-156.I


11/15

28 Cap. 2 ObjelivOl de ]a evaluadonguntas de operaci6n como a cuestiones de teoria y metodo, dEl traba]o.social de grupo puede ayudar a mejorar la conducta paternal de las,parejas j6venes? lEI aumentar las oportunidades de hacer carrera para Ilos j6venes de ingresos bajos puede dar como resultado la reducci6n de 'la delincuencia juvenil? lSi la coordinaci6n entre los servicios de saludpublica de la comunidad se aumenta, recibira la gente mejores cuidadosmedicos? Es esta otra de las finalidades de la evaluaci6n, sujetar a prueba proposiciones aeerca de la utilidad de conceptos 0 modelos de servicio. EI publico en general tiene tambien interes en esto, en su calidadde contribuyentes, de padres de nifios que van a la escuela 0 de donadores de dinero a organizaciones voluntarias." Les interesa que su dinerose gaste sabia y eficientemente.

En fechas recientes, otro actor ha ingresado en la escena de la tomade decisiones, a saber, el consumidor de servicios. Tal vez descubra unuso para la evaluaci6n consistente en formular preguntas "a ojo de ellente" aeerca del programa que se esta estudiando. dEsta cumpliendo elprograma los fines que tienen valor para los presuntos beneficiarios delservicio? 6 En fechas recientes, en los Estados Unidos, sobre todo enalgunas comunidades negras, se ha levantado una creciente oposici6n alas formulaciones tradicionales de las metas del programs." A los activistas les interesa no s610 10 bien que los programas estan funcionandopara mejorar el aprovechamiento escolar 0 los cuidados medicos, sinotambien su legitimidad politica. Se interesan en la participaci6n de lacomunidad. 0 en el control de esta aeerca de los programas e instituciones. Cuando cobran relevante importancia estos faetores, las cuestionesde la evaluaci6n se originan en una perspeetiva radicalmente diferente.Compatibilidad de fines

Siendo tantos los posibles usos que se pueden dar a In cvaluaci6n,el que la realiza tiene que elegir. Es un mito la evaluaci6n que sirvepara todo. Aunque cierto mimero de diferentes tipos de cuestiones puede considerarse dentro de los limites de un solo estudio, esto requiereplaneaclon y disefio meticulosos. Inevitablemente, ni slquiera el mejorestndio nlaneado proporeionara informaci6n sobre todas las cosas quese Ie ocurra preguntar a la gente. De hecho, algunos fines de la evalua-

D Edward Wynne, en "Evrluatinq Educational Programs: A Symposium", Urbll1lReview. Ill, nUm. 4 (1969), 19-20.6 Philip H. Taylor, 'The Role and Function of Educational Research", Educa-tional Research, IX, mim. 1 (1966), 11-15; Edmund de S. Bronner, "EvaluationResearch in Adult Education", International Review of Community Deoelopmsnt,num, 17-18 (1967), 97-102.7 David K. Cohen, "Politics and Research: Evaluation of Social Action Programsin Education", Review of Educational Research; XL, mim, 2 (1970), plig. 232.

u_ que se Ie quieten da r 29ci6n son incompatibles con otros. Consideremos la evaluaci6n de determinado programa educativo para personas de lento aprendizaje.EI personal doeente desea utilizar los resultados a fin de mejorar lasexposiciones y los metodos de ensefianza del curse, sesi6n tras sesi6n, conobjeto de elevar al maximo el aprendizaje de los alumnos. La escuelanormal del estado desea saber si el programa educativo, basado en determinada teorfa del aprendizaje, mejorara la actuaci6n de los alumnos. En el primer caso, el evaluador tendra que examinar efectos inmediatos a corto plazo (aprendizajes despues de la manana de trabaj o).No tiene por que preocuparse de generalizar los resultados para otraspoblaciones y no necesita, ni grupos de control ni estadisticas complejas.Deseara elevar al maximo la retroalimentaci6n de los resultados a losmaestros, a fin de que puedan verificar sus tecnicas mientras cumplensu trabajo.Por otra parte, cuando la evaluaci6n esta sometiendo a prueha laproposici6n de que un programa fundado en determinadas teorias delaprendizaje dara buenos resultados con personas de lento aprendizaje,entonces se tiene que ocupar de efectos a largo plazo. Se necesita de undisefio riguroso, de manera que los resultados observados puedan atribuirse al estirnulo del programa y no a acontecimientos extrafios, Losresultados tienen que generalizarse mas aUa del grupo concreto de alumnos. EI programa educativo deberla protegerse contra alteraciones en eltranscurso de su ejecuci6n, a fin de preservar la claridad del program a .que condujo a los efectos observados.En teoria, es posible, a la vez, realizar una estimaci6n de la eficiencia general del programa y una prueba de la eficacia de las estrategiascomponentes. Los manuales de disefio experimental 6 ofreeen metodosde disefio factorial que penniten al experimentador descubrir, a la vez,el efecto total y los efectos de eada "tratamiento experimental". En lapractica, la evaluaci6n en raras ocasiones puede entregarse a la tarea dernanera tan sistematica. Las restricciones de la situaci6n de campo ponentrabas a la evaluaci6n: clientes demasiado numerosos, demandas de rapida retroalimentaci6n de la infonnaci6n, presupuesto insuficiente, "contaminaci6n" de los grupos sujetos a tratamiento especial por causa delos demas servicios que reciben, deserciones, falta de acceso a los expcdientes y datos, cambios del programa, y asl sucesivamente.Algunos investigadores dicen que tratar de dar satisfacci6n a multiplicidad de demandas y usos, en condiciones de campo comunes, esandar provocando la frustraci6n. EI evaluador que descubre la decision

8 Un huen eiemplc es B. J. Winer, StatistlcITl P rinciples In E""erlmet1tcl Design(Nueva York: McCraw-Hili Book Company, 1962). F. Stuart Chapin. W. C. Cochran y C. M. Cox, D. R. Cox, A. L. Edwards, R. A. Fisher, R. E. Kirk y E. F. Lindquist, entre otros ha n escrlto t a m b i ~ n textos titiles sabre dtsefio experimental. Hayalgunos en la tercera secei6n de la biblfografia.


12/15

50 Cap. 2 Objetil'OI de ]a evaJuadOofundamental que se quiere tomar y arregla su estudio de manera queaporte informacion en 10 concerniente a esa cuestion 0 problema plsaterreno mas finne. Hay otros que creen que hay maneras -no neeesariamente form ales y elegantes- de estudiar a la vez toda una gama decuestiones." En los capltulos 3 y 4 hablaremos de algunos de estos metodos; sin embargo, es importante para el evaluador conocer cual es laprioridad entre los fines. Si se da el caso, podra echar por la borda elexceso de equipaje y defender a capa y espada 10 esenciaI.Evaluaci6n fonnativa y sumativa

Hemos sefialado ya varios tipos de usos que pueden darse a la evaluacion. Se Ie puede pedir a esta que investigue el grado de exito delprograma para que puedan tomarse deeisiones como las siguientes:1. Continuar 0 descontinuar el programa,2. Mejorar sus practicas y procedimientos.5. Madir 0 desechar estrategias y tecnicas espedficas del programa.4. Establecer programas semejantes en otras partes.5. Asignar recursos entre programas que compitan entre S1.6. Aceptar 0 rechazar un enfoque 0 teoria para el programa,Scriven 10 ha trazado una uti] distincion en las discusiones en tornoa los fines. Al reflexionar sobre la evaluaeion de los eurriculos educativos, traza una distincion entre evaluaeion formativa y evaluaeion su-mativa. La primera produce informacion que se retroalimenta duranteel desarrollo de un eurrlculo para ayudar a mejorarlo. Presta servicioa las necesidades de quienes 10 estan desarrollando. La ultima se reaIizauna vez concIuido el curriculo. Proporciona informacion acerca de sueficacia a las autoridades escolares encargadas de tomar decisiones, que

cstan pensando en adoptarlo.t!Esta distincion tiene validez para otros tipos de programas tambien,con ventajas obvias para la aclaraeion de los fines; sin embargo, muchosprogramas nunca se "terminan", en el sentido en que podemos decirQue un currieulo se termina, y la modificaeion y la adaptaeion continuadas seran neeesarias tanto en el lugar de origen como en los demas lu-D Vease Robert E. Stake, "Genemlizability of Program Evaluation: The Needfor Limits", y James L. Wardrop, "Genemlizability of Program Evaluation: The

Dangers of Limits". Educational Product Report, II, num, 5 (1969), 38-40, 41-42.10 Michael Scriven, "The Methodology of Evaluation". en Perspectives of CU"iculurn Evaluation, Ralph W. Tyler, Robert M. Gagne, y Michael Scriven. din. AERAMonograph Series on Curriculum Evaluation, num. 1 (Chicago: Rand McNally &ce., 1967), pags. 39-83.11 Vease tarnbien Thomas J. Hastings, "Curriculum Evaluation: Th e Why ofOutcomes", Ioumal of Educauonol Measurement, III, nurn. 3 (1966), 27-32.

Quil!nes la utiliuran? 5Igares que utilicen el programa. EI evaluador todavia tendra que ponersea pensar mueho.En la practica, 10 mas frecuente es que se solicite la ayuda de la evaluaeion para tomar decisiones acerca del mejoramiento del programa.Son relativamente raras las decisiones de vida 0 muerte, de sirve 0 no.Aun cuando los resultados de la evaluacion muestran que el programaes un fracaso, la reaecion acostumbrada eonsiste en ponerle un remiendo y probarlo de nuevo. Es tambien raro el uso de la evaluaeion paraponer a prueba, con cierta orientacion teorica, los enfoques y modelosde programas. Estos pueden estudiarse mas facilmente en condicionescontroladas de laboratorio. Es la busqueda de mejoramientos para lasestrategias y tecnicas 10 que da pie a la actividad evaluativa.Aun cuando quienes toman decisiones parten de preguntas globales(c!valdra la pena seguir con el programa?). a menudo terminan recibiendo resultados que no son definitivos ("hay los efectos buenos sigui.entes, pero . . . ") que los conducen a buscar formas de modificar laspractieas actuales. Se interesan en la probabilidad de obtener mejoresresultados con diferentes comnonentes, con una mezcIa distinta de servicios, ciertos grupos de clientes, diversas estructuras de personal, diferentes estructuras de organizaci6n. nrocedimientos y mecanismos distintos, Una de las ironias de la nractica evaluativa es que baya dadobuenos resultados por 10 que respecta a estimar el impacto general, adecuado a la decision, poco cormm, de sirve 0 no, y que esta relativamentesubdesarrollada en disefios que producen informacion acerca de la eficacia de estrategias comparativas.

iQUItNES LA UTILIZARAN?Se han mencionado algunos usuarios posibles de la evaluaeion:1. Organizaci6n que concede el subsidio econ6mico (gobierno, particular,fundaci6n).2. Organismo nacional (del gobierno, particular).5. Organismo local.4. Los directores de un proyecto especifico.5. EI personal del servicio directo.6. Clientes del programs.7. Academicos de diversas disciplinas y profesiones.

que fines servira la evaluaeion y para quienes? En algunos casos,la pregunta es casi retorica. EI evaluador forma parte del personal dealguna organizacion -y a sea nacional 0 excIusiva de un programa piloto - y realiza la tarea que Ie han asignado; pero, mas a menudo, se Ieofrecen al evaluador cierto numero de opciones. Si forma parte del personal de una organizaci6n de investigaciones externa al programa a la


13/15

52 Cap. 2 Objelivoa de ]a evaluacionque se Ie ha pedido que emprenda la evaluaci6n, quiza se Ie ofrezcala oportunidad de tomar parte en las discusiones en torno a los fines yal foco primordial de atenci6n del estudio. Aun en el caso de que estevincuIado mas estrechamente al proyecto, por 10 comun existe tan no-table falta de c1aridad en las demas partes que tendra espacio de sobrapara maniobrar,Si puede ayudar a determinar el foco fundamental del estudio, elevaluador tendra en cuenta varias cosas. En primer lugar, probable-mente, tenemos a su propio conjunto de valores, Un programa de vera-neo para j6venes del ghetto, tal vez tenga valor para los funcionariosmunicipales en la medida en que ayude a calmar a los j6venes y a pre-venir que se entreguen a motines y saqueos. El evaluador quiza deseeconsiderar el programa desde la perspectiva de los j6venes tambien y versi han mejorado sus perspectivas de obtener empleo, sus destrezas parael trabajo y su diversi6n en general. Los datos que tal estudio produzcapodran ofrecer un marco de referenda mas amplio a la decisi6n de con-tinuar 0 no los programas de verano. Es importante que el evaluador seacapaz de vivir en armenia con el estudio, sus usos y su conciencia, almismo tiempo.Aparte de esto Ultimo, la primordial consideraci6n acerca de cuales el uso que habra de darsele al estudio es la siguiente: ecual es ladecisi6n que debe tomarse? La cuesti6n pendiente podra ser la de ex-tender un pequerio programa piloto de una sala de hospital a otras salasdel mismo. Podrd asignar dinero a detenninado proyecto. Quiza hayaque tomar una decisi6n sobre la adopci6n de una tecnica (reducci6ndel mimero de casos atendidos, auxiliares no profesionales) a 10 largode todo el sistema. Probablemente las decisiones pendientes tengan quever con la dotaci6n de personal, la estructura 0 las poblaciones a lasque se destinara el servicio. Una vez que el evaluador descubra cualesson las decisiones fundamentales pendientes y cuando tendran que to-marse, podra ajustar su estudio de manera que produzca maximos ren-dimientos.A menudo no existe una decisi6n fundamental pendiente 0, por 10menos, ninguna que pueda sefialarse de memento; sin embargo, hay"usuaries" a quienes les interesa aprender algo del estudio y aplicar susresultados, asi como hay otros a los que esto no les interesa. Cuandolos administradores locales del programa estan tratando de encontrar,concienzudamente, mejores maneras de dar servicio a sus clientes, entanto que qulenes toman las decisiones poHticas, en niveles superiores,buscan de manera primordial "justificadores del programa", las pre-guntas fonnuladas por los administradores locales son las que mere-cen mas atenci6n. Por otra parte, si los administradores locales 10 quequieren es un "adomo" y los niveles superiores desean saber c6mo asig-nar nuevas partidas, el evaluador debera hacer mas hinoapte en la es-timaci6n comparativa del resultado general.

Eatrue:l1Ua de ]a naluadOn 55Asi pues, la siguiente tarea consiste en disefiar la evaIuaci6n paraque proporcione las respuestas que se necesitan. No siempre es facudescubrir euales son las respuestas que se necesitan. Como veremos enel capitulo 3, raro es el programa que expresa con toda cIaridad susmetas, objetivos, criterios y fundamentos para la decisi6n; no obstante,basandose en su mejor estimaci6n del uso que se quiere dar aI progra-ma, el evaIuador tiene que tomar decisiones acerca de las medidas quese emplearan, de las fuentes de infonnaci6n (capitulo 3) , Y del disefiode la investigaci6n (capitulo 4) . Obrara en su favor 0 en su contra lalocalizaci6n de la evaIuaci6n dentro de la estructura organizacional.Pasaremos en seguida a examinar este punto.

FSTRUcrURA DE LA EVALUACIONUn estudio de evaIuaci6n puede estructurarse y dotarse de personalde diferentes maneras, Una unidad 0 un departamento de investigacio-nes, del organismo que este realizando el programa, puede ejecutar laevaluaci6n; 0 si no, se eontrataran evaluadores especiales que se incor-poraran al programa. (A menudo esta es la manera en que los proyec-tos de demostraci6n subvencionados con dinero federal cumplen en los

Estados Unidos las exigencias de evaluaci6n.) Se paga a veces a extra-nos, que suelen ser profesores universitarios, para que presten servicioscomo consultores y aconsejen a los evaluadores de la propia organiza-ci6n, 0 bien realicen aIgunas de las tareas de evaIuaci6n en estrechacolaboraci6n con el personal. Esta manera de disponer las tareas puedecalificarse en su conjunto como de "dentro de la easa",Otra manera de proceder consiste en que el organismo haga un con-trato con una organizaci6n de investigaciones de fuera para que reaIiceel estudio. La organizaci6n de investigaciones, ya se trate de un grupoacademieo, de una organizaci6n que no persiga fines lucrativos, 0 deuna casa eomercial, es responsable ante las personas (y ante el nivel[erarquieo, en el caso de la organizaci6n que IIeva a cabo el programa),que contratan sus servicios. Otra cIase mas de arreglo consiste en queun organismo nacionaI (como la Oficina de Educac i6n de los EstadosUnidos 0 la YMCA nacionaI) emplee a una organizaci6n de investiga-ciones a fin de estudiar cierto nUmero de los programas locales que sub-venciona 0 supervisa.

Evaluacion interna en contraposicioncon evaluacion externaSe ha venido debatiendo durante mucho tiempo, sobre todo oral-mente, la cuesti6n de ouales son mejores, sl las evaIuaciones internas,


14/15

. 54 cap. 2 ObjeUvOl de Ia evaluaci6no las externas.P La respuesta parece ser que ninguna de eUas tiene elmonopolio de las ventajas. Algunos de los factores que deben considerarse son los de confiaoza depositada por los administradores, objetividad, comprensi6n del programa, potencial de utilizaci6n y autonomla,

Conflanza de los adminlstradores. Los administradores deben confiar en las destrezas profesionales del personal encargado de la evaluaci6n. A veces, al personal del organismo, s6lo Ie impresionan las eredenciales y reputaciones de los investigadores acad.emicos y supone queel personal de investigaci6n que tienen entre sus propios colaboradores,o que pueden contratar, son de segunda categoda. A la inversa, en ocasiones consideran que los evaluadores de fuera estan demasiado alejados de las realidades, que son muy abstractos y propensos a refugiarseen su torre de marfil como para producir investigaci6n que posea valorpractico. Ocasionalmente, es importante ganarse la confianza publicacontratando a evaluadores, los cuales no tengan intereses en juego enel programa que deba estudiarse. Por supuesto, la capacidad es un granfactor para ganarse la confianza y hay que considerarla con prioridad.

Ob;etividad. :sta requiere que los evaluadores queden aislados decualquier posibilidad de torcer sus datos, 0 la ioterpretaci6n de los mis-mos, por un deseo de hacer ver que todo marcha bien. A este respecto,los que suelen hacerlo mejor son los de fuera, auoque evaluadores deintegridad escrunulosa, miembros del personal de la casa, han hecho aveces una excelente evaluaci6n. Llega a ocurrir incluso, que una organizaci6n externa dedieada a la Investigaclon enduIza la interpretaci6n de los resultados del programa (mediante la elecci6n de los quehabran de responder, mediante las diversas cIases de pruebas estad!sticasutilizadas ), a fin de congraciarse con un programa y ob tener nuevoscontratos. Sea como fuere, es importante proteger al estudio basta encontra de torcimientos no intencionados.

ComprensiOn del programa. El conocimiento de 10 que se esta haciendo en el programa tiene vital importancia para el personal que va ahacer la evaluaci6n. Tiene que saber, a la vez, euales son las cuestionesreales a que se enfrenta el organismo y los acontecimientos reales queestan teniendo lugar en el programa para que su evaluaci6n no pierdasentido, Es a este respecto c6mo el personal interne acumula puntos ensu favor, auoque los investigadores externos tambien pueden IIegar a

12 Vease Elmer Luchterhand, "Research and th", Dilemmas In Developlnll SocialPrograms", en The Uses of S o c l o l o ~ I I , P. F. Lazarsfeld, W. H. Sewell y H. L. Wilensky. din. (Nueva York: Basic Books, Inc., Publishers, 1961), pags. 513-517: RensisLikert y Ronald Lippitt, "The Utilization of Social Science", en la obra ResearchMethods In the Behavioral Sciences, Leon FestinRer y Daniel Katz, dirs. (Nueva York:Holt, Rinehart 6: Winston, Inc., 1953), pags. 581-646; Martin Weinberger, "EvaluatingEducational Programs: Observations by a Market Researcher", Urb6n Reoiew, III,num.4 (1969), 23-26.

&truaura de Ia eYlI1uacion 55enterarse de las interioridades del programa si hacen el esfuerzo conespondiente y se les da aceeso a las fuentes de informaci6n.

Potencial de utUizaci6n. La utilizaci6n de los resultados requiere amenudo que los evaluadores desempeiien un papel activo para pasarde los datos de la investigaci6n a la interpretaci6n de los resultados enun contexto de polftica general. El personal interno, que esta dispuestoa hacer recomendaciones sobre la base de los resultados y de defenderlas en las reuniones de funcionarios de la organizaci6n, quiza este mejorsituado para conseguir que se les preste atenci6n; pero a veces son losde fuera, gracias a su prestigio y a su autoridad, los que son capaces deconvencer a aqueUos de que se preste atenci6n a la evaluaci6n.

Autonomta. La gente de la casa, por 10 general, da por sentados lossupuestos fundamentales y los esquemas de organizaci6n del programa yrealiza su evaluaci6n dentro del marco existente. EI de fuera quiz! pue-da eJercer mayor autonomia y ver las cosas COn una perspectiva masamplia. Aunque respete la formulaci6n de problemas 0 cuestiones establecidas en el programa, podra ser capaz de introducir opciones queconstituyan una notable desviaci6n respecto del statu quo. Lo que deduzca de los datos de la eValuaci6n podra orientarse menos a ponerremiendos y mas a la reestructuraci6n fundamental del programa.13 Sinembargo, tal enfoque mas amplio no es ni eormin entr e los de fuera, nialgo que desconozcao los de dentro.

Todas estas consideraciones deben sopesarse de manera cuidadosa.No existe un "Iugar 6ptimo" para la evaluaci6n. La organizaci6n deberasopesar los factores de nuevo en cada caso y estimar la manera COmolos beneficios se pueden ir acumulando.Nivel en la estructura

Quienquiera que sea el que realice efectivamente la evaluaci6n, elpersonal encargado de la misma ocupa alg6.n lugar en la burocracia dela organizaci6n. EI evaluador rinde informes a una persona que se eneuentra en algUn nivel de autoridad dentro de la organizaci6n del programa, 0 del organismo que 10 supervisa 0 subvenciooa, y es responsable ante esa persona y ante ese puesto por 10 que toea al trabajo queefecnia, Si el evaluador es de casa, rinde informes de manera regular,el investigador de fuera recibe tamblen sus tareas de personas que ocupan determinada posici6n en la organizaci6n, a las cuales cornunica tarn-bien sus resultados (y de las que puede recibir consejos a nivel intermedio).La distinci6n importante en materia de localizaci6n dentro de la or13 Robert K. Merton, "Role of the Intellectual in Public Bureaucracy", en la obraSocial. Theory and Soclol Structure (Nueva York: The Free Press, 1964), paginas207-224).


15/15

56 Cap. 2 ObJedvOi de la evaluad6nganizaci6n, para 10 que estamos tratando de explicar, es la diferenciaentre la persona que establece las poUticas y el administrador del programa. A fin de abrev iar nuestra anterior Iista de usuarios de la evaluaci6n y de las decisiones que tienen que tomar, los puntos fundamentalesson los siguientes:

Uauarlo Decisi6nEI que establece las polfticas Ampliar, reducir 0 cambiar el programaAdministrador del programs Cuales metodos, estructuras, tecmcas,organizaci6n del personal

La evaluaci6n deberla situarse dentro de la estructura de la organizaci6n a un nivel consonante con su misi6n. Si tiene como objeto darrespuesta a las preguntas de poHtlca general (lcuan bueno es el programa en su totalidad?), los evaluadores deberfan rendir informes antelas personas encargadas de las decisiones de polltica general. Si no sediscute la forma fundamental del programa y la cuesti6n de la evaluaci6n gira en tomo a los cambios que haya que hacer en rasgos especf-ficos, tal vez el cvaluador deberfa ser responsable ante los administradores del programa. aSurgen verdaderos problemas cuando la evaluaci6n no est' convenientemente situada en la estructura. Una evaluaci6n inieiada por losadministradores del programa, y responsable ante ellos, esbi sujeta a todogenero de presiones para impedir que presente descubrimientos quepongan en tela de duda la eficacia de todo el programa. Si 10 hace, probablemente los gerentes detendran el informe al nivel del programa yjamlis sm presentado a la consideraci6n de los consejos superlores.PPor otra parte, cuando las personas encargadas de la formulaci6n generalde la poUtica, a nivel cumbre, son las que inician y supervisan la evaluaci6n, las preguntas que formulan cobran categorfa de primordiales y alas preguntas acerea de las operaciones se les asignaran las partidas mlispobres del presupuesto. Asf tambien, a los evaluadores no les est' permitido un contacto f'cil e informal con los administradores y los ejecutantes del program a que les permita escuchar y comprender los problemas y las opciones a que se enfrentan. A veees es dificil estudiar laeficacia de diversos cornponentes del programa porque los miembrosdel personal ven en los evaluadores a "inspectores" que los estan vigilan

14 Esta regia practlca vale tanto sl 18 evaluacl6n fuese ejecutada por personal dela casa 0 por un organlsmo de fnera, Cualquiem de enos tendria que rendir Infor-'mes a Divel de declsi6n a que se dirige SI1 trabajo: probabIemente los de fuem tenganmayor 18tltud para saltarlle 18cadena de mando de 18organizacl6n y encontrar accesoa un oldo conveniente, pero basta elIos se verin circunscritos por una mala Iocali-zacl6n.15 Este punta ha sido tratado en Likert y Lippitt, obra citada.

btruetul'a de Ja evaluad6n 87do y proeuran entonces no divulgar informaci6n que podria ir en detrimento de la apreciaei6n de su actuaei6n. Tampoco se muestran siemprecooperadores por 10 que toea a mantener las condiciones necesarias parala investigaci6n evaluativa, particularmente si hay competencia entrelos ejecutantes de diversos niveles del programa y si se cree que la evaluaci6n es un esfuerzo por hacer valer las prioridades del nivel superior.EI problema de la situaci6n estructural se hace mlis complejo cuandola evaluaci6n esta sirviendo a ambos amos. En general, 10 mejor pareceser rendir informes a nivel superior. De esa manera, el evaluador conserva una mayor autonomfa. Pero, en tal caso, tiene que bacer esfuerzosespeciales para enterarse 10 suficiente acerca de las cuestiones crlticasde las operaciones cotidianas del programa, a fin de incorporarlas ensu estudio y de mantener el apoyo de los administradores locales delprograma, con objeto de preservar las condiciones de investigaci6n muadecuadas.Es importante una buena localizaci6n en la estructura. Un recienteinforme de Wholey y colaboradores acerca de la praetica federal deevaluaci6n 18 examina esta cuesti6n en terminos de las responsabilidadesde los organismos federales. Reeomienda que un personal central de evaluaci6n, en cada organismo, se haga cargo de planear y coordinar todotrabajo de evaluaci6n en el departamento, pero que otro personal, a nl -veles diferentes, se haga cargo de la vigilancia directa de los estudiosde evaluaci6n de acuerdo con sus alcances y sus finalidades.

Las mas de las veces, a quienes fonnulan las pollticas se les pide queelijan entre programas nacionales; en muchas ocaslones a los administradores se les pide que elijan el grado de enfasis que deben poner en sus programas, 0 deoisiones sobre el futuro de proyectos individuales dentro deprogramas nacionales. En 1a medida de 10 posible, las evaluaclones en torno al impacto de un programs, cuyo objeto es descubrlr el valor de todoun programa naclonal deberlan ser dirlgidas por personas que no particlpasen irunediatamente en la administraci6n y operaci6n del programa. Laevaluacl6n de la estrategia del programa deberia estar dirlgida por personasvinculadas 10 suficientemente aI programa como para introducir varlaclonesen el mismo.17Dondequiera que se aloje, en la estructura, el proyecto de evaluaci6n, deberia tener la autonomia que toda investigaci6n requiere parainformar objetivamente con base en los testimonios y para seguir investigando problemas estableciendo criterios y efectuando an'lisis mu all'de los lfmites establecidos por el programa, a fin de cornprender e interpretar mejor el fen6meno estudiado.

11 Joseph S. Wholey y otros, Federal Et'OllUltlon pollCfl (Washington, D. C.: TheUrban Institute, 1970), pAgs. 54-71.17 Ibidem, p&g. 65.

Documents

Weiss, Carol_Investigacion Evaluativa