74
Construcción de Ítems de opción múltiple para pruebas objetivas  Adriana López Padilla José Daniel Espinosa Rodríguez 25, 26 y 27 julio 2012

Construcción de Ítems de opción múltiple

Embed Size (px)

Citation preview

Slide 1

Construccin de tems de opcin mltiple para pruebas objetivasAdriana Lpez PadillaJos Daniel Espinosa Rodrguez25, 26 y 27 julio 2012CONTENIDOQu es un tem?

Componentes

Caractersticas

Tipos de tems por su respuesta

Fuentes de Contenido

Sobre el contexto del tem

Validacin de temsUnidad bsica de observacin

El temQu es un tem?

Es la unidad bsica de observacin de una prueba objetiva. Se utiliza para medir conocimientos formales, habilidades cognitivas adquiridas a travs de la experiencia y aprendizajes complejos producto de las dos primeras. No requiere de juicios personales del evaluador o de interpretaciones para calificar las respuestas correctas. Posee una respuesta nica previamente establecida y acordada de manera colegiada. ComponentesEl tem se integra por:

La base o cuerpo. Expresa una situacin o problema en forma de proposicin.

Las opciones de respuesta. Son alternativas de respuesta a la base, de las cuales slo una es correcta; las dems son distractores plausibles que tienen como funcin que el examinado demuestre que es capaz de discriminar la respuesta correcta.

Las argumentaciones. Son explicaciones que dan sustento a cada una de las opciones de respuesta.ComponentesCul es la utilidad de calcular la prueba de cido a los estados financieros de una empresa?

A) Conocer el grado de apalancamientoB) Determinar la liquidez de la compaaC) Evaluar la rentabilidad de la inversinD) Proyectar utilidades futuras

Respuesta correcta: B

Argumentaciones:A) Incorrecta. Es el efecto que introduce el endeudamiento sobre la rentabilidad de los capitales de la empresa.B) Correcta. La prueba de cido en los estados financieros mide la liquidez de una empresa.C) Incorrecta. Estudia el impacto de la mayor calidad relativa de los productos o servicios de la empresa.D) Incorrecta. La proyeccin de las utilidades es el clculo de las ganancias que obtendr una empresa en el futuro.CaractersticasEvala contenidos vigentes.Es una creacin original del elaborador.Mide contenidos que no se responden por sentido comn.Emplea situaciones comprensibles y un vocabulario adecuado para la poblacin objetivo.Est libre de informacin que puede ser ofensiva para algn grupo social.No favorece a un grupo determinado.

CaractersticasNo da pistas que conduzcan a la respuesta correcta.Presenta estmulos claros, que no se presten a ms de una interpretacin.Incluye nicamente la informacin necesaria y relevante para el planteamiento del problema y su solucin.Est redactado de forma clara.Es independiente de otros tems, la informacin contenida en uno no debe sugerir la solucin ni debe ser requisito para contestar otro.Utiliza opciones de respuesta distintas a las de otros tems.Tipos de tem por su respuestaAlternativa diferenciada. Con base en el cuerpo del tem slo una opcin es la correcta, las dems son distractores plausibles (tienen como funcin que el examinado demuestre que es capaz de discriminar la respuesta correcta).

Respuesta ptima. En la base se muestra el problema a ser resuelto en donde las opciones de respuesta son parcialmente correctas, pero una de ellas es ms adecuada que las dems.Andamiaje del tem

Fuentes de contenidoPresentacin del problema

FormatoFuentes de contenidoFormato

Los formatos que presentan el contenido del tem sirven para darle dinamismo y variabilidad a la forma en que se cuestiona al examinado.

Estos pueden evaluar conocimientos factuales (fechas, frmulas), conceptuales (memoriza hechos, conceptos, principios) y procedimentales (acciones ordenadas y orientadas a la consecucin de una meta).

Formato

Los formatos aceptados para la construccin de tems de opcin mltiple son:SimpleOrdenamientoRelacin de columnasCompletamiento Eleccin de elementosDependiente de contextoSimple

La base de estos tems consiste en una afirmacin, frase o enunciado interrogativo que plantea una situacin a resolver o que requiere completarse en su parte final.

Simple

Aspectos tcnicos:1. Evitar la repeticin innecesaria de palabras tanto en la base como en las opciones de respuesta.2. Las opciones de respuesta deben ser menos extensas que la base, salvo que el contenido lo requiera.

EjemploEn un torneo de tenis participan 64 jugadores, que jugarn entre ellos eliminando al perdedor de cada partido. Cuntos partidos se jugarn en total desde la primera ronda hasta el partido final? A) 63B) 64C) 127D) 128

EjemploCul es el significado de la palabra en negritas en la expresin siguiente?

Ese expositor constantemente hace digresiones en su discurso. A) Diferencia de opininB) Asunto ajeno al tema tratadoC) Explicacin ampliaD) Reflexin profunda sobre un tema

Ordenamiento

La base del tem incluye una lista de elementos que deben ser ordenados siguiendo algn criterio determinado (regla, principio, pauta, etc.) el cual debe estar explcito en las instrucciones.

Las opciones de respuesta son las posibles combinaciones de los elementos enlistados.

Ordenamiento

Aspectos tcnicos:Se sugiere incluir de cuatro a seis elementos cuando se ordenan enunciados, y hasta ocho cuando son palabras.En el listado debe incluir elementos del mismo campo semntico o tema.Los elementos del listado de la base deben estar desordenados.Incluir todos los elementos del listado en cada opcin de respuesta.Un elemento del listado no debe ocupar el mismo lugar en todas las opciones.En los distractores el orden de los elementos debe ser plausible.

EjemploCul es el orden correcto de las siguientes palabras en una frase?

want1 now2 you3 what4 do5 A) 2, 4, 5, 1, 3B) 3, 1, 2, 4, 5C) 4, 5, 3, 1, 2D) 5, 3, 4, 1, 2

EjemploOrdene las siguientes frases para formar un texto coherente:

1. Acerca de este pas2. Pero he recordado siempre3. Y no he tenido instruccin4. Lo que mi madre me ense5. Yo no he ido nunca a la escuelaLa leyenda de Uppland Selma Lagerlf A) 1, 5, 2, 4, 3B) 4, 1, 2, 3, 5C) 4, 3, 1, 5, 2D) 5, 3, 2, 4, 1

Relacin de columnas

Incluyen dos listados de elementos que han de asociarse entre s conforme a un criterio que debe especificarse en la base del tem. En las opciones de respuesta se presentan distintas combinaciones de relacin entre los elementos de la primera y segunda listas.

Relacin de columnas

Aspectos tcnicos:1. Establecer de forma clara un criterio de relacin. 2. Construir listas en las que los elementos y relaciones sean del mismo tipo.3. En la primera columna deben ir los conceptos, componentes y elementos; en la segunda, las descripciones, definiciones, caractersticas, explicaciones, etctera. Es decir, la columna con menos informacin se ubica del lado izquierdo.4. Se sugiere incluir un elemento adicional en la columna del lado derecho, siempre y cuando sea plausible. De lo contrario, las columnas podrn contener el mismo nmero de elementos.

Relacin de columnas

Aspectos tcnicos:Asignar un ttulo a cada columna para que se identifiquen los elementos por relacionar.No repetir palabras o frases en las columnas.Cuando un elemento de la columna izquierda se relaciona solamente con uno de la columna derecha, en esta ltima se sugiere que tengan un mximo de cinco elementos. Cuando un elemento de la columna izquierda se relaciona con dos o tres de la columna derecha, esta ltima se sugiere tener un mximo de siete elementos.

EjemploRelacione las situaciones planteadas con el tipo de problema al que se refiere.

A) 1a, 2cB) 1b, 2c C) 1c, 2aD) 1c, 2bSituacinTipo de problema1. Falta de capacidad de exportacin de productosa) Acadmico2. Falta de mecanismos para ejecutar y controlar los planes nacionales de desarrollob) Institucional

c) EmpresarialEjemploRelacione los tipos de diseo con las caractersticas correspondientes.

A) 1a, b, e; 2c, d, fB) 1b, c, f; 2a, d, e C) 1b, d, e; 2a, c, fD) 1c, d, f; 2a, b, eDiseosCaractersticas1. Experimental2. CuasiexperimentalUso limitado del control experimental y la aleatorizacinb) Usa grupos controlc) Usa la asignacin al azar de los participantes a las condicionesd) Baja validez internae) Baja validez externaf) Ms usado en la investigacin bsicaCompletamiento

En la base del tem, debe contener enunciados, secuencias alfanumricas, grficas o imgenes en los que se omite uno o varios elementos, debidamente identificados. En las opciones de respuesta se incluyen los elementos que deben completar los espacios vacos.

Completamiento

Aspectos tcnicos:Se sugiere incluir un mximo de tres espacios por completar cuando se trate de frases, palabras o imgenes.Puede incluir un mximo de cinco espacios por completar cuando se trate de grafas o nmeros.Cuando haya un slo elemento por completar, este no debe estar al inicio o al final de la base.

EjemploElija el par de palabras que completa correctamente la siguiente oracin.

El ejercicio _________ el agotamiento mental y __________ tono muscular. A) aumenta mejoraB) estabiliza elevaC) renueva incrementaD) mitiga desarrollaEjemploSeleccione la opcin correcta en la siguiente sucesin alfanumrica.

128W, ____, 32O, 16L, 8H, 4D A) 64S B) 64RC) 74SD) 84REleccin de elementos

Se presenta un conjunto de elementos de los cuales se eligen algunos de acuerdo con un criterio determinado. En las opciones de respuesta se presentan subconjuntos del listado.

Eleccin de elementos

Aspectos tcnicos:Establecer en la base el criterio en funcin del cual han de seleccionarse los elementos.Incluir elementos del mismo campo semntico o tema en el listado.Se sugiere emplear listas de cuatro a siete elementos.Las opciones de respuesta deben integrar y excluir al menos dos elementos del listado.Incluir en todas las opciones de respuesta el mismo nmero de elementos.Un elemento no se debe repetir en todas las opciones de respuesta.Todos los elementos del listado deben incluirse al menos una vez en las opciones de respuesta.

Ejemplo

Elija algunas caractersticas de las hiptesis cientficas.

1. Comprobable2. Incierta3. Verdadera4. Irreal5. Falsa A) 1, 2, 4B) 1, 3, 5C) 2, 3, 4D) 2, 4, 5

Ejemplo

De los siguientes enunciados elija los dos que estn correctamente expresados.

1. La juez del supremo tribunal de justicia dicta sentencia maana2. La presidenta del partido ha dicho que maana inaugurar el nuevo edificio3. Nicols no ha querido salir conmigo ayer4. Patricia es un perito en el despacho de abogados hasta hace poco tiempo5. La familia Rivas compr una enorme mansin el ao pasado A) 1, 3 B) 1, 4 C) 2, 5D) 2, 4Con asociacin a un contexto

Estn compuestos por un contexto a partir del cual se elaboran los tems asociados. El contexto puede presentarse como un caso, un grfico, una lectura, un diagrama, una imagen o una tabla, entre otras.

Con asociacin a un contexto

Aspectos tcnicos:Sobre el contextoIncluir la informacin necesaria para su comprensin y para la resolucin de los tems asociados.

Sobre los tems asociadosRequerir del contexto para responderse.Ser independientes entre s, la informacin contenida en uno no puede sugerir la solucin de alguno ms, ni ser requisito para contestar otro.Si es necesario, incluir informacin adicional al contexto.Ejemplo

Lea el planteamiento y conteste las preguntas correspondientes.

Se realiz un estudio en la colonia La Joya, de la zona sur de la ciudad, en el cual se entrevist a 10 de las 100 familias que habitan en ella, estas fueron seleccionadas mediante una muestra simple aleatoria, y se obtuvo la siguiente informacin.

1. Cul es la estimacin del promedio de ingreso diario por familia?A) $40B) $110C) $173D) $300

Ejemplo

2. La seleccin de la muestra del estudio se bas en: A) sujetos seleccionados de tal manera que toda posible muestra de tamao n tiene la misma posibilidad de ser elegidaB) sujetos de por lo menos dos partes diferentes de la poblacin que comparten categoras C) los valores de una muestra que no estn relacionados con los valores de otra muestra y la poblacinD) los valores de una muestra que estn relacionados con los valores de otra muestra y la poblacin

Ejemplo

3. Qu elemento estadstico se encuentra representado en la siguiente grfica?

A) mediaB) valor mnimoC) medianaD) desviacin estndar

Lo que se espera que se ejecute

Operacin cognitivaFuentes de contenidoOperacin cognitivaPara que la complejidad y la abstraccin de la informacin que se desea evaluar en un tem no se reduzca a una simple memorizacin, es necesario tener claro qu proceso cognitivo se desea que el examinado ejecute a la hora de responder el tem. Operacin cognitivaLas operaciones cognitivas se pueden clasificar en tres grandes categoras:

Comprender y organizar lo aprendido

Aplicar conceptos, principios y procedimientos

Resolver problemas

Comprender y organizar lo aprendido

Se refiere a la capacidad del examinado para identificar, clasificar, ordenar temporalmente, jerarquizar informacin conceptual presentada en el tem.

a) Identificacin. Reconocer informacin no literal sobre definiciones, caractersticas, relaciones y ejemplos de hechos, conceptos, principios, reglas procedimientos, teoras y valores.Ejemplos

Identificacin

La variable ____________ es la que pone de manifiesto la influencia de otra variable. A) extraaB) independienteC) errorD) dependienteCul es el sinnimo de eufrico? A) NeurticoB) LocoC) ImpetuosoD) Desquiciado

Comprender y organizar lo aprendido

b) Clasificacin. Demanda construir categoras que pongan de manifiesto la capacidad de trascender la informacin inicial a clases que no se encuentran presentes, gracias a la utilizacin de reglas de inclusin de clase (de tiempo, de funcin, de temtica, etc.)

Ejemplos

Clasificacin

Relacione los tipos de proyectos con el anlisis de costos e impacto que se debe realizar en cada uno de ellos.

A) 1a, 2b, 3cB) 1b, 2c, 3aC) 1c, 2a, 3bD) 1c, 2b, 3aTipo de proyectoAnlisis de costos e impacto1. De gran escala con varias alternativas2. Con pequeos proyectos y una alternativa3. Con pequeos proyectos y varias alternativasa) Multicriteriob) De impacto de cada alternativac) De impacto de la alternativa

Comprender y organizar lo aprendido

c) Ordenamiento. Solicita construir una organizacin que ordena temporalmente, de manera adecuada, la informacin evaluada por el tem.Ejemplos

Ordenamiento

Ordene del ms antiguo al mas nuevo los enfoques psicolgicos que se listan a continuacin.

1. Psicogentico2. Psicofsica3. Conductismo4. Psicologa cognitiva A) 1, 2, 3, 4 B) 2, 3, 1, 4C) 2, 3, 4, 1D) 3, 2, 4, 1Aplicar conceptos, principios y procedimientos

Es definida como la capacidad de utilizar, en tareas profesionales iniciales y rutinarias, conceptos, principios, procedimientos, tcnicas e instrumentacin, acordes al nivel cientfico en el que se les reconoce.

a) Traduccin. Exige comprender los contenidos del tem, an cuando stos sean presentados en palabras diferentes que signifiquen lo mismo a las usadas originalmente, o bien se muestren mediante imgenes o smbolos que lo representen.Ejemplo

TraduccinSegn la siguiente grfica que muestra una curva idealizada de produccin promedio de oxgeno:

A) hay una produccin mxima de oxgeno y despus decae si aumenta la intensidadB) a mayor intensidad se produce ms oxgenoC) hay un lmite mximo de produccin de oxgeno, aunque aumente la intensidad luminosaD) despus de una exposicin a una intensidad mxima se libera ms oxgeno

Aplicar conceptos, principios y procedimientos

b) Aplicacin de conceptos y principios. Demanda mostrar dominio o experiencia aplicando conceptos y principios bsicos de teoras, mtodos, tcnicas y procedimientos a situaciones prcticas, tomando en consideracin el contexto que se est evaluando. Ejemplos

Aplicacin de conceptos y principiosUn investigador cree que si un grupo de jvenes se somete a un entrenamiento intensivo de natacin, stos sern mejores nadadores que aqullos que no recibieron entrenamiento. Con base en este planteamiento, qu tipo de hiptesis es aqulla que seala que no hay diferencia entre el desempeo en natacin entre el grupo de jvenes que recibi el entrenamiento y el que no lo recibi? A) NulaB) De trabajoC) EmpricaD) Alternativa

Aplicar conceptos, principios y procedimientos

c) Inferencia (aplicacin de conceptos). Una inferencia es una concusin de hechos observados o supuestos. Se pregunta si los enunciados son inferencias verdaderas, falsas o vlidas.

Ejemplos

InferenciaSe quiere probar si el orden de las preguntas afecta el nmero de aciertos en dos secciones de un examen. Analice la siguiente tabla y seleccione la opcin que contiene una conclusin vlida.

A) En la seccin 1, las preguntas son ms fciles que en la seccin 2 en ambas versionesB) Las medias de aciertos varan significativamente dependiendo del orden de las preguntasC) El orden de presentacin de las preguntas no afecta significativamente la media de aciertosD) La diferencia de las medias de las dos secciones no se debe al orden de las preguntas

Aplicar conceptos, principios y procedimientos

d) Presuposiciones. Una presuposicin es algo asumido o tomado como un hecho cuando se hace una afirmacin. A partir de la afirmacin se puede encontrar qu elementos estn implcitos y se han asumido como hechos verdaderos. Ejemplos

PresuposicionesRecomendacin de un psiclogo hacia el familiar de un paciente: Es necesario que el nio sea valorado por el neurlogo para determinar si existe dao y si se necesita medicacin.

La idea que asume el psiclogo como un hecho es que el A) nio tiene un dao cerebralB) psiquiatra no debe ser consultado para este caso C) nio requiere medicacin neurolgicaD) neurlogo puede determinar si existe algn dao

Aplicar conceptos, principios y procedimientos

e) Aplicacin de procedimientos. Demanda aplicar, de manera adecuada, los pasos requeridos en un procedimiento, algoritmo, tcnica o instrumentacin. Ejemplos

Aplicacin de procedimientosElija la combinacin de instrucciones que en una hoja de clculo ordenan los datos de la tabla en forma ascendente tomando como base la columna de edad.

1. Seleccionar los datos2. Elegir la opcin Ordenar 3. Seleccionar men Datos4. Seleccionar Ordenar por edad5. Oprimir el botn Aceptar A) 1, 3, 2, 4, 5B) 2, 1, 3, 5, 4C) 3, 2, 1, 4, 5D) 4, 5, 2, 3, 1

Resolver problemas

Es la capacidad de evaluar e integrar conceptos, principios, mtodos, tcnicas, procedimientos, estructuras de tareas o planes de accin en funcin de los principios de adecuacin o valores profesionales requeridos para resolver situaciones problemticas, as como para identificar y corregir errores importantes en soluciones prestablecidas.

Resolver problemas

a) Planificacin de acciones. La operacin cognitiva demanda que se analice, sintetice y evale hechos, principios, fundamentos tericos, procedimientos y valores profesionales para planear funciones especficas a la disciplina profesional acordes a demandas contextuales y de integracin de datos para la resolucin de problemas especficos, asegurando la calidad de las tcnicas utilizadas, as como la prediccin de efectos derivados. Ejemplos

Lea el caso que se presenta a continuacin y responda las siguientes preguntas.

Es referido a un psiclogo un escolar de 8 aos de edad, por indicaciones de su maestra de 2 ao de primaria por presentar trastornos de conducta y bajo rendimiento escolar en lectura y matemticas. El nio tiene antecedentes de parto prematuro y es hijo nico en una familia disfuncional.

Cul es la secuencia de procedimientos para este caso?

Aplicacin de pruebas psicolgicasEntrevistaSugerencias de tratamientoDiagnsticoA) 1, 2, 4, 3B) 1,4, 2, 3C) 2, 1, 3, 4D) 4, 1, 2, 3Planificacin de accionesEjemplos

Planificacin de accionesEn la aplicacin de las pruebas se obtuvo el resultado de 5 indicadores de una posible lesin orgnica y un CI de 95 que corresponde al lmite normal y en dibujo se manifiesta agresin, bajo control de impulsos y tendencias al acting out.

Con qu especialista se requiere una interconsulta?

A) PaidopsiquiatraB) PsiquiatraC) NeurlogoD) Mdico generalResolver problemas

b) Correccin de errores. Se espera que al aplicar conceptos, principios, teoras, mtodos, tcnicas y procedimientos pueda el examinado identificar y corregir errores importantes ante casos y problemas, as como para la argumentacin terica del curso de accin remedial.

Ejemplos

Correccin de erroresUna agencia publicitaria ha establecido una investigacin en tres partes para promover la venta de galletas. La primera es un cuestionario acerca del consumo de las galletas; la segunda es la interpretacin del mensaje que transmite el comercial en los espectadores, y la tercera es una prueba para evaluar el gusto de la galleta en el consumidor. Se cree que el consumo es preponderantemente realizado por estudiantes de preparatoria, razn por la cual la empresa ha focalizado sus estudios en las salidas de las preparatorias. Los resultados no fueron los esperados por lo que se ha determinado que se debe implementar una forma distinta de publicidad.

Qu tipo de error contienen los resultados de las encuestas de la agencia publicitaria?

A) Hiptesis planteada con ambigedadB) Sesgo en la seleccin de la muestraC) Sesgo en la informacin obtenidaD) Marco terico insuficienteEjemplos

Correccin de erroresDe acuerdo con la informacin anterior. Qu accin debe llevar a cabo la empresa publicitaria para modificar su investigacin y que los resultados sean vlidos? Ampliar las referencias documentales sobre este tipo de estudiosAnalizar los datos obtenidos con un sofware mas potenteC) Seleccionar una muestra aleatoria para tener representatividadD) Redactar de forma clara una nueva hiptesis de trabajo Qu explorar?

Campo de conocimientoFuentes de contenidoCampo de conocimiento

Comprende la cualidad terica, tcnica o combinada, con la que se presenta la informacin que evala el tem. Campo de conocimiento

Terico. Hace nfasis en el conocimiento declarativo, que puede ser de tipo factual (fechas, lugares, nombres propios, frmulas) o conceptual (conceptos, principios y explicaciones).

Tcnico. En este campo, se enfatiza en conocimientos procedimentales como la ejecucin de procedimientos, estrategias, mtodos y destrezas.

Combinado. Por lo general es aplicado en tems asociados a un contexto. Se presenta un caso o situacin problema, la solucin de los tem se da en las opciones y se requiere combinar el conocimiento factual, conceptual o procedimental, segn lo evaluado para ser respondido.

Tipo y ubicacin del contexto

Sobre el Contexto del temFuentes de contenidoSobre el Contexto del temSe refiere al tipo y ubicacin de declaraciones (reglas y ejemplos) y relaciones semnticas (descripciones, causacin, contrastacin) a ser procesadas durante la tarea.Sobre el Contexto del temEjemplo Regla (E-R). La base del tem contiene uno o varios ejemplos, y la regla se presenta en las opciones de respuesta.

Regla Ejemplo (R-E). En la base del tem se presenta la regla y en las opciones de respuesta el ejemplo.

Sobre el Contexto del temCaso Ejemplo Regla (C E-R). La base del tem ofrece uno o varios datos de un caso, problema o error, una de las opciones presenta las soluciones (regla, diagnstico, prescripcin, correccin o accin remedial).

Caso Regla Ejemplo (C R-E). La base del tem presenta una solucin (regla, diagnstico, prescripcin, correccin o accin remedial), las opciones de respuesta son las caractersticas del problema(s), caso o error a corregir.

Validacin de tems

Es el proceso en el cual los tems son sometidos a una valoracin cualitativa en la que, a juicio de un trabajo colegiado asignado a un grupo (dos o tres expertos), determinan a travs de ciertas rbricas si son pertinentes y relevantes para los propsitos del examen; vigilan que estn libres de errores conceptuales, gramaticales o de redaccin.

Asimismo, determinan la complejidad de manera a priori del tem y que estos no sean respondidos por sentido comn. Al finalizar dictaminan si son aprobados, candidatos a ser aceptados condicionados a modificaciones o descartados.

Gracias!Adriana Lpez [email protected]

Jos Daniel Espinosa [email protected]