Introducción

La evaluación de los aprendizajes es, sin duda, uno de los aspectos más importantes dentro del proceso de enseñanza-aprendizaje, así lo fundamenta la literatura especializada (1-4).
Desde el punto de vista de la función se reconocen tres principalmente (5): la evaluación diagnóstica, asociada al momento previo en que sucede el proceso, orientada a explorar y reconocer las características de los estudiantes que ingresan a la educación superior (perfil de ingreso); la evaluación intermedia, también llamada formativa o de proceso, la cual se centra en el desarrollo de procedimientos de retroalimentación continua del proceso de aprendizaje, y la evaluación final de resultado o sumativa, en la cual se realiza una verificación del logro de los aprendizajes esperados y competencias expresadas en el perfil de egreso, y de las decisiones que se deben adoptar sobre qué aspectos del proceso se deben optimizar.
La evaluación intermedia o formativa, foco de atención del presente estudio, es un término acuñado por Scriven en Dylan (6), quien sostiene que es uno de los conceptos más relevantes en el campo de la evaluación moderna, ya que desde el punto de vista cognitivista, la evaluación se centra en la comprensión del funcionamiento cognitivo del estudiante frente a tareas que se le proponen, es decir, el docente busca conocer las representaciones mentales y las estrategias que utiliza el estudiante a fin de identificar las dificultades que se le presentan, mientras el proceso se encuentra en desarrollo. La evaluación formativa está destinada a contribuir a la regulación de los aprendizajes en curso. La evaluación formativa agrega el concepto de acompañamiento tanto entre los docentes como entre los mismos estudiantes, como una forma de apoyo a la evolución de los aprendizajes (7).
Para que la evaluación formativa sea efectiva y tenga el éxito esperado, es necesario que el docente provea retroalimentación permanentemente, Anijovich (8) señala que la retroalimentación y la evaluación están conectadas, ya que la retroalimentación sustenta y acompaña a la evaluación. La autora considera que la evaluación como proceso tiene una meta (vinculada a la acreditación de saberes, con la calificación) mientras que la retroalimentación tiene como propósito incidir en los procesos que se van consolidando, de manera gradual, la construcción de cierto nivel de conocimientos, habilidades, actitudes, saberes y desempeños.
Con todo, la evaluación formativa tiene por finalidad la mejora del proceso de enseñanza y aprendizaje, mientras está ocurriendo, es decir, es contemporáneo, colabora con el docente, en el sentido que lo ayuda a determinar en qué punto del proceso de aprendizaje se encuentran sus estudiantes en general, o algún/os en particular, permitiendo que este se dé cuenta en qué lugar se encuentra en su aprendizaje; lo que logró y lo que le falta. En este sentido, puede decirse que se trata de una práctica metacognitiva para el estudiante y, en relación con el docente, le proporciona información que le permite explicitar el estado de sus prácticas de enseñanza. Este tipo de evaluación resulta una instancia clarificadora, la cual favorece que los docentes tomen decisiones didácticas valiosas para reorientar o ratificar el proceso de enseñanza, decidir qué tipo de actividades incluir o reforzar y/o si tiene que proporcionar actividades diferentes para apoyar a algunos estudiantes. Hay un carácter particular o individual que focaliza el aprendizaje en el estudiante, permite diferenciar los estilos de aprendizaje de unos y otros, de este modo aplica el concepto ético y moral que conlleva la evaluación destinada al aprendizaje de los estudiantes (9,10).
Otra utilidad de la evaluación formativa se focaliza en desarrollar en los estudiantes la capacidad reflexiva, como respuesta al desarrollo de habilidades para el aprendizaje, tales como: desarrollo de pensamiento crítico, motivación, autoconcepto, autogestión y trabajo colaborativo, entre otras (11,12).
La literatura evidencia que el proceso de evaluación formativa debe ser realizado con tutores con conocimiento y experiencia en la práctica de la retroalimentación, una comunicación asertiva y escucha activa, que se realice en forma continuada y no en forma esporádica y que además se pueda contar con instrumentos confiables y válidos que faciliten esta acción (3,6,7,10).
La experiencia de la investigadora da cuenta de que si bien los profesionales clínicos reciben capacitación cuando supervisan estudiantes, esta no es suficiente para garantizar una evaluación con los parámetros antes descritos. Muchos de ellos tienden a repetir los cánones de evaluación con los cuales fueron evaluados en sus años de estudiantes (13). Se percibe una falta de coordinación y familiaridad con las nuevas metodologías, instrumentos y condiciones que se están aplicando para la evaluación de competencias (14). Esta situación genera problemas, tales como, la escasa involucración de las docentes supervisoras asistenciales en el proceso de aprendizaje, falta de compromiso, deficiente conocimiento de los instrumentos y ausencia de experticia a la hora de aplicar el instrumento, entre otros.
Se revisó un estudio que incluían datos de CINAHL, PubMed, Medic, ISI Web of Science, Cochrane Library y ERIC, publicados entre enero de 2000 y mayo de 2014; se identificaron 23 artículos cuyo foco de estudio fue la evaluación de la práctica clínica del estudiante de enfermería (15). De los resultados se destacan: falta de consistencia por sesgo subjetivo del evaluador, dificultad para entender y/o consensuar los criterios para evaluar una misma habilidad en diferentes estudiantes y falta de tiempo. Del mismo modo se puso de manifiesto la importancia de la retroalimentación de parte de tutor y el contexto y/o ambientes de aprendizaje. Por tanto, la calidad de la evaluación es muy variable y dependiente del evaluador y del instrumento utilizado (16).
Otros estudios en España (17,18) corroboraron la importancia de la formación de los tutores de práctica clínica.
De acuerdo a lo anterior, y teniendo presente dos elementos que participan en la evaluación: el evaluador y el instrumento utilizado, se hace valioso para el docente clínico contar con un instrumento confiable que disminuya la variabilidad de criterio y sesgo interobservadores, permitiendo identificar y verificar en forma objetiva el aprendizaje adquirido por los estudiantes.

Metodología

Se trató de una investigación cuantitativa, de tipo descriptiva, de corte longitudinal, cuyo objetivo fue determinar el grado de confiabilidad externa de una rúbrica para verificar los cambios de aprendizaje que lograron los estudiantes después de una evaluación formativa en la asignatura “Cuidados de Enfermería al Adulto y Adulto Mayor” en una Universidad pública en Chile, año académico 2016.
Este estudio fue parte del trabajo doctoral de la investigadora, en el cual se realizó un diseño de investigación en tres etapas, en la primera y segunda etapa se hicieron los estudios de validación de contenido y confiabilidad interna y en la tercera etapa se realizó el estudio de confiabilidad externa (parte de él se expondrá en este artículo).

Población y muestra

Para la presente etapa se consideraron los siguientes participantes:
Docentes de práctica clínica: para este estudio se entendió por docente supervisor de práctica clínica a los profesionales de enfermería que asistieron con los estudiantes a prácticas en el contexto hospitalario. En esta calidad se distinguieron dos tipos: docentes a cargo, profesionales de enfermería contratados por la universidad para dar docencia teórica y práctica, y docentes supervisores, profesionales de enfermería clínico, contratados por instituciones hospitalarias que colaboran solo con la docencia práctica.
Para esta etapa se consideró: docentes a cargo n= 4 y docentes supervisores n= 4.
Estudiantes: la población estuvo conformada por todos los estudiantes matriculados en el año académico 2016 (n= 250).
Cálculo del tamaño muestral: se basó en una estimación de la población, siendo suficientes 44 estudiantes, considerando una confianza de 95%, una precisión de 0,15, un porcentaje poblacional del 50% y un porcentaje de reposición de 10% (n= 44).
Tipo de muestreo: se realizó un muestreo no probabilístico por conveniencia ya que se trató de la primera asignatura teórica-práctica dentro del nuevo currículum orientado por competencias y que tuvo programado el desarrollo de una pasantía de tipo clínico al interior de un hospital y, por ende, la aplicación de la rúbrica como instrumento de evaluación de esa experiencia clínica.
Criterios de inclusión y exclusión: se incluyeron en el estudio todos los estudiantes de enfermería matriculados en la asignatura “Cuidados de Enfermería al Adulto y Adulto Mayor” que se impartió en el segundo semestre del primer año de la carrera, durante el año académico 2016, que hubieran aprobado la parte teórica de la asignatura y que hubieran firmado el consentimiento informado (CI).
Variables de estudio: fueron las competencias y resultados de aprendizajes (RA) contenidas en la rúbrica:
Competencia específica 1. Otorga cuidados básicos de enfermería para la promoción y prevención de la salud:
RA 1: identifica conceptos fundamentales que sustentan el cuidado.
RA 2: aplica el proceso de enfermería.
RA 3: realiza cuidados básicos de enfermería.
Competencia especifica 2. Se integra paulatinamente al trabajo en equipo:
RA 4: identifica las bases del trabajo en equipo y el rol de enfermería.
RA 5: aplica conceptos del trabajo en equipo.
Competencia genérica 1. Planifica y organiza sus actividades académicas:
RA 6: desarrolla actitudes y habilidades sociales básicas.
RA 7: desarrolla capacidad de autogestión.

A cada resultado de aprendizaje se le asignaron cinco criterios de desempeño, excelente, muy bueno, bueno, satisfactorio e insuficiente, cada uno con puntajes que se distribuyeron en rangos de desempeño, en donde: la máxima puntuación fue 70 puntos, se evaluó como destacado, un score intermedio evaluado como adecuado y un score evaluado como mínimo de aprobación equivalente a 42 puntos.
Bajo este rango los estudiantes no aprobaron y su resultado fue definido como deficiente.

Recolección de datos

Instrumento: la rúbrica utilizada fue validada por la misma autora en el año 2015 con estudiantes de enfermería del mismo nivel. Validez de contenido V de Aiken de 0,88 y coeficiente Alpha de Cronbach 0,83.
La práctica clínica total duró cuatro semanas. Se definieron dos grupos diferentes de docentes, docentes a cargo y docentes supervisores. Cada uno de estos docentes evaluó con la rúbrica a un grupo de estudiantes definidos en dos periodos diferentes de la práctica, a la mitad del periodo como evaluación formativa, al término de la 2ª semana (periodo A) y final como evaluación sumativa al término de la 4ª semana (periodo B). De tal manera que cada estudiante fue evaluado en un tiempo A por dos evaluadores diferentes y en un tiempo B por dos evaluadores diferentes.

Análisis de los datos

Se realizó prueba de estabilidad temporal (CE), a través del test-retest, prueba de medias T de Student y coeficiente de estabilidad interobservadores (CI). Estas pruebas son las utilizadas para medir la confiabilidad de un instrumento, estiman el nivel de concordancia que existe entre dos o más examinadores y en diferentes periodos de tiempo. Un valor de CI cercano a 1 ilustra que la variabilidad total observada se debe a las diferencias entre los sujetos estudiados.
Estos análisis permitieron identificar el comportamiento que fue capaz de tener la rúbrica aplicada a la misma muestra en periodos diferentes y por evaluadores distintos.
Todos los análisis de datos se realizaron con el software SPSS 21 y se estableció un nivel de significación estadístico del p= 0,05 en los contrastes de las hipótesis.

Resguardos éticos

Se solicitó autorización a la directora de escuela y todos los participantes, docentes y estudiantes firmaron de forma voluntaria un CI. Esta investigación no contempló el manejo de datos sensibles, por lo que no fue necesario la autorización del comité de ética. Los datos fueron anonimizados y la base de datos fue manejada solo por el investigador responsable.

Resultados

Caracterización de la muestra

Estudiantes: de la muestra estimada participaron un total de 42 estudiantes que cumplían con los criterios de inclusión (Tabla 1).
Docentes: participaron cuatro docentes a cargo y cuatro supervisores (Tabla 2). Cabe destacar la diferencia en la formación en docencia y los años dedicados a la misma que se evidencia en el grupo de docentes a cargo en relación a los docentes supervisores.

Análisis de confiabilidad: se definió que la primera evaluación realizada a los estudiantes a la mitad del periodo de práctica (evaluación formativa) equivalió al test, mientras que el retest correspondió a la segunda evaluación efectuada al final de la práctica (evaluación sumativa).
Considerando las puntuaciones de ambos periodos se observó un coeficiente de correlación (CCI) en docentes a cargo de 0,690 en el periodo A y de 0,811 en periodo B. En docentes supervisores se observó un valor de 0,39 en periodo A y de 0,564 en periodo B (Tabla 3).
De acuerdo al análisis anterior, se quiso saber si la diferencia de medias de los puntajes obtenidos por los estudiantes en el test y el retest fue estadísticamente significativa, para lo cual se realizó la prueba T de Student para muestras pareadas. En la Tabla 3 se aprecia que todos los ítems presentan valores de p< 0,001, lo que de acuerdo a prueba t (p< 0,05), se evidencia una diferencia estadísticamente significativa entre el test y el retest (Tabla 4).
Dado los resultados precedentes se rechazó la igualdad de medias, de los docentes a cargo como de los docentes supervisores, no presentaron igualdad de medias en sus registros entre el test y retest.

De acuerdo a la evidencia estadística, la rúbrica como instrumento de evaluación fue capaz de medir la adquisición de aprendizaje dado que hubo una diferencia positiva de puntaje entre la evaluación de la mitad del periodo (periodo A) y la final (periodo B) mediado por la retroalimentación que realizaron los docentes en la evaluación formativa.

Discusión

La evaluación formativa debe concebirse como y para el aprendizaje. Varios autores avalan lo anterior, sosteniendo que desde la óptica del estudiante que aprende, la retroalimentación entregada en la evaluación al estudiante en forma continua fomenta la autorregulación y la metacognición actuando como feedback y también entrega a las y los docentes herramientas claves para juzgar la eficacia de la docencia impartida como feedfoward (19,20).
Diversos estudios fundamentan la ventaja de evaluar con rúbricas por cuanto es un instrumento que fomenta la retroalimentación, autoeficacia, motivación al estudio, autorregulación y objetividad como características principales (21).
En el caso del presente estudio, estudiantes de enfermería fueron evaluados en su experiencia clínica por diferentes docentes con distinto nivel de formación. Se reconoce el sesgo entre los evaluadores como una fuente importante de error de medida en la variabilidad entre observadores. En consecuencia, los estudios de confiabilidad de una rúbrica deben estimar el grado de dicha variabilidad en el tiempo y en las personas (22).
La autora Reidl (23) afirma que para medir la estabilidad de un instrumento en dos momentos diferentes deben considerarse el tiempo que transcurre entre una aplicación y la otra, y eventos del contexto que pudieran afectar a dicha medición. En tal caso, y para explicar lo acontecido en el presente estudio, en la primera medición los estudiantes tuvieron la evaluación formativa, se aplicó la rúbrica para evaluar el aprendizaje adquirido hasta ese momento de la práctica. La retroalimentación entregada por el docente en la evaluación formativa justamente tuvo como objetivo lograr un cambio en el aprendizaje, en el sistema de estudio, en la conducta, y cambios en la forma de realizar determinados procedimientos. En la segunda medición se previó que dichos cambios hubiesen ocurrido. La rúbrica aplicada fue confiable para medir ese cambio en el aprendizaje del estudiante.
Con respecto al análisis de estabilidad de la rúbrica y los observadores, los resultados mostraron una diferencia en las mediciones que realizaron ambos tipos de evaluadores, valores CCI= 0,690 a mitad de periodo y CCI= 0,811 al final en docentes a cargo, mientras que en los docentes supervisores se observaron valores de CCI= 0,39 a mitad del periodo y CCI= 0,564 al final. Estos datos dieron cuenta que, entre los evaluadores con mayor formación docente, hubo un mejor manejo de la rúbrica aplicada, mayor familiaridad con el instrumento y por qué no decirlo, más compromiso con el desempeño del estudiante. Existe evidencia que reitera la importancia de contar con docentes formados y con experiencia en evaluación. La mayor participación del profesorado en programas de formación vinculados a la mejora e innovación docente y al desarrollo profesional, favorece el cambio conceptual del profesorado (24-28).
Incluso varios de estos docentes fueron parte de la elaboración y validación de contenido de la rúbrica. Al respecto, la literatura señala que el proceso de cocreación de las rúbricas determinan una aceptación del instrumento, un lenguaje común, el haber participado en la discusión de los criterios de aprendizaje, situación que es muy diferente cuando se impone un instrumento para aplicarlo (21,29).

Limitaciones

1. Los resultados del presente estudio corresponden a la Escuela de Enfermería de una Universidad de Chile, por tanto, son difícilmente extrapolables a otras realidades.
2. La rúbrica validada en el presente estudio puede aplicarse en otros contextos con la debida adecuación cultural y a los requerimientos de cada entidad académica.

Conclusiones

1. La evaluación formativa entregada a los estudiantes en el contexto de aprendizaje clínico, le otorga herramientas que le permiten activar procesos metacognitivos para la adquisición de aprendizaje y evidenciar logros.
2. La rúbrica utilizada tiene un buen coeficiente de consistencia externa por lo que la hace confiable para ser utilizada por diferentes evaluadores y en diferentes tiempos, dando garantías para predecir la adquisición de aprendizaje.
3. La experiencia y formación en docencia de los profesionales de enfermería que acompañan a los estudiantes en el aprendizaje clínico es relevante a la hora de realizar una eficiente evaluación.

Agradecimientos

A María Loreto Maciá Soler y Víctor González Chordá.