Aladefe

Aladefe

ABRIL 2019 N° 2 Volumen 9

La rúbrica, instrumento válido y confiable para evaluar las competencias clínicas a estudiantes de enfermería

Sección: Originales

Cómo citar este artículo

Espinoza Fernández MB. La rúbrica, instrumento válido y confiable para evaluar las competencias clínicas a estudiantes de enfermería. Rev. iberoam. Educ. investi. Enferm. 2019; 9(2):19-31.

Autores

María Bruna Espinoza Fernández

Doctora en Ciencias de la Enfermería. Profesora Adjunta. Escuela de Enfermería. Universidad de Valparaíso. Chile.

Contacto:

Email: bruna.espinoza@uv.cl

Resumen

Introducción: la evaluación es un factor esencialmente crítico en la calidad de la enseñanza universitaria, más aún si se trata de evaluar las competencias clínicas en estudiantes de enfermería que se adquieren al cursar un plan de estudios innovado en contextos complejos como son los hospitalarios, donde participan profesionales enfermeros que no tienen formación docente. La literatura indica la necesidad de contar con instrumentos que permitan realizarla de forma objetiva, confiable y válida.
Objetivos: validar una rúbrica para la evaluación de las competencias clínicas adquiridas por los estudiantes de primer año de la carrera de enfermería.
Metodología: investigación con metodología cuantitativa, en donde se llevó a cabo validación de contenido por un panel de expertos mediante el coeficiente de validación V de Aiken y análisis de confiabilidad a través del coeficiente alpha de Cronbach. Se utilizó el sistema operativo SPSS 21.
Resultados: se obtuvo una rúbrica para la evaluación de las competencias clínicas de los estudiantes de enfermería del primer nivel de carrera, que incluyó dos competencias específicas, una competencia genérica y siete resultados de aprendizaje. Validación de contenido por panel de expertos V de Aiken de 0,88. Se aplicó la rúbrica en 55 estudiantes obteniendo un coeficiente de confiabilidad alpha de Cronbach de 0,83.
Conclusión: una rúbrica válida y confiable es un buen instrumento de evaluación en contextos de aprendizaje clínico. La formación y la experiencia en docencia, como el involucramiento y compromiso del evaluador con el proyecto educativo se destacaron como elementos claves en el proceso de evaluación.

Palabras clave:

evaluación ; educación basada en competencias ; estudiantes de enfermería.

Title:

Rubric: A valid and reliable tool to assess clinical competences in nursing students

Abstract:

Introduction: assessment is a critical factor in the quality of university education, and it is even more important in nursing students when evaluation is needed for clinical competences acquired in an innovative curriculum in complex settings such as hospitals with professional nurses not having a specific training in teaching. As suggested by literature, tools are needed to perform assessments in an objective, reliable, and valid way.
Purpose: to validate a rubric to assess clinical competences acquired by first year nursing students.
Methods: an investigation with quantitative methods for content validation by a panel of experts, using Aiken's V validation coefficient and reliability analysis by means of Cronbach's alpha coefficient. Operative system SPSS 21 was used.
Results: a rubric was developed to assess clinical competences in first-year nursing students, including two specific competences, a generic competence, and seven learning outcomes. Content validation by a panel of experts using Aiken's V 0.88. The rubric was implemented in 55 students and a Cronbach's alpha coefficient for reliability of 0.83 was obtained.
Conclusion: a valid and reliable rubric is a good tool for assessment in clinical learning settings. Teaching training and experience, including assessor's involvement and commitment to the educational program were key elements in the assessment process.

Keywords:

Assessment; competence-based education; nursing students.

Portugues

Título:

A rubrica, instrumento válido e confiável para avaliar as competências clínicas de estudantes de enfermagem

Resumo:

Introducción: a avaliação é um fator essencialmente crítico na qualidade do ensino universitário, ainda mais quando se trata de avaliar as competências clínicas dos estudantes de enfermagem que são adquiridas por meio de um currículo inovador em contextos complexos, como hospitais, onde participam profissionais de enfermagem que não possuem formação docente. A literatura indica a necessidade de dispor de instrumentos que permitam uma execução de maneira objetiva, confiável e válida.
Objetivos: validar uma rubrica para avaliação das competências clínicas adquiridas pelos alunos do primeiro ano primeiro ano da graduação de enfermagem.
Metodologia: pesquisa com metodologia quantitativa, onde validação do conteúdo foi realizada por um painel de especialistas utilizando o coeficiente de validação V da Aiken e análise de confiabilidade através do coeficiente alfa de Cronbach. O sistema operacional utilizado foi SPSS 21.
Resultados: se obtém uma rubrica para a avaliação das competências clínicas dos estudantes de enfermagem do primeiro ano de graduação, que inclui dois requisitos específicos, um requisito genérico e sete resultados de aprendizagem. Validação de conteúdo por um painel de especialistas V. de Aiken de 0,88. A rubrica foi aplicada em 55 alunos obtendo um Coeficiente de Confiabilidade Alpha Cronbach de 0,83
Conclusão: uma rubrica válida e confiável é um bom instrumento de avaliação para o contexto da aprendizagem clínica. O treinamento e a experiência no ensino assim como o envolvimento e o comprometimento do avaliador com o projeto educacional, são elementos chaves para determinar o sucesso do processo de avaliação.

Palavras-chave:

avaliação; educação baseada em competências; estudantes de enfermagem.

Introducción

El currículo de los estudios oficiales de grado estructurado por competencias se ha ido imponiendo como el enfoque pedagógico dominante en los últimos años en todo el mundo, y Chile no ha estado ajeno a este proceso. En este contexto se ha dado un gran impulso al rediseño de los planes de estudio de carreras universitarias en la última década (1). La formación por competencias se basa en el encuentro de dos corrientes teóricas en las ciencias de la educación: el cognitivismo, que se ocupa de la manera por la cual el que aprende, adquiere y aplica los conocimientos y las habilidades; y el constructivismo, el cual plantea que el conocimiento es producto de una construcción propia que surge de la interacción social (2). Es decir, se crea nuevo conocimiento a partir del acervo cultural, experiencias y del propio interés o motivación que cada cual tiene por la tarea. Ambas corrientes se fundamentan en la responsabilidad de aprender del estudiante y en el desarrollo de sus competencias iniciales a lo largo de su carrera. Por tanto, el aprendizaje no solo se refiere al conocimiento nuevo que puede y debe adquirir el estudiante sino al desarrollo y evolución de su modo y estilo de aprender, mejorando el modo en que aplica los conocimientos a situaciones nuevas, de cómo integra las actitudes y valores, y los pone en juego, cómo incorpora las técnicas y métodos en su modo de actuar y afrontar las situaciones nuevas en diferentes contextos (3).
El concepto de competencia incorpora el aprendizaje de conocimientos y habilidades procedimentales, como también todos aquellos aspectos del ser profesional ligado a habilidades comportamentales, de relación interpersonal, trabajo en equipo y de pensamiento crítico reflexivo, que han de verificarse en el perfil profesional para ejercer de una manera eficiente, con la capacidad de adaptarse de forma rápida y eficaz a los cambios emergentes, enfrentar la incertidumbre y tomar decisiones de acuerdo al contexto en donde le corresponde actuar. La implementación de la innovación curricular en la Escuela de Enfermería de la Universidad de Valparaíso permitió incorporar un conjunto de estrategias didácticas dirigidas a desarrollar tales competencias en sus estudiantes; sin embargo, el proceso de evaluación no fue a la par, por cuanto hubo deficiencias en las metodologías e instrumentos para evaluar las competencias clínicas en forma válida y confiable, evidenciando un desafío importante para la seguridad de la calidad en los programas de estudio, especialmente en aquellas asignaturas que incorporaran procesos de enseñanza en contextos de aprendizaje auténticos como son los hospitalarios.

Diferentes autores coinciden en afirmar que uno de los elementos más decisivos de este nuevo paradigma en la enseñanza es la evaluación (1,4-6), porque condiciona todo el proceso de aprendizaje. Es decir, de la evaluación depende la calidad del proceso formativo. Tal es la importancia de la evaluación dentro del currículo, que el autor Boud (7) afirma que los estudiantes pueden escapar de los efectos de una enseñanza pobre, pero no pueden si aspiran a graduarse, escapar de los efectos de una evaluación pobre.

La evaluación es multidimensional, depende de diferentes factores que la componen y, desde la mirada del estudiante, la evaluación debe estar diseñada en función del aprendizaje. De acuerdo a lo anterior es clave integrar todos los elementos, dependiendo del objetivo y función para la cual se aplica (para qué), de la metodología de enseñanza que evalúa (qué), de las técnicas e instrumentos que utiliza (con qué y cómo), de los participantes, la experiencia del docente y estudiante (quiénes), condiciones en las cuales se aplica (cuándo), los resultados, efectos y determinantes que conlleva. Es muy relevante, y así lo demuestra la literatura, el rol protagónico que tiene el propio estudiante en su aprendizaje, la retroalimentación efectiva que el docente realiza en forma permanente durante el proceso formativo es clave para desarrollar la motivación, la metacognición y la autoestima. Así mismo, el docente puede ir ajustando elementos de la enseñanza teniendo en cuenta los resultados de la evaluación. Santos Guerra (8) afirma que lo más importante de la evaluación es que conduzca a la transformación de las prácticas y a su mejora, además le confiere al proceso de evaluación dimensiones éticas, sociales, psicológicas y no meramente didácticas. De acuerdo a lo anterior, el autor Poblete (9) le otorga a la evaluación un sentido de transparencia, al señalar que en la información que se le brinda al estudiante lo ayuda para mejorar resultados. No debe existir ocultismo ni desinformación, refiere el autor, los estudiantes tienen derecho a que se respeten sus intereses y a que se les garantice una información transparente y respetuosa.

Otro elemento importante a considerar en la evaluación es el instrumento a utilizar, este depende de lo que se va a evaluar, y teniendo en cuenta la pirámide del aprendizaje de Miller (10), la evaluación de competencias clínicas considera valorar el nivel de logro de la misma, mediante evidencias de desempeños a partir de los cuales se infiere la competencia, si ella es la consecuencia de movilizar recursos mediante operaciones complejas cognitivas, la evaluación de la misma implicaría el poder observar esa movilización expresada en desempeños. Estos debieran estar expresados explícitamente en el programa de asignatura y estar en coherencia con las estrategias didácticas utilizadas (11). Diferentes estudios han evidenciado la pertinencia de las rúbricas como instrumentos confiables para medir competencias en los estudiantes, como también mejorar la calidad del proceso educativo de modo individualizado, frente al modelo tradicional (12). La literatura revisada ampliamente confiere a la rúbrica la capacidad de facilitar la calificación del desempeño del estudiante en las áreas del currículo (asignaturas o temas) que son complejas, imprecisas y subjetivas de evaluar (12-14). Tal como se expuso anteriormente, haciendo referencia a los estudiantes de enfermería, las competencias clínicas son complejas, por tanto, se requiere de instrumentos objetivos y confiables más aún si se dan en ambientes clínicos, llámese hospitales o centros de Atención Primaria. Además, la evidencia sugiere que estos instrumentos han de ser confeccionados por grupos mixtos de docentes y estudiantes lo que facilita la aplicación por los primeros y disminuye la ansiedad en los alumnos, como también mejora las relaciones interpersonales entre tutores de práctica clínica y estudiantes (15-18). Una rúbrica bien planificada, construida por grupo mixtos de profesores y estudiantes y validada en su contenido por un panel de expertos y por medios estadísticos, entrega al proceso enseñanza aprendizaje mejores oportunidades para una evaluación auténtica. De acuerdo a lo descrito con anterioridad se presenta un estudio de investigación que tiene como objetivo validar una rúbrica para ser utilizada en la evaluación de las competencias genéricas y específicas adquiridas por los estudiantes del primer año de la carrera de enfermería en la práctica clínica de una asignatura de tipo teórica-práctica.

Metodología

Se trata de una investigación de tipo descriptiva, de corte transversal, cuyo objetivo fue validar una rúbrica para evaluar competencias genéricas y específicas en los estudiantes de enfermería de primer año, adquiridas durante la práctica clínica intrahospitalaria de la asignatura “Cuidados de Enfermería al Adulto y Adulto Mayor” de la Escuela de Enfermería de la Universidad de Valparaíso (Chile), en el marco de innovación curricular, año académico 2016. La rúbrica objeto de estudio fue diseñada previamente por un grupo de docentes de esa escuela, en función de la experiencia y la revisión de la literatura, previo al inicio de la presente investigación. Este instrumento estaba siendo empleado para la evaluación de los estudiantes sin haberla sometido a un procedimiento estadístico para conocer su validez y confiabilidad.
Este estudio fue parte del trabajo doctoral de la investigadora, se realizó un diseño de estudio en tres etapas, validación de contenido, análisis de confiabilidad interna, análisis de confiabilidad externa. En el presente artículo se expondrán las dos etapas primeras, la validación de contenido y el análisis de confiabilidad interna.

Para la validación de contenido se seleccionó un panel de 12 profesionales con criterio de experto en enfermería, profesionales con grado de magíster en docencia universitaria o educación superior con más de cinco años de experiencia profesional en docencia teó­rica y práctica en una institución de Educación Superior y criterio de experto en pedagogía, utilizado para la selección de un profesional con título de pedagogo con experiencia en temas de estrategias didácticas y evaluación, de al menos cinco años de experiencia laboral en Educación Superior. Se identificaron variables e ítems que correspondieron a las cinco competencias y diez resultados de aprendizaje de la rúbrica.

Para la recolección de los datos se elaboró un instrumento ad hoc, el cual incluyó todas las competencias, resultados de aprendizaje y niveles de desempeño declarados en el programa de asignatura. Junto a cada ítem se dispuso una escala de Likert de cinco opciones, los jueces debieron evaluar la adecuación de cada ítem que correspondió a cada nivel de desempeño para cada resultado de aprendizaje. Además, los expertos hicieron observaciones cualitativas para el mejoramiento del contenido de cada ítem.

Para el análisis de los datos recogidos se empleó el sistema operativo SPSS y se aplicó el coeficiente de validez V de Aiken (19), con el cual se midió la opinión de expertos sobre la validez de un material evaluativo. Para el presente estudio se decidió llevar a cabo la modificación del coeficiente propuesto por los autores Penfield y Giacobbi (20) y que abarca un criterio liberal V= 0,5 para aceptar cada ítem.

Prueba de instrumento: terminada la fase de validación de contenido se hizo una prueba piloto en 98 estudiantes de enfermería de primer año de la carrera pertenecientes al Campus San Felipe y Casa Central en Valparaíso, que cursaron la misma asignatura en el año académico 2015. En esta ocasión el instrumento alcanzó un coeficiente alpha de Cronbach de 0,73.
A final del periodo de pilotaje, el Comité Curricular de la Escuela hizo adecuaciones al programa de asignatura, como también hubo observaciones cualitativas de los docentes que participaron en la prueba piloto. Estas modificaciones mejoraron la aplicabilidad de la rúbrica y no significaron cambios de fondo en el contenido; por tanto, las variables se redujeron a tres competencias y siete resultados de aprendizajes.

Análisis de confiabilidad: se llevó a cabo en el periodo académico 2016.

Población participante de estudiantes: sobre la totalidad de estudiantes de enfermería de la escuela (n= 500) se calculó del tamaño muestral (n= 55), esta se basó en una estimación de la población, considerando una confianza de 95%, una precisión de 0,15, un porcentaje poblacional del 50% y un porcentaje de reposición de 10%. Se realizó un muestreo no probabilístico por conveniencia ya que se trató de la primera asignatura teórica-práctica dentro del nuevo currículum y la posibilidad de aplicar la rúbrica como instrumento de evaluación de las competencias clínicas.

Criterios de inclusión: fueron todos los estudiantes de primer año matriculados en la asignatura, con nota mínima de aprobación teórica de 4.0 y consentimiento informado firmado, en San Felipe y Valparaíso. Vale decir que esta asignatura consigna seis semanas de teoría, los estudiantes deben aprobar este periodo con nota mínima de 4,0 y luego asisten a la práctica clínica por 10 semanas.

Participantes docentes: profesionales de enfermería como tutores de práctica clínica. Se diferenciaron tutores llamados “tutores a cargo” pertenecientes a la Escuela de Enfermería n=13 y tutores llamados “tutores supervisores” pertenecientes a los hospitales y que colaboraron con la docencia solo clínica, n= 8.

El número de participantes docentes de estimó dependiendo del número de estudiantes en una relación de cinco estudiantes por cada docente, de acuerdo a la normativa vigente que rige la ocupación de campos clínicos.

Recolección de datos: se realizó a través de los docentes quienes aplicaron la rúbrica para la evaluación de los estudiantes que llevaron a cabo la práctica clínica intrahospitalaria bajo su tutela al final del periodo como evaluación sumativa.

Análisis de datos: se efectuó un análisis de confiabilidad interna de la rúbrica, calculando el coeficiente de correlación alpha de Cronbach, de acuerdo a los criterios de valoración general propuesto por la literatura especializada, un coeficiente de fiabilidad que supera el 0,75 es aceptable, mayor a 0,8 es buena y si es mayor a 0,90 es elevada (21).

Se desarrolló un análisis descriptivo, calculando puntajes promedios, medias, medianas y desviaciones estándares para la rúbrica completa, para sus competencias y resultados de aprendizaje. La rúbrica además de evaluar cualitativamente a los estudiantes facilita una evaluación cuantitativa, por lo anterior cada resultado de aprendizaje y cada competencia tuvo una asignado un puntaje. El puntaje máximo fue de 70 puntos que le correspondió la nota máxima de 7 y el mínimo score para la aprobación de la práctica fue de 36 puntos, que le correspondió nota 4 en una escala al 60%. Se trabajó con números enteros, por lo que desde el décimo 0,5 sube al entero superior, y desde el décimo 0,4 baja al entero inferior.
Resguardos éticos. Se solicitó autorización a la directora de escuela y todos los participantes, docentes y estudiantes firmaron en forma voluntaria un consentimiento informado (CI). Esta investigación no contempló el manejo de datos sensibles por cuanto no fue necesario la autorización del Comité de Ética. Los datos fueron anonimizados y la base de datos fue manejada solo por el investigador responsable.

Resultados

Etapa de validación de contenido: se hicieron dos rondas de validación

Caracterización de los participantes. En la primera ronda participaron cuatro jueces, tres expertos en enfermería y un pedagogo (Tabla 1). En la segunda ronda participaron ocho jueces, seis profesionales de enfermería y dos expertos en pedagogía (Tabla 2).


Coeficiente V de Aiken: en la primera ronda de validación, el valor de Aiken para la rúbrica completa fue de 0,47 cifra < a 0,50, por lo que se rechazó la validación de contenido por cuanto no existió un nivel de acuerdo considerable entre los jueces que permitiese asegurar que los niveles de desempeño fuesen adecuados y midiesen lo que realmente se quería medir dentro de cada competencia (Tabla 3).

En la segunda ronda se obtuvo acuerdo a la conversión del coeficiente de Aiken definida para el presente estudio, se validaron los ítems de competencias específicas y genéricas en su totalidad. La Tabla 4 muestra un resumen con los valores de la rúbrica completa, V de Aiken de 0,88 > a 0,50 los que estuvieron por el intervalo de confianza de 95%. Además, los expertos hicieron aportes cualitativos, todos fueron incorporados al contenido de la rúbrica.


Etapa de análisis de confiabilidad: caracterización de la muestra

Estudiantes: participaron un total de 55 estudiantes, 42 del Campus San Felipe y 13 de la Casa Central. Proporción mayoritariamente de sexo femenino y de edad promedio 19 años (Tabla 5).


Docentes: las características de los docentes que participaron en esta etapa de la validación mostraron rasgos profesionales muy similares en San Felipe y Valparaíso. Los elementos que marcaron diferencia fue el factor “formación docente” entre docentes tutores a cargo y docentes tutores supervisores y los años de experiencia en docencia entre los docentes de San Felipe y Valparaíso. Cabe destacar que la Casa Central Valparaíso tiene más de 85 años de experiencia docente, el Campus San Felipe tiene solo 15 años desde su creación (Tabla 6).


Coeficiente de correlación interna: se calculó alpha de Cronbach en ambas sedes como una sola muestra y por separado, al final del periodo como evaluación sumativa de los estudiantes de San Felipe y Valparaíso.

Valor de Alpha tomando ambas sedes como una sola muestra: este coeficiente presentó un valor de 0,848, lo que de acuerdo al criterio establecido es buena. Todos los ítems de la rúbrica presentaron valores que estuvieron por sobre 0,8, por lo anterior se decidió no eliminar elementos de la escala (Tabla 7).


Valor de Alpha tomando ambas sedes como muestras separadas: mostró valores de Alpha de la rúbrica aplicada por ambos tipos de docentes en San Felipe, docentes tutores a cargo 0,839 y docentes tutores supervisores 0,823. Valparaíso evidenció valores muy buenos de Alpha (según criterio acordado). La rúbrica aplicada por docentes tutores a cargo 0,864 y rúbrica aplicada por los docentes tutores supervisores 0,919 (Tabla 8). Este aumento del coeficiente de Alpha pudo explicarse por el número reducido de la muestra.


Análisis descriptivo: se comparó las medias registradas por los docentes en ambas sedes, se observó que los docentes tutores a cargo tanto en San Felipe como en Valparaíso fueron los que registraron una mayor puntuación media a los estudiantes. (Tabla 9). Estas diferencias no fueron estadísticamente significativas de acuerdo al análisis de comparación de medias (valor p> 0,005).

Discusión

La evaluación dentro del currículo es sin duda el motor del aprendizaje, ya que de ella depende tanto qué y cómo se enseña, como el qué y cómo se aprende (9,22-24).

La literatura revisada muestra consistentemente que uno de los aspectos relevantes en la construcción de instrumentos es el de garantizar la validez y la confiabilidad (19,25-27).
Una de las validaciones recomendadas para los instrumentos de medida es la validación de contenido, esta se lleva a cabo comparando sistemáticamente los ítems de prueba con el dominio del contenido estudiado (28). Según Escurra (29), este análisis es factible de realizar básicamente con la ayuda de un grupo de jueces competentes y calificados los cuales emiten su opinión acerca de los ítems que componen el instrumento, esto lo consigna como “criterio de jueces”. El mismo autor sugiere la utilización del coeficiente V de Aiken para medir la validez de contenido por criterio de jueces, ya que combina la facilidad del cálculo y la evaluación de los resultados, lo que garantizaría la objetividad del procedimiento. La literatura revisada no da cuenta del número de jueces necesarios para un panel de expertos; no obstante, Escurra define que frente a un número mayor de jueces el coeficiente V de Aiken podría efectuarse en la siguiente proporción: en grupos de cinco, seis y siete jueces se necesita un completo acuerdo entre ellos para que el ítem sea válido; en grupo de ocho jueces se requiere que deben estar por lo menos siete jueces en concordancia para que el ítem sea válido a un nivel de significación estadística de p < ,050.

Para el presente estudio se aplicó el criterio de jueces con un panel total de ocho expertos con perfiles profesionales en el área específica de enfermería y en el área pedagógica. Se hicieron dos rondas de validación por cuanto en la primera solo se obtuvo la participación de cuatro jueces, situación por la cual no se logró acuerdo. En la segunda ronda se logró el acuerdo de siete de ellos (7/8), con un valor V de Aiken superior a 0,88, lo que de acuerdo a la definición anterior se cumplió con ese estándar.

Estudios realizados para la validación de escalas psicométricas en diferentes áreas del conocimiento han realizado el proceso de validación de contenido con criterio de jueces y coeficiente V de Aiken (26-28).

Otro elemento importante, que va de la mano a la validación de contenido, es la medición de la confiabilidad. Es decir, que el instrumento (la rúbrica de evaluación de competencias en el presente estudio) no solo mida lo que dice que medirá, sino también cuantas veces sea aplicado este mida lo mismo, en diferentes tiempos y con diferentes evaluadores. De acuerdo a la literatura especializada, los análisis que comúnmente se efectúan a los datos son el análisis de consistencia interna, uno de los más usados es el coeficiente alpha de Cronbach, utilizado para el presente estudio y el análisis de consistencia externa, coeficiente de estabilidad temporal (CE), medida de correlación entre los resultados obtenidos de un mismo instrumento en dos periodos diferentes y el coeficiente de concordancia interobservadores o interevaluadores a través del coeficiente de correlación intraclase (CCI) o el índice de Kappa de acuerdo al tipo de variables que se manejen, categóricas o cuantitativas (31-34).

Lo anterior lo evidencian diversos estudios de validación y confiabilidad en estudiantes de Educación Superior, Jonsson & Svingby (32) revisaron siete estudios sobre fiabilidad intrajueces. La mayoría de estos estudios utilizaron el alpha de Cronbach para evaluar la consistencia de las rúbricas de evaluación de competencias en estudiantes universitarios, mostrando valores de alpha en torno a 0,70, considerados como suficientes. Los autores hacen notar en sus conclusiones la importancia de la formación de los evaluadores. En Islandia (34) se validó una rúbrica para la evaluación de competencias clínicas de estudiantes de enfermería Clínical Assessment Tools Nursing Education (CAT-NE). En la elaboración participaron profesores y estudiantes, los ítems que abarcaron la rúbrica fueron revisados desde Bologna Learning Outcomes for Bachelor´s Degree y de las teorías de enfermería. Este instrumento solo se validó en su contenido. En Sevilla (España), la autora Lima-Rodríguez (17) validó una rúbrica con técnica Delphi para evaluar competencias en estudiantes de enfermería, este método fue llevado a cabo para recoger opiniones de expertos sobre un tema particular con el fin de incorporar dichos juicios en la configuración de un cuestionario y conseguir un consenso a través de la convergencia de las opiniones de expertos. Al igual que la anterior experiencia, solo se validó en contenido. Karayut y Mert (35), en Turquía, validaron una rúbrica para la evaluación de competencias clínicas en estudiantes de enfermería de tercer y cuarto nivel en dos años académicos. Para la validación de contenido se realizaron entrevistas que llamaron cognitivas y evaluaciones cuantitativas para validar el instrumento. Participaron consultores pedagógicos, profesores expertos clínicos, profesores clínicos y estudiantes de enfermería de la Universidad. Se excluyeron todos los ítems con valores menores a 0,40, quedando con un coeficiente de confiabilidad final de 0,97.

En Málaga se realizó la adaptación transcultural y validación de rúbrica de juicio clínico de Lasater (RJCL) en la docencia de Grado de Enfermería y su implementación en el contexto educativo español, en este estudio se utilizó el coeficiente alpha de Cronbach como medida de consistencia interna y el coeficiente de correlación intraclase, como medida de consistencia externa (36).

La rúbrica validada en el presente trabajo describió en su totalidad todas las competencias tanto específicas como genéricas expresadas en variables e ítems que corresponden a los resultados de aprendizaje declarados en el programa de estudio de esa asignatura y, de cierta manera, expresaron también lo declarado en el Libro Blanco (ANECA) (37), con un coeficiente alpha de Cronbach bueno 0,84, lo que da garantías de un instrumento que evalúa efectivamente el aprendizaje de los estudiantes. No se incorporó a los estudiantes al trabajo de elaboración de la rúbrica, situación que debe mejorarse para estudios futuros.
A pesar que han pasado casi dos décadas del Proyecto Tuning, la elaboración de instrumentos válidos y confiables denota ser todavía en tema difícil de abordar por parte del profesorado en diferentes contextos universitarios, por una parte el hecho de tener que trabajar en equipos multidisciplinarios, con estudiantes, el alto costo del tiempo que se invierte en ello y, por otra, la resistencia que se percibe entre los docentes a cambiar la tradicional forma de evaluar, aun cuando la literatura es categórica en señalar la importancia que tienen los instrumentos en el proceso de evaluación de los estudiantes.

Es necesario hacer una reflexión del quehacer docente, identificar las barreras que impiden el cambio en estas materias y abrirse camino en el compartir experiencias, conocimientos y habilidades. Si bien es cierto el costo de elaborar un instrumento idóneo es alto, el beneficio de obtenerlo da la seguridad que los estudiantes tendrán mejores herramientas de éxito en su proceso de enseñanza aprendizaje.

De acuerdo a lo anterior, sería esperable conocer experiencias, sobretodo en el Espacio Europeo de Educación Superior, que rúbricas validadas para evaluar competencias clínicas de un estudiante de un mismo nivel pudieran aplicarse en cualquier institución de enseñanza superior acreditada con las debidas autorizaciones de derecho de autor, consideraciones éticas y, por supuesto, las adecuaciones necesarias a la idiosincrasia, valores, reglamentos y perfiles institucionales, cambio sociocultural, el idioma dentro de otras. En las revisiones bibliográficas efectuadas por el investigador no se encontraron estudios en los cuales se discuta este tema.

Conclusiones

  • La rúbrica utilizada para evaluar las competencias genéricas y específicas adquiridas por los estudiantes de enfermería de primer año durante la práctica clínica de la asignatura Cuidados de Enfermería del Adulto y Adulto Mayor de la Universidad de Valparaíso es válida y confiable. Los resultados otorgan garantías de calidad en la evaluación de los estudiantes de enfermería en contextos clínicos.
  • La rúbrica objeto de estudio tiene una validez de contenido elevada, con un valor global de V de Aiken igual a 0,88 y una confiabilidad elevada, con un valor global de Alfa de Cronbach de 0,848.

Limitaciones

  • Se afrontó una huelga o paro de trabajadores de la salud en periodo de aplicación de la rúbrica por cuanto el número de estudiantes participantes en Valparaíso fue reducida.
  • Los resultados del presente estudio corresponden a la Escuela de Enfermería de la Universidad de Valparaíso, por tanto, son difícilmente extrapolables a otras realidades, aunque bien es cierto que coinciden con los resultados de otros estudios que refuerzan el uso de herramientas validadas, concretamente las rúbricas, en la evaluación de la adquisición de competencias clínicas de los estudiantes de enfermería.
  • La rúbrica validada en el presente estudio puede aplicarse en otros contextos con la debida adecuación a los requerimientos de cada entidad académica y cultural.

Agradecimientos

Un gran reconocimiento a mis directores de Tesis Doctoral, María Loreto Maciá Soler y Víctor González Chorda, quienes me apoyaron y me guiaron en este proceso. A mis colegas de la Escuela de Enfermería, quienes con su confianza y ayuda permanente hicieron que el trabajo se hiciera realidad.

Este artículo es parte del trabajo de Doctorado realizado durante el periodo 2014-2017 en la Universidad Jaume I de Castellón de la Plana (España).

Bibliografía

1.    Ampuero N, Casas M, Del Valle R, Faundez F, Gutiérrrez A, Jara E, et al. Evaluación de los aprendizajes en el contexto de innovaciones curriculares en el pregrado en Universidades chilenas. En: Evaluación del Aprendizaje en Innovación Curricular de la Educación Superior. Centro Interuniversitario de Desarrollo CINDA [internet]. 2014. p. 39-80 [citado 8 mar 2019]. Disponible en: https://cinda.cl/wp-content/uploads/2017/07/evaluacion-del-aprendizaje-en-innovaciones-curriculares-de-la-educacion-superior.pdf
2.    Fernández March A. La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. REDU.Rev.de Educación Universitaria [internet] 2010 [citado 8 mar 2019]; 8(1)11. Disponible en: https://polipapers.upv.es/index.php/REDU/article/view/6216
31.    Villa Sánchez A, Poblete Ruiz M. Evaluación de competencias genéricas. Principios, oportunidades y limitaciones. Bordón. Rev. de pedagogía. [internet]. 2011 [citado 8 mar 2019]; 63(1)ed2015Agosto11. Disonible en: https://www.upv.es/entidades/ICE/info/EvaluacionCompetenciasGenericas.pdf
4.    Olmos Migueláñez S, Rodríguez Conde MJ. Diseño del proceso de evaluación de los estudiantes universitarios españoles: ¿responde a una evaluación por competencia en el Espacio Español de Enseñanza Superior? Rev. Iberoamericana de Educación. [internet] 2010 [citado 8 mar 2019]; 53(1). Disponible en: https://rieoei.org/historico/deloslectores/3757Olmos.pdf
5.    Ibarra Saíz MS, Rodríguez Gómez G. Aproximación al discurso dominante sobre la evaluación del aprendizaje en la Universidad. Rev. de Educación [internet]. 2010 [citado 8 mar 2019]; 351:385-407. Disponible en: www.revistaeducacion.mec.es/re351/re351_16.pdf
6.    Neus San Marti JJ. La función pedagógica de la evaluación. En: Evaluación como ayuda al aprendizaje [internet]. Barcelona: Graó; 2008. p. 21-42 [citado 8 mar 2019]. Disponible en: http://cmap.upb.edu.co/rid=1MZRMJB40-1QBP18V-2N4/JORBAYSANMARTIla funcion_pedagogica_evauacion.pdf
7.    Boud D. Assesment and learning: Contradictory or Complementary? Assessment for Learning in Higher Education [internet]. London: Kogan Page; 1995. p. 35-48. [cited 8 mar 2019]. Available from: https://scinapse.io/papers/167752217
8.    Santos Guerra MA. La evaluación como aprendizaje. 2ª ed. Madrid: Narcea; 2014.
9.    Poblete Ruiz M. Las competencias, instrumento para un cambio de paradigma. En: Acta del X Simposio de la Sociedad Española de Investigación Matemáticas [internet]. 2006. P. 83-106 [citado 8 mar 2019]. Disponible en: https://core.ac.uk/download/pdf/12341755.pdf
10.    Miller G. The assessment of clínical Skills, Competence, Performance. Acad Med [internet] 1999 [cited 8 mar 2019]; 65(9). Available from: http://winbev.pbworks.com/f/Assessment.pdf
11.    Tobón TS, Pimienta PJ, García JA. La evaluación de las competencias como proceso de evaluación. En: Tobón TS, Pimienta PJ, García JA. Secuencias didácticas, aprendizaje y evaluación de las competencias. México: Pearson Educación; 2010. p. 113-38.
12.    Marín R, Guzmán I, Castro G. Diseño y validación de un instrumento de educación escolar. Rev. de Investigación Educativa [internet] 2012 [citado 8 mar 2019]; 14(1). Disponible en: http://redie.uabc.mx/vol14no1/contenido-maringuzmanc.html
13.    Cervera Gasch A. Implicación y resultado de un cuestionario para medir la implicación de las enfermeras clínicos en la formación de estudiantado de grado en enfermería. [Tesis Doctoral]. Castellón: Universidad Jaume I; 2016 [citado 8 mar 2019]. Disponible en:
http://repositori.uji.es/xmlui/bitstream/handle/10234/175946/Cervera_2018_Participacion.pdf?sequence=1&isAllowed=y
14.    Carvajal A, Centeno C, Watson M, Sanz Rubiales A. ¿Cómo validar un instrumento de medida de la salud? Anales Sis. San. Navarra. [internet]. 2011 [citado 8 mar 2019];  34(1):63-72. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_ arttext&pid=S1137-66272011000100007&lng=es
    15.    Latrach-Ammar C, Febré N, Demandes I, Araneda J, González I. Importancia de las competencias en la formación de enfermería. Rev Aquichan [internet] 2011 [citado 8 mar 2019]; 11(3). Disponible en: http://aquichan.unisabana.edu.co/index.php/aquichan/article/view/2020
    16.    Zazueta Hernández M, Herrera López L. Rúbrica o matrices de valoración, herramientas de evaluación formativa y sumativa. Cuaderns Digitals [internet] 2010 [citado 8 mar 2019]. Disponible en: http://www.quadernsdigitals.net/index.php?accionMenu=hemeroteca.DescargaArticuloIU.descarga&tipo=PDF&articulo_id=10816
17.    Lima-Rodríguez J, Lima-Serrano M, Ponce-González J, Guerra-Martín M. Diseño y validación de contenido de rúbricas para evaluar las competencias prácticas en estudiantes de enfermería. Educación Médica Superior [internet]. 2015 [citado 8 mar 2019]; 29(1). Disponible en:
http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412015000100012&lng=es
18.    Goméz Díaz M, Laguado Jaimes E. Propuesta de evaluación para las prácticas formativas en enfermería. Rev. Cuidarte. [internet] 2013 [citado 8 mar 2019]; 4(1). Disponible en: http://www.scielo.org.co/pdf/cuid/v4n1/v4n1a10.pdf
19.    Merino Soto C, Livia Segovia J. Intervalos de confianza asimétricos para el índice validez de contenido: un programa Visual Basic para la V de Aiken. Anales de Psicología [internet]. 2009 [citado 8 mar 2019]; 25(1):169-71. Disponible en:
http://www.redalyc.org/articulo.oa?id=16711594019
20.    Penfield R, Giacobbi P. Applying a score confidence interval to Aiken`s item content relevance index. Measurement in Physical Educationan Exercise Sience [internet] 2004 [cited 8 mar 2019]; 8(4):213-25. Available from: https://eric.ed.gov/?id=EJ938771
21.    Hernández SR, Fernández CC, Baptista LMdP. Análisis de los datos cuantitativos. En: Hernández SR, Fernández CC, Baptista L MdP. Metodología de la Investigación. México: Mc Grew Hill; 2010. p. 302.
22.    San Martí N. Evaluar para aprender. 6ª ed. Barcelona: Graó; 2014. p. 103-11.
23.    Brailovsky C. Aportes para un cambio curricular. Educación médica, evaluación de las competencias [internet]. 2008. p 103-21 [citado 8 mar 2019]. Disponible en: http://www.fmv-uba.org.ar/posgrado/proaps/9.pdf
24.    Pallisera Díaz M, Fullana Noell J, Anna PL A. DVG. La adaptaciòn del Espacio Europeo de Educaciòn Superior en España. Los cambios/retos que implica la enseñanza basada en competencias y orientaciones para responder a ellos. Rev Iberoamericana de Educación.[internet]. 2010 [citado 8 mar 2019]; 52(4). Disponible en:
https://core.ac.uk/download/pdf/132550688.pdf
25.    Hernández SR, Fernández CC, Baptista L MdP. Recolección de datos cuantitativos. En: Hernández SR, Fernández CC, Baptista L MdP. Metodología de la Investigación. México: Mc Grew Hill; 2010. p. 201-5.
26.    Salazar C, Peña C, Ceja A, Del Río E. Diseño y validación de instrumentos de evaluación del clima organizacional en centros escolares de nivel superior. Rev. Iberoamericana de Educación.[internet] 2015 [internet]; 67:181-96. Disponible en: https://rieoei.org/historico/documentos/rie67a10.pdf
27.    Grimaldo Muchotrigo M. Construcción de un instrumento sobre estilos de vida saludables en estudiantes universitarios. Revista de Psicología [internet]; 2015 [citado 8 mar 2019]. Disponible en: https://www.researchgate.net/publication/235459217
28.    Corden J. Analizando la V de Aiken usando el método Score con hojas de cálculo. [internet] 2015 [citado 8 mar 2019]. Disponible en: https://www.researchgate.net/publication/277555967_
29.    Escurra M LM. Cuantificación de la validez de contenido por criterio de jueces. Rev de Psicología. [internet]. 1988 [citado 8 mar 2019]; 6(1). Disponible en: http://revistas.pucp.edu.pe/index.php/psicologia/article/view/4555/4534
30.    Cano E. las rúbricas como instrumentos de evaluación de competencias en educación superior. Uso o abuso. Rev. de curriculum y formación del profesorado [internet]
2015 [citado 8 mar 2019]; 19(2). Disponible en:
http://www.ugr.es/~recfpro/rev192COL2.pdf
31.    Valverde Barrocoso J, Ciudad Gómez A. El uso de las e-rúbricas para la evaluación de las competencias de los estudiantes. Rev. de Docencia Universitaria REDU. [internet] 2014 [citado 8 mar 2019]; 12(1):49-79. Disponible en:
https://www.researchgate.net/publication/262233615
32.    Jonsson A, Svingby G. The use of scoring rubrics, reliability, validityand educacional consequences. Educational Research Review [internet]. 2007 [cited 8 mar 2019]; 2(2):130-44. Available from:
 https://www.sciencedirect.com/science/article/pii/S1747938X07000188?via%3Dihub
33.    Norcini J, Anderson B, Valdes B, Burch V, Joao Costa M, Duvivier R, et al. Criterios para la buena evaluación: declaración de consenso y las recomendaciones de la Conferencia de Otawa 2010. En: Otawa Conference Report. Journal Medical Teacher [internet]. 2011 [citado 8 mar 2019]; 33(3):206-14. Disponible en:
http://www.tandfonline.com/doi/abs/10.3109/0142159X.2011.551559?src=recsys
34.    Skûladóttir H, Hrônn M. Development and validation of a clinical assessment for nusing education (CAT-NE). Nurse Education in Practice [internet]. 2016 [cited 8 mar 2019]; 20. p. 31-8. Available from: https://www.ncbi.nlm.nih.gov/pubmed/27428801
35.    Karayurt Ô, Mert H, Beser A. A study on development of a scale to assess nursing student´s performance in clínical settings. J Clin Nurs [internet]. 2009 [cited 8 mar 2019]; 18(8):1123-30. Availablefrom: https://www.ncbi.nlm.nih.gov/pubmed/19320782
36.    Román-Cereto M, García-Mayor S, Kaknani-Uttumchandani S, García-Gámez M, León-Campos A, et al. Adaptación cultural y validación de la rúbrica de juicio clínico Lasater en estudiantes de enfermería en España. Nurse Education Today [internet].2018 [citado 8 mar 2019]; 64:71-8. Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/29459195
37.    Agencia Nacional de la Evaluación de la Calidad y Acreditación. Libro Blanco de la Titulación de Enfermería [internet]; 2004 [citado 8 mar 2019]. Disponible en: https://www.um.es/c/document_library/get_file?uuid=56fb9094-e5b8-4d3a-ace5-d7905d85e4c4&groupId=479763