Rubric: A valid and reliable tool to assess clinical competences in nursing students
Section: Originals
How to quote
Espinoza Fernández MB. La rúbrica, instrumento válido y confiable para evaluar las competencias clínicas a estudiantes de enfermería. Rev. iberoam. Educ. investi. Enferm. 2019; 9(2):19-31.
Authors
María Bruna Espinoza Fernández
Position
Doctora en Ciencias de la Enfermería. Profesora Adjunta. Escuela de Enfermería. Universidad de Valparaíso. Chile.
Contact email: bruna.espinoza@uv.cl
Abstract
Introduction: assessment is a critical factor in the quality of university education, and it is even more important in nursing students when evaluation is needed for clinical competences acquired in an innovative curriculum in complex settings such as hospitals with professional nurses not having a specific training in teaching. As suggested by literature, tools are needed to perform assessments in an objective, reliable, and valid way.
Purpose: to validate a rubric to assess clinical competences acquired by first year nursing students.
Methods: an investigation with quantitative methods for content validation by a panel of experts, using Aiken's V validation coefficient and reliability analysis by means of Cronbach's alpha coefficient. Operative system SPSS 21 was used.
Results: a rubric was developed to assess clinical competences in first-year nursing students, including two specific competences, a generic competence, and seven learning outcomes. Content validation by a panel of experts using Aiken's V 0.88. The rubric was implemented in 55 students and a Cronbach's alpha coefficient for reliability of 0.83 was obtained.
Conclusion: a valid and reliable rubric is a good tool for assessment in clinical learning settings. Teaching training and experience, including assessor's involvement and commitment to the educational program were key elements in the assessment process.
Keywords:
Assessment; competence-based education; nursing students
Versión en Español
Título:
Artículo completo no disponible en este idioma / Full article is not available in this language
Bibliography
1. Ampuero N, Casas M, Del Valle R, Faundez F, Gutiérrrez A, Jara E, et al. Evaluación de los aprendizajes en el contexto de innovaciones curriculares en el pregrado en Universidades chilenas. En: Evaluación del Aprendizaje en Innovación Curricular de la Educación Superior. Centro Interuniversitario de Desarrollo CINDA [internet]. 2014. p. 39-80 [citado 8 mar 2019]. Disponible en: https://cinda.cl/wp-content/uploads/2017/07/evaluacion-del-aprendizaje-en-innovaciones-curriculares-de-la-educacion-superior.pdf
2. Fernández March A. La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. REDU.Rev.de Educación Universitaria [internet] 2010 [citado 8 mar 2019]; 8(1)11. Disponible en: https://polipapers.upv.es/index.php/REDU/article/view/6216
31. Villa Sánchez A, Poblete Ruiz M. Evaluación de competencias genéricas. Principios, oportunidades y limitaciones. Bordón. Rev. de pedagogía. [internet]. 2011 [citado 8 mar 2019]; 63(1)ed2015Agosto11. Disonible en: https://www.upv.es/entidades/ICE/info/EvaluacionCompetenciasGenericas.pdf
4. Olmos Migueláñez S, Rodríguez Conde MJ. Diseño del proceso de evaluación de los estudiantes universitarios españoles: ¿responde a una evaluación por competencia en el Espacio Español de Enseñanza Superior? Rev. Iberoamericana de Educación. [internet] 2010 [citado 8 mar 2019]; 53(1). Disponible en: https://rieoei.org/historico/deloslectores/3757Olmos.pdf
5. Ibarra Saíz MS, Rodríguez Gómez G. Aproximación al discurso dominante sobre la evaluación del aprendizaje en la Universidad. Rev. de Educación [internet]. 2010 [citado 8 mar 2019]; 351:385-407. Disponible en: www.revistaeducacion.mec.es/re351/re351_16.pdf
6. Neus San Marti JJ. La función pedagógica de la evaluación. En: Evaluación como ayuda al aprendizaje [internet]. Barcelona: Graó; 2008. p. 21-42 [citado 8 mar 2019]. Disponible en: http://cmap.upb.edu.co/rid=1MZRMJB40-1QBP18V-2N4/JORBAYSANMARTIla funcion_pedagogica_evauacion.pdf
7. Boud D. Assesment and learning: Contradictory or Complementary? Assessment for Learning in Higher Education [internet]. London: Kogan Page; 1995. p. 35-48. [cited 8 mar 2019]. Available from: https://scinapse.io/papers/167752217
8. Santos Guerra MA. La evaluación como aprendizaje. 2ª ed. Madrid: Narcea; 2014.
9. Poblete Ruiz M. Las competencias, instrumento para un cambio de paradigma. En: Acta del X Simposio de la Sociedad Española de Investigación Matemáticas [internet]. 2006. P. 83-106 [citado 8 mar 2019]. Disponible en: https://core.ac.uk/download/pdf/12341755.pdf
10. Miller G. The assessment of clínical Skills, Competence, Performance. Acad Med [internet] 1999 [cited 8 mar 2019]; 65(9). Available from: http://winbev.pbworks.com/f/Assessment.pdf
11. Tobón TS, Pimienta PJ, García JA. La evaluación de las competencias como proceso de evaluación. En: Tobón TS, Pimienta PJ, García JA. Secuencias didácticas, aprendizaje y evaluación de las competencias. México: Pearson Educación; 2010. p. 113-38.
12. Marín R, Guzmán I, Castro G. Diseño y validación de un instrumento de educación escolar. Rev. de Investigación Educativa [internet] 2012 [citado 8 mar 2019]; 14(1). Disponible en: http://redie.uabc.mx/vol14no1/contenido-maringuzmanc.html
13. Cervera Gasch A. Implicación y resultado de un cuestionario para medir la implicación de las enfermeras clínicos en la formación de estudiantado de grado en enfermería. [Tesis Doctoral]. Castellón: Universidad Jaume I; 2016 [citado 8 mar 2019]. Disponible en:
http://repositori.uji.es/xmlui/bitstream/handle/10234/175946/Cervera_2018_Participacion.pdf?sequence=1&isAllowed=y
14. Carvajal A, Centeno C, Watson M, Sanz Rubiales A. ¿Cómo validar un instrumento de medida de la salud? Anales Sis. San. Navarra. [internet]. 2011 [citado 8 mar 2019]; 34(1):63-72. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_ arttext&pid=S1137-66272011000100007&lng=es
15. Latrach-Ammar C, Febré N, Demandes I, Araneda J, González I. Importancia de las competencias en la formación de enfermería. Rev Aquichan [internet] 2011 [citado 8 mar 2019]; 11(3). Disponible en: http://aquichan.unisabana.edu.co/index.php/aquichan/article/view/2020
16. Zazueta Hernández M, Herrera López L. Rúbrica o matrices de valoración, herramientas de evaluación formativa y sumativa. Cuaderns Digitals [internet] 2010 [citado 8 mar 2019]. Disponible en: http://www.quadernsdigitals.net/index.php?accionMenu=hemeroteca.DescargaArticuloIU.descarga&tipo=PDF&articulo_id=10816
17. Lima-Rodríguez J, Lima-Serrano M, Ponce-González J, Guerra-Martín M. Diseño y validación de contenido de rúbricas para evaluar las competencias prácticas en estudiantes de enfermería. Educación Médica Superior [internet]. 2015 [citado 8 mar 2019]; 29(1). Disponible en:
http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412015000100012&lng=es
18. Goméz Díaz M, Laguado Jaimes E. Propuesta de evaluación para las prácticas formativas en enfermería. Rev. Cuidarte. [internet] 2013 [citado 8 mar 2019]; 4(1). Disponible en: http://www.scielo.org.co/pdf/cuid/v4n1/v4n1a10.pdf
19. Merino Soto C, Livia Segovia J. Intervalos de confianza asimétricos para el índice validez de contenido: un programa Visual Basic para la V de Aiken. Anales de Psicología [internet]. 2009 [citado 8 mar 2019]; 25(1):169-71. Disponible en:
http://www.redalyc.org/articulo.oa?id=16711594019
20. Penfield R, Giacobbi P. Applying a score confidence interval to Aiken`s item content relevance index. Measurement in Physical Educationan Exercise Sience [internet] 2004 [cited 8 mar 2019]; 8(4):213-25. Available from: https://eric.ed.gov/?id=EJ938771
21. Hernández SR, Fernández CC, Baptista LMdP. Análisis de los datos cuantitativos. En: Hernández SR, Fernández CC, Baptista L MdP. Metodología de la Investigación. México: Mc Grew Hill; 2010. p. 302.
22. San Martí N. Evaluar para aprender. 6ª ed. Barcelona: Graó; 2014. p. 103-11.
23. Brailovsky C. Aportes para un cambio curricular. Educación médica, evaluación de las competencias [internet]. 2008. p 103-21 [citado 8 mar 2019]. Disponible en: http://www.fmv-uba.org.ar/posgrado/proaps/9.pdf
24. Pallisera Díaz M, Fullana Noell J, Anna PL A. DVG. La adaptaciòn del Espacio Europeo de Educaciòn Superior en España. Los cambios/retos que implica la enseñanza basada en competencias y orientaciones para responder a ellos. Rev Iberoamericana de Educación.[internet]. 2010 [citado 8 mar 2019]; 52(4). Disponible en:
https://core.ac.uk/download/pdf/132550688.pdf
25. Hernández SR, Fernández CC, Baptista L MdP. Recolección de datos cuantitativos. En: Hernández SR, Fernández CC, Baptista L MdP. Metodología de la Investigación. México: Mc Grew Hill; 2010. p. 201-5.
26. Salazar C, Peña C, Ceja A, Del Río E. Diseño y validación de instrumentos de evaluación del clima organizacional en centros escolares de nivel superior. Rev. Iberoamericana de Educación.[internet] 2015 [internet]; 67:181-96. Disponible en: https://rieoei.org/historico/documentos/rie67a10.pdf
27. Grimaldo Muchotrigo M. Construcción de un instrumento sobre estilos de vida saludables en estudiantes universitarios. Revista de Psicología [internet]; 2015 [citado 8 mar 2019]. Disponible en: https://www.researchgate.net/publication/235459217
28. Corden J. Analizando la V de Aiken usando el método Score con hojas de cálculo. [internet] 2015 [citado 8 mar 2019]. Disponible en: https://www.researchgate.net/publication/277555967_
29. Escurra M LM. Cuantificación de la validez de contenido por criterio de jueces. Rev de Psicología. [internet]. 1988 [citado 8 mar 2019]; 6(1). Disponible en: http://revistas.pucp.edu.pe/index.php/psicologia/article/view/4555/4534
30. Cano E. las rúbricas como instrumentos de evaluación de competencias en educación superior. Uso o abuso. Rev. de curriculum y formación del profesorado [internet]
2015 [citado 8 mar 2019]; 19(2). Disponible en:
http://www.ugr.es/~recfpro/rev192COL2.pdf
31. Valverde Barrocoso J, Ciudad Gómez A. El uso de las e-rúbricas para la evaluación de las competencias de los estudiantes. Rev. de Docencia Universitaria REDU. [internet] 2014 [citado 8 mar 2019]; 12(1):49-79. Disponible en:
https://www.researchgate.net/publication/262233615
32. Jonsson A, Svingby G. The use of scoring rubrics, reliability, validityand educacional consequences. Educational Research Review [internet]. 2007 [cited 8 mar 2019]; 2(2):130-44. Available from:
https://www.sciencedirect.com/science/article/pii/S1747938X07000188?via%3Dihub
33. Norcini J, Anderson B, Valdes B, Burch V, Joao Costa M, Duvivier R, et al. Criterios para la buena evaluación: declaración de consenso y las recomendaciones de la Conferencia de Otawa 2010. En: Otawa Conference Report. Journal Medical Teacher [internet]. 2011 [citado 8 mar 2019]; 33(3):206-14. Disponible en:
http://www.tandfonline.com/doi/abs/10.3109/0142159X.2011.551559?src=recsys
34. Skûladóttir H, Hrônn M. Development and validation of a clinical assessment for nusing education (CAT-NE). Nurse Education in Practice [internet]. 2016 [cited 8 mar 2019]; 20. p. 31-8. Available from: https://www.ncbi.nlm.nih.gov/pubmed/27428801
35. Karayurt Ô, Mert H, Beser A. A study on development of a scale to assess nursing student´s performance in clínical settings. J Clin Nurs [internet]. 2009 [cited 8 mar 2019]; 18(8):1123-30. Availablefrom: https://www.ncbi.nlm.nih.gov/pubmed/19320782
36. Román-Cereto M, García-Mayor S, Kaknani-Uttumchandani S, García-Gámez M, León-Campos A, et al. Adaptación cultural y validación de la rúbrica de juicio clínico Lasater en estudiantes de enfermería en España. Nurse Education Today [internet].2018 [citado 8 mar 2019]; 64:71-8. Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/29459195
37. Agencia Nacional de la Evaluación de la Calidad y Acreditación. Libro Blanco de la Titulación de Enfermería [internet]; 2004 [citado 8 mar 2019]. Disponible en: https://www.um.es/c/document_library/get_file?uuid=56fb9094-e5b8-4d3a-ace5-d7905d85e4c4&groupId=479763
