Study of the Unidimensionality of the Scale for the Evaluation of the Quality of Learning Objects for the Health Area (Equalis-OAS)

Authors

DOI:

https://doi.org/10.18264/eadf.v12i1.1641

Abstract

In the presente study, one-dimensionality, the functionality of the categories of response, and the reliability regarding Equalis-OAS were investigated. Equalis-OAS is a five-point Likert scale, written in Portuguese, designed from the perspective of psychometric precepts, with a view to evaluating the Quality of Learning Objects in the Healthcare field. The study involved 1,766 health practitioners, participants of continuing Education courses carried out in the distance modality provided by the Telehealth Program of the state of Rio Grande do Sul (TelessaúdeRS-UFRGS). Results suggest that although Equalis-OAS has its items distributed in three categories (Intrinsic Concepts; Educational; Presentation) the adoption of one-dimensionality may be applied without compromising the reliability of the scale. Moreover, Equalis-OAS "neither agree nor disagree" point proved to be of little relevance, suggesting future applications with four points. The calculation of the Rating Scale shows that the parameters of people and items were estimated with high precision, indicating evidence of the scale's reliability. The analyses performed covering the one-dimensionality of the instrument, the exclusion of an item, and the exclusion of the neutral point did not compromise the evidence pointing towards the instrument's validity, that is, Equalis-OAS continues measuring what it was set to measure, namely the quality of learning objects aimed at the healthcare field.

Keywords:Distance education. Health education. Validation studies. Item response theory. Rating scale.



Downloads

Download data is not yet available.

Author Biographies

Sérgio Kakuta Kato , Universidade Federal de Ciências da Saúde de Porto Alegre

 

 

 

Ana Paula Borngraber Correa, Universidade federal do Rio Grande do Sul

 

 

References

AMADOR, C. E. V.; ARTEAGA, J. M.; RODRIGUEZ, F. A. Aspectos de lacalidad de objetos de aprendizaje em elmetadato de LOM. In: ENCONTRO INTERNACIONAL VIRTUAL EDUCA BRASIL, 2007, José dos Campos. Anais. São José dos Campos-SP, Brasil. Disponí­vel em: http://n03velazquez07.pdf. Acesso em: 6 maio 2015.

ANDRICH, D. A rating formulation for ordered response categories. Psychometrika, Colorado, v. 43, n. 4, p. 561–573, 1978.

ANDRADE, J. M.; LAROS, J. A.; GOUVEIA, V. V. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Porto Alegre, v.9, n.3, p.421-435, 2010. Disponí­vel em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712010000300009&lng=pt&nrm=iso. Acessos em 4 mar. 2022.

ARAUJO, A. L. S. O. et al. Teoria de Resposta ao Item. In: JAQUES, P. A. et al. Metodologia de Pesquisa Cientí­fica em Informática na Educação: Abordagem Quantitativa. Porto Alegre: SBC, 2020. (Série Metodologia de Pesquisa em Informática na Educação, v. 2) Disponí­vel em: https://metodologia.ceie-br.org/livro-2. Acesso em: 5.mar. 2022.

ARORA, C. et al. Development and Validation of Health Education Tools and Evaluation Questionnaires for Improving Patient Care in Lifestyle Related Diseases. J Clin Diagn Res. v.11, n.5, p. JE06-JE09, 2017. Disponí­vel em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5483708/pdf/jcdr-11-JE06.pdf. Acesso em: 2 mar.2022.

BLAKE, H. Computer-based learnig objects in healthcare: the student experience. International Journal of Nursing Education Scholarship Berlim, v. 7, n. 1, p. 1-15, 2010.

BURGA, B. A. Andrés, y La unidimensionalidad de un instrumento de medición: perspectiva factorial. Revista de Psicologí­a, vol. XXIV, no. 1, pp.53-80, 2006. Disponí­vel em: https://www.redalyc.org/articulo.oa?id=337829536003. Acesso em: mar.2022.

CHAWLA, S.; GUPTA, N.; SINGLA, R. K. LOQES: Model for evaluation of learning object. International Journal of Advanced Computer Science and Applications, London, v. 3, n. 7, 2012. http://dx.doi.org/10.14569/IJACSA.2012.030710

COHEN, R. J. Testagem e avalição psicológica: introdução a testes e medidas. Porto Alegre: AMGH. 2104. 724p.

COLUCI, M. Z. O.; ALEXANDRE, N. M. C.; MILANI, D. Construção de instrumentos de medição na area da saúde. Ciência e Saúde Coletiva, Rio de Janeiro, v. 20, n. 3, p. 925-936, 2015.

COOPER, D. I.; JOHNSON, T. P. How to use survey results. Journal of the Medical Library Association JMLA, v 104, n 2, p. 174-177, 2016. Disponí­vel em: https://jmla.pitt.edu/ojs/jmla/article/view/69. Acesso em: 3.mar.2022.

DALMORO, M.; VIEIRA, K. M. Dilemas na construção de escalas tipo Likert: o número de itens e a disposição influenciam nos resultados? Revista Gestão Organizacional, (ONLINE), v. 6, p. 161-174, 2013. Disponí­vel em: http://Dalmoro_Vieira_2013_Dilemas-na-construcao-de-escal_31731.pdf. Acesso em: 8 maio 2021.

ECHEVARRíA-GUANILO, M. E.; GONÇALVES, N.; ROMANOSKI, P. J. Propriedades Psicométricas de Instrumentos de Medidas: Bases Conceituais E Métodos De Avaliação - Parte I. Texto & Contexto - Enfermagem [online], v. 26, n. 4, p. e1600017, 2017. Disponí­vel em: https://doi.org/10.1590/0104-07072017001600017. Acesso em: mar.2022.

GAIL, M. S. Analyzing and Interpreting Data From Likert-Type Scales. Journal of Graduate Medical Education, v.5, n.4, p.542-542, 2013. Disponí­vel em: https://meridian.allenpress.com/jgme/article/5/4/541/34037/Analyzing-and-Interpreting-Data-From-Likert-Type. Acesso em 5 mar.2022.

GAMA, C. L. G. Método de construção de objetos de aprendizagem com aplicação em métodos numéricos. Curitiba: UFPR; 2007. 210 p. Tese de Doutorado.

GONZíLES, R. R.; RODRIGUES, F. A.; ARTEAGA, J. Evaluación de Objetos de Aprendizaje a través delAseguramiento de Competencias Educativas. In: Virtual Educa 2007, 2007, José dos Campos. Anais... São José dos Campos-SP, Brasil. Disponí­vel em https://recursos.educoas.org/sites/default/files/211-RRG.PDF. Acesso em: 8 maio 2021.

KATZ, N. et al. Acesso e regulação ao cuidado especializado no Rio Grande do Sul: a estratégia RegulaSUS do TelessaúdeRS-UFRGS. Ciência & Saúde Coletiva [online]. v.25, n.4, p. 1389-1400, 2020. Disponí­vel em: https://doi.org/10.1590/1413-81232020254.28942019. Acesso em: 2 mar.2022.

KAY, R. H; KNAACK, L. Evaluating the learning in learning objects. Open Learning, v. 22, n. 1, p. 5-28, 2007. Disponí­vel em: http://Evaluating_the_learning_in_learning_objects.pdf. Acesso em: 8 maio. 2021.

KAY, R. H.; KNAACK, L. A multi-component model for assessing learning objects: the learning object evaluation metric (LOEM). Australasian Journal of Educational Technology, v. 24, n. 5, p. 574-591, 2008. Disponí­vel em: http://KayKnaack2007-AppendixC-ListofLearningObjectsusedintheStudy.pdf. Acesso em: 8 maio. 2021.

KRAUSS, F.; ALLY, M. A study of the design and evaluation of learning object and implications for content development. Interdisciplinary Journal of Knowledge and Learning Objects, v. 1, p.1-22, 2005. Disponí­vel em: http://v1p001-022Krauss.pdf. Acesso em: 8 maio. 2021.

LEITE, S de S. et al. Construction and validation of an Educational Content Validation Instrument in Health. Revista Brasileira de Enfermagem, v.71, suppl 4, 1732-1738, 2018.

LEMOS, A. S. P.; DUTRA, E. B.; REZENDE, M. J. Tecnologias Digitais para a Educação Permanente em Saúde: Uma Revisão De Escopo De Experiências Nacionais. In: GUIZARDI, F. L.; DUTRA, E. B. Em Mar Aberto: Perspectivas e desafios para uso de tecnologias digitais na educação permanente da saúde. Porto Alegre: Rede Unida, 2021. p. 1-388.

LINACRE, J. M. A User"™s Guide to Winsteps Rasch Model Computer Programs. Chicago, 2011.

MACEDO, S. B. Quantos pontos são necessários? Um estudo comparativo de Escalas Likert, do Tipo Likert e Semântica. Revista Horizontes Interdisciplinares da Gestão, v. 4, n. 2, 2020.

MARTINS, L. B.; ZERBINI, T. Evidências de validade de instrumentos de reações no ensino superior í distância. Estudos e Pesquisas em Psicologia, Rio de Janeiro, v. 15, n. 1, p. 116-134, 2015. Disponí­vel em: http://pepsic.bvsalud.org/pdf/epp/v15n1/v15n1a08. Acesso em: 2 maio. 2021.

MASCHIO, A. V.; CORREIA, N. M. R. Digital learning object for audiovisual production. International Journal of Information and Education Technology, v. 10, n. 2, p. 201-208, 2020. Disponí­vel em: http://Digital_Learning_Object_for_Audiovisual_Production.pdf. Acesso em:2 maio. 2021.

MATAS, A. Diseño del formato de escalas tipo Likert: un estado de la cuestión. REDIE, Ensenada, v. 20, n. 1, p. 38-47, 2018. Disponí­vel em: http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1607-40412018000100038&lng=es&nrm=iso. Acesso em: 2 mar.2022.

MEDINA, D., HERMIDA, J. &MONTOYO, A. LOQEVAL: Propuesta de evaluación de la calidad de objetos de aprendizaje mediante ontologí­as. SIECI 2009 Conference.

MINERVINO, C. A. S. M. et al. Estudo de validação da escala de estratégias de estudo. Avaliação Psicológica, Porto Alegre, v. 4, n. 2, p. 115-123, 2005. Disponí­vel em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677- 04712005000200004&lng=pt&nrm=iso. Acesso em: 25 abr. 2021.

MOTA, D. D. C. F.; PIMENTA, C. A. M. Avaliação e mensuração de variáveis psicossociais: desafio para pesquisa e clí­nica de enfermagem. Revista Gaúcha de Enfermagem. v28. N.3, p.309-14, 2007.

MUNHOZ, A. S. Objetos de aprendizagem. Curitiba: InterSaberes, 2013.

NESBIT, J. C.; LI, J. Web-based tools for learning object evaluation. INTERNATIONAL CONFERENCE ON EDUCATION AND INFORMATION SYSTEMS: Technologies and Applications, 2004. Proceedings. 2004. Disponí­vel em: http://www.researchgate.net/profile/John_Nesbit/publication/252814007_WebBased_Tools_for_Learning_Object_Evaluation/links/53e421510cf25d674e94b675.pdf. Acesso em: 12 nov. 2015.

NESBIT, J.; BELFER, K.; LEACOCK, T. Instrumento para a Avaliação de Objectos de Aprendizagem (LORI). Manual do Usuário. Version 2.0, 2009. Disponí­vel em: http://www.avu.org/avuorg/images/Documents/ODeLPD/lori_pt.pdf. Acesso em: 3 mar. 2022.

NUNES, C. H. S. S. et al. Teoria de Resposta ao Item para Otimização de Escalas tipo Likert: um exemplo de aplicação. Revista Iberoamerica de Diagnóstico y Evaluación Psicológica, v. 25, p. 51-80, 2008.

NUNES, C.H.S.S. et al. Teoria de Resposta ao Item para otimização de escalas tipo likert– um exemplo de aplicação. Revista Iberoamericana de Diagnóstico y Evaluación - e Avaliação Psicológica, v. 1, n.25, p. 51-79, 2008.

PASQUALI, L. Instrumentação psicológica: fundamentos e prática. Porto Alegre: Artmed, 2010. 560 p.

PORTELA, T. C. L.; OLIVEIRA, M. C. A. Avaliação de objetos de aprendizagem (OA) sobre evolução biológica (EB) a partir da Teoria da Carga Cognitiva (TCC). Revista de Ensino de Biologia da SBEnBio, São Paulo, n. 13, v. 2, p. 400-425, 2020. https://doi.org/10.46667/renbio.v13i2.378. Disponí­vel em: http://378-Texto-do-Artigo-1184-4-10-20201019.pdf. Acesso em: 8 maio. 2021.

REISE, S. P.; MORIZOT, J.; HAYS, R. D. The role of the bifactor model in resolving dimensionality issues in health outcomes measures. Quality of Life Research, v. 16 (Suppl 1), p. 19–31, 2007. https://doi.org/10.1007/s11136-007-9183-7. Disponí­vel em: http://Reiseetal.QLR2007.pdf. Acesso em 30 abr. 2021.

REVELLE, W. psych: Procedures for personality and psychological research. R package version 1.4.3. CRAN Project. Disponí­vel em: http://cran.r-project.org/web/packages/psych/psych.pdf. Acesso em: 30 abr. 2021.

REYES, R. A.; LAZO, H. R.; BALLAGAS, J. P. La calidad de objetos de aprendizaje reutilizables producidos en un curso mediado por la universidad virtual de la salud. Revista Habanera de Ciencias Médicas, vol. 13, n.5, p. 782-789, 2014. Disponí­vel em: https://www.redalyc.org/pdf/1804/180432616015.pdf. Acesso em 3.mar.2022.

ROMISZOWSKI, A. J. Aspectos da pesquisa em EAD. In: LITTO, F. M.; FORMIGA, M. M. (Org). Educação a distância: o estado da arte. São Paulo (SP): Pearson Education do Brasil, 2009. p. 422-434.

ROZADOS, H. B. F. Objetos de aprendizagem no contexto da construção do conhecimento. Revista Ciência e Desenvolvimento – Revista Eletrônica da Fainor, Vitória da Conquista, v. 2, n. 1, p. 46-63, 2009. Disponí­vel em: https://docplayer.com.br/51009533-Objetos-de-aprendizagem-no-contexto-da-construcao-do-conhecimento.html. Acesso em 3.mar. 2022.

SANTOS, C. J.; SILVA, S. N. S.; COSTA, P. J. M. S. Construção e validação de tecnologia educativa no formato de história em quadrinhos na área de imunizações: instrumento de autocuidado e de estí­mulo í vacinação infantil. Ciência & Educação, v. 27. p e21036, 2021. Disponí­vel em: https://doi.org/10.1590/1516-731320210036. Acesso em: mar.3/3/2022.

SOUZA, A. C.; ALEXANDRE, N. M. C.; GUIRARDELLO, E. P. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiologia e Serviços de Saúde [online], v. 26, n. 3, p. 649-659, 2017. Disponí­vel em: https://doi.org/10.5123/S1679-49742017000300022. Acesso em: 2 mar. 2022.

TRINDADE, C. S.; DAHMER, A.; REPPOLD, C. T. Learning objects: an integrative review in healthcare. Journal of Health Informatics, São Paulo, v. 6, n. 1, p. 20-29, 2014 Disponí­vel em: http://300-1234-1-PB.pdf. Acesso em 6 maio. 2021.

TRINDADE, C. S. et al. Evaluation of the quality of learning objects in the health care area: evidence of validity and internal. International Journal for Innovation Education and Research, Dhaka, v. 6, n. 8, p. 15-27, 2018a. Disponí­vel em: http://001078547.pdf. Acesso em: 6 maio. 2021.

TRINDADE, C. S. et al. Processo de construção e busca de evidências de validade de conteúdo da Equalis-OAS. Avaliação Psicológica, Itatiba, v. 17, n. 2, p. 271-277, 2018b.Disponí­vel em: http:// pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677- 04712018000200014&lng=pt&nrm=iso. Acesso em: 25 abr. 2021.

UMEKAWA, E. E. R.; ZERBINI, T. Estratégias de aprendizagem na educação a distância: revalidação de uma escala. Psico, Porto Alegre, v. 51, n. 2, 2020. e29638. https://doi.org/10.15448/1980-8623.2020.2.29638

VARGO, J. et al. Learning object evaluation: computer-mediated collaboration and inter-rater reability. International Journal of Computers and Applications, London, v. 25, n. 3, p. 1-8, 2003.

VIEIRA, K. M. et al. Escala de Determinantes da Evasão no Ensino a Distância (EDED): Proposição e Validação. EaD em Foco, v. 10, n. 2, e1035, 2020. DOI: https://doi.org/10.18264/eadf.v10i2.1035

WILEY, D. A. Connecting learning objects to instructional design theory: a definition, a metaphor, and a taxonomy. In: WILEY, D. A. The instructional use of learning objects. Indiana: AIT, 2000. Disponí­vel em: http://InstructionalUseofLearningObjects.pdf. Acesso em: 26 abr. 2021.

Downloads

Published

2022-06-07

How to Cite

Trindade, C. S., Kato , S. K. ., Correa, A. P. B., Rodrigues, Y. E., Gonçalves , M. R. ., Hauck Filho , N. . ., & Reppold , C. T. . (2022). Study of the Unidimensionality of the Scale for the Evaluation of the Quality of Learning Objects for the Health Area (Equalis-OAS). EaD Em Foco, 12(1). https://doi.org/10.18264/eadf.v12i1.1641

Issue

Vol. 12 No. 1 (2022)

Section

Estudos de Caso

License

Copyright (c) 2022 EaD em Foco

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

All articles published in Revista EaD em Foco receive the license

Creative Commons - Atribuição 4.0 Internacional (CC BY 4.0).

All subsequent publications, complete or partial, must be made with the acknowledgment, in citations, of the Revista EaD em Foco as the original editor of the article.