DOI:
https://doi.org/10.38017/1657463X.648Palavras-chave:
qualidade científica, revisão sistemática, avaliação, meta-ciência, produção científicaResumo
A avaliação da qualidade científica é uma necessidade primária, tanto para a comunidade científica quanto para os interessados em políticas de incentivo e apoio à ciência. No entanto, essa avaliação não é isenta de complexidades. O objetivo deste texto é propor uma abordagem para a avaliação da qualidade científica, na qual revisões sistemáticas desempenham um papel fundamental. Características e limitações das principais perspectivas da avaliação científica são discutidas para finalmente expor a própria proposta. Conclui-se que satisfaz a necessidade de métodos e critérios, objetivos e rigorosos, para a avaliação de produtos científicos.
Downloads
Não há dados estatísticos.
Referências
Albert, M., Laberge, S. y McGuire, W. (2012). Criteria for assessing quality in academic research: The views of biomedical scientists, clinical scientists and social scientists. Higher Education, 64(5), 661–676. https://doi.org/10.1007/s10734-012-9519-2
Allik, J. (2013). Factors affecting bibliometric indicators of scientific quality. Trames, 17(3), 199–214. Recuperado de http://psych.ut.ee/~jyri/en/Scientific-quality_Trames-2013-3-199-214.pdf
Ardanuy, J. (2012). Breve introducción a la bibliometría. Barcelona: Universidad de Barcelona.
Avital, M. y Collopy, F. (2001). Assesing research performance: Implications for selection and motivation. Sprouts: Working Papers on Information Systems, 1(14), 40–61. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.505.2146&rep=rep1&type=pdf
Belter, C. W. (2015). Bibliometric indicators: Opportunities and limits. Journal of the Medical Library Association, 103(4), 219–221. https://doi.org/10.3163/1536-5050.103.4.014
Bertneck, C. (2007). Quality Criteria for Design and Science. CHI 2007 Workshop: Exploring Design as a Research Activity. Recuperado de https://www.bartneck.de/publications/2007/qualityCriteria/index.html
Bertocchi, G., Gambardella, A., Jappelli, T., Nappi, C. A. y Peracchi, F. (2015). Bibliometric evaluation vs. informed peer review: Evidence from Italy. Research Policy, 44(2), 451–466. https://doi.org/10.1016/j.respol.2014.08.004
Buchholz, K. (1995). Criteria for the analysis of scientific quality. Scientometrics, 32(2), 195–218. https://doi.org/10.1007/BF02016894
Buela-Casal, G. (2014). Pathological publishing: A new psychological disorder with legal consequences? European Journal of Psychology Applied to Legal Context, 6(2), 91–97. https://doi.org/10.1016/j.ejpal.2014.06.005
Bunge, M. (2001). La ciencia, su método y su filosofía. Buenos Aires: Editorial Sudamericana.
Carro, E. H. (2016). Avances metodológicos en la evaluación de la calidad de la producción científica (investigadores y tesis de pregrado y postgrado) en psicología desarrolladas en la región centro y noreste de México. Universidad de Sevilla.
Cerón, A. U. (2017). Cuatro niveles de conocimiento en relación a la ciencia. Una propuesta taxonómica. CIENCIA ergo sum, 24(1), 83–90. https://doi.org/10.30878/ces.v24n1a9
Chalmers, I. y Altman, D. G. (1995). Systematic reviews. London: BMJ Publications.
Dávila, M., Guzmán, R., Macareno, H., Piñeres, D., de la Rosa, D. y Caballero-Uribe, C. V. (2009). Bibliometría: conceptos y utilidades para el estudio médico y la formación profesiona. Salud Uninorte, 25(2), 319–330. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_abstract&pid=S0120-55522009000200011
Ferreira González, I., Urrútia, G. y Alonso-Coello, P. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688–696. https://doi.org/10.1016/j.recesp.2011.03.029
Gelfert, A. (2014). Critical Introduction to Testimony. London: Bloomsbury.
Glänzel, W., Debackere, K., Thijs, B. y Schubert, A. (2006). A concise review on the role of author self-citations in information science, bibliometrics and science policy. Scientometrics, 67(2), 263–277. https://doi.org/10.1007/s11192-006-0098-9
Gómez-Morales, Y. J. (2015). Usos y abusos de la bibliometría. Revista Colombiana de Antropología, 51(1), 291–307. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0486-65252015000100013
Hansson, S. O. (2017). Science and Pseudo-Science (Stanford Encyclopedia of Philosophy). En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/pseudo-science/
James, K. L., Randall, N. P. y Haddaway, N. R. (2016). A methodology for systematic mapping in environmental sciences. Environmental Evidence, 5(1), 7. https://doi.org/10.1186/s13750-016-0059-6
Letelier, L. M., Manríquez, J. J. y Rada, G. (2005). Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Revista Medica de Chile, 133(2), 246–249. https://doi.org/10.4067/s0034-98872005000200015
Mårtensson, P., Fors, U., Wallin, S. B., Zander, U. y Nilsson, G. H. (2016). Evaluating research: A multidisciplinary approach to assessing research practice and quality. Research Policy, 45(3), 593–603. https://doi.org/10.1016/j.respol.2015.11.009
Mendoza, O. E. (s/f). Las revisiones sistemáticas como proceso de selección artificial del conocimiento científico en el área de salud. Nóesis, 30(59).
Mendoza, O. E. (2017). Apuntes para una caracterización socio-epistémica de la producción científica y su calidad. Religación. Revista de Ciencias Sociales y Humanidades, 2(8), 195–208. Recuperado de http://revista.religacion.com/index.php/religacion/article/view/120
Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., … Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ (Clinical research ed.), 340, 869. https://doi.org/10.1136/bmj.c869
Mouton, J. y Marais, H. (1990). Basic Concepts in the Methodology of Social Sciences. Pretoria: HSRC Publishers.
Newbold, D. y Roberts, J. (2007). An analysis of the demarcation problem in science and its application to therapeutic touch theory. International Journal of Nursing Practice, 13(6), 324–330. https://doi.org/10.1111/j.1440-172X.2007.00646.x
Niiniluoto, I. (2015). Scientific Progress. En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/scientific-progress/
O’Brien, B. C., Harris, I. B., Beckman, T. J., Reed, D. A. y Cook, D. A. (2014). Standards for reporting qualitative research: A synthesis of recommendations. Academic Medicine, 89(9), 1245–1251. https://doi.org/10.1097/ACM.0000000000000388
Olivé, L. (1988). Conocimiento, sociedad y realidad. Distrito Federal, México: Fondo de Cultura Económica.
Otlet, P. (1934). Traité de Documentation. Bruxelles: Editiones Mundaneum.
Palacios, B., Sanchéz, M. C. y Gutiérrez, A. (2013). Evaluar la calidad en la investigación cualitativa. Guías o checklists. 2o Congreso Nacional sobre Metodología de la Investigación en Comunicación. Segovia.
Pastorino, R., Milovanovic, S., Stojanovic, J., Efremov, L., Amore, R. y Boccia, S. (2016). Quality assessment of studies published in open access and subscription journals: Results of a systematic evaluation. PLoS ONE, 11(5). https://doi.org/10.1371/journal.pone.0154217
Pérez, M. (2013). La producción del conocimiento. Enl@ce: Revista Venezolana de Información, Tecnología y Conocimiento, 10(1), 21–30. Recuperado de https://www.redalyc.org/articulo.oa?id=82326270003
Pritchard, A. (1969). Statistical Bibliography or Bibliometrics? Journal of Documentation, 25(4), 348–349.
Qiongbing, W. (1996). Is Natural Science Free from Morality? En R. S. Cohen, R. Hilpinen, & Q. Renzong (Eds.), Realism and Anti-Realism in the Philosophy of Science (pp. 245–264). https://doi.org/10.1007/978-94-015-8638-2_17
Ríos, C. y Herrero, V. (2005). La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003). Revista Interamericana de Bibliotecología, 28(1), 43–61. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-09762005000100003
Sahel, J. A. (2011). Quality versus quantity: Assessing individual research performance. Science Translational Medicine, 3(84), 84cm13. https://doi.org/10.1126/scitranslmed.3002249
Salimi, N. (2017). Quality assessment of scientific outputs using the BWM. Scientometrics, 112(1), 195–213. https://doi.org/10.1007/s11192-017-2284-3
Sampaio, R. y Mancini, M. (2007). Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, 11(1), 83–89. https://doi.org/10.1590/S1413-35552007000100013
Sharma, O. P. (2012). Quality Indicators of Scientific Research. Indian Journal of Microbiology, 52(2), 305–306. https://doi.org/10.1007/s12088-012-0246-2
Staff. (2018). Requiere México de un observatorio nacional de Ciencia, la Tecnología y la Innovación - LJA Aguascalientes. La Jornada Aguascalientes. Recuperado de https://www.lja.mx/2018/06/requiere-mexico-de-un-observatorio-nacional-de-ciencia-la-tecnologia-y-la-innovacion/
Tong, A., Sainsbury, P. y Craig, J. (2007). Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 19(6), 349–357. https://doi.org/10.1093/intqhc/mzm042
Traag, V. A. y Waltman, L. (2019). Systematic analysis of agreement between metrics and peer review in the UK REF. Palgrave Communications, 5(1), 1–12. https://doi.org/10.1057/s41599-019-0233-x
Vanti, N. (2000). Métodos cuantitativos de evaluación de la ciencia: bibliometría, cienciometría e informetría. Investigación Bibliotecológica: archivonomía, bibliotecología e información, 14(29), 9–23. https://doi.org/10.22201/iibi.0187358xp.2000.29.3943
von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C. y Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. Lancet, 370(9596), 1453–1457. https://doi.org/10.1016/S0140-6736(07)61602-X
Zeng, X., Zhang, Y., Kwong, J. S. W., Zhang, C., Li, S., Sun, F., … Du, L. (2015). The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta-analysis, and clinical practice guideline: a systematic review. Journal of Evidence-Based Medicine, 8(1), 2–10. https://doi.org/10.1111/jebm.12141
Allik, J. (2013). Factors affecting bibliometric indicators of scientific quality. Trames, 17(3), 199–214. Recuperado de http://psych.ut.ee/~jyri/en/Scientific-quality_Trames-2013-3-199-214.pdf
Ardanuy, J. (2012). Breve introducción a la bibliometría. Barcelona: Universidad de Barcelona.
Avital, M. y Collopy, F. (2001). Assesing research performance: Implications for selection and motivation. Sprouts: Working Papers on Information Systems, 1(14), 40–61. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.505.2146&rep=rep1&type=pdf
Belter, C. W. (2015). Bibliometric indicators: Opportunities and limits. Journal of the Medical Library Association, 103(4), 219–221. https://doi.org/10.3163/1536-5050.103.4.014
Bertneck, C. (2007). Quality Criteria for Design and Science. CHI 2007 Workshop: Exploring Design as a Research Activity. Recuperado de https://www.bartneck.de/publications/2007/qualityCriteria/index.html
Bertocchi, G., Gambardella, A., Jappelli, T., Nappi, C. A. y Peracchi, F. (2015). Bibliometric evaluation vs. informed peer review: Evidence from Italy. Research Policy, 44(2), 451–466. https://doi.org/10.1016/j.respol.2014.08.004
Buchholz, K. (1995). Criteria for the analysis of scientific quality. Scientometrics, 32(2), 195–218. https://doi.org/10.1007/BF02016894
Buela-Casal, G. (2014). Pathological publishing: A new psychological disorder with legal consequences? European Journal of Psychology Applied to Legal Context, 6(2), 91–97. https://doi.org/10.1016/j.ejpal.2014.06.005
Bunge, M. (2001). La ciencia, su método y su filosofía. Buenos Aires: Editorial Sudamericana.
Carro, E. H. (2016). Avances metodológicos en la evaluación de la calidad de la producción científica (investigadores y tesis de pregrado y postgrado) en psicología desarrolladas en la región centro y noreste de México. Universidad de Sevilla.
Cerón, A. U. (2017). Cuatro niveles de conocimiento en relación a la ciencia. Una propuesta taxonómica. CIENCIA ergo sum, 24(1), 83–90. https://doi.org/10.30878/ces.v24n1a9
Chalmers, I. y Altman, D. G. (1995). Systematic reviews. London: BMJ Publications.
Dávila, M., Guzmán, R., Macareno, H., Piñeres, D., de la Rosa, D. y Caballero-Uribe, C. V. (2009). Bibliometría: conceptos y utilidades para el estudio médico y la formación profesiona. Salud Uninorte, 25(2), 319–330. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_abstract&pid=S0120-55522009000200011
Ferreira González, I., Urrútia, G. y Alonso-Coello, P. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688–696. https://doi.org/10.1016/j.recesp.2011.03.029
Gelfert, A. (2014). Critical Introduction to Testimony. London: Bloomsbury.
Glänzel, W., Debackere, K., Thijs, B. y Schubert, A. (2006). A concise review on the role of author self-citations in information science, bibliometrics and science policy. Scientometrics, 67(2), 263–277. https://doi.org/10.1007/s11192-006-0098-9
Gómez-Morales, Y. J. (2015). Usos y abusos de la bibliometría. Revista Colombiana de Antropología, 51(1), 291–307. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0486-65252015000100013
Hansson, S. O. (2017). Science and Pseudo-Science (Stanford Encyclopedia of Philosophy). En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/pseudo-science/
James, K. L., Randall, N. P. y Haddaway, N. R. (2016). A methodology for systematic mapping in environmental sciences. Environmental Evidence, 5(1), 7. https://doi.org/10.1186/s13750-016-0059-6
Letelier, L. M., Manríquez, J. J. y Rada, G. (2005). Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Revista Medica de Chile, 133(2), 246–249. https://doi.org/10.4067/s0034-98872005000200015
Mårtensson, P., Fors, U., Wallin, S. B., Zander, U. y Nilsson, G. H. (2016). Evaluating research: A multidisciplinary approach to assessing research practice and quality. Research Policy, 45(3), 593–603. https://doi.org/10.1016/j.respol.2015.11.009
Mendoza, O. E. (s/f). Las revisiones sistemáticas como proceso de selección artificial del conocimiento científico en el área de salud. Nóesis, 30(59).
Mendoza, O. E. (2017). Apuntes para una caracterización socio-epistémica de la producción científica y su calidad. Religación. Revista de Ciencias Sociales y Humanidades, 2(8), 195–208. Recuperado de http://revista.religacion.com/index.php/religacion/article/view/120
Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C., Devereaux, P. J., … Altman, D. G. (2010). CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ (Clinical research ed.), 340, 869. https://doi.org/10.1136/bmj.c869
Mouton, J. y Marais, H. (1990). Basic Concepts in the Methodology of Social Sciences. Pretoria: HSRC Publishers.
Newbold, D. y Roberts, J. (2007). An analysis of the demarcation problem in science and its application to therapeutic touch theory. International Journal of Nursing Practice, 13(6), 324–330. https://doi.org/10.1111/j.1440-172X.2007.00646.x
Niiniluoto, I. (2015). Scientific Progress. En Stanford Encyclopedia of Philosophy. Recuperado de https://plato.stanford.edu/entries/scientific-progress/
O’Brien, B. C., Harris, I. B., Beckman, T. J., Reed, D. A. y Cook, D. A. (2014). Standards for reporting qualitative research: A synthesis of recommendations. Academic Medicine, 89(9), 1245–1251. https://doi.org/10.1097/ACM.0000000000000388
Olivé, L. (1988). Conocimiento, sociedad y realidad. Distrito Federal, México: Fondo de Cultura Económica.
Otlet, P. (1934). Traité de Documentation. Bruxelles: Editiones Mundaneum.
Palacios, B., Sanchéz, M. C. y Gutiérrez, A. (2013). Evaluar la calidad en la investigación cualitativa. Guías o checklists. 2o Congreso Nacional sobre Metodología de la Investigación en Comunicación. Segovia.
Pastorino, R., Milovanovic, S., Stojanovic, J., Efremov, L., Amore, R. y Boccia, S. (2016). Quality assessment of studies published in open access and subscription journals: Results of a systematic evaluation. PLoS ONE, 11(5). https://doi.org/10.1371/journal.pone.0154217
Pérez, M. (2013). La producción del conocimiento. Enl@ce: Revista Venezolana de Información, Tecnología y Conocimiento, 10(1), 21–30. Recuperado de https://www.redalyc.org/articulo.oa?id=82326270003
Pritchard, A. (1969). Statistical Bibliography or Bibliometrics? Journal of Documentation, 25(4), 348–349.
Qiongbing, W. (1996). Is Natural Science Free from Morality? En R. S. Cohen, R. Hilpinen, & Q. Renzong (Eds.), Realism and Anti-Realism in the Philosophy of Science (pp. 245–264). https://doi.org/10.1007/978-94-015-8638-2_17
Ríos, C. y Herrero, V. (2005). La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003). Revista Interamericana de Bibliotecología, 28(1), 43–61. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-09762005000100003
Sahel, J. A. (2011). Quality versus quantity: Assessing individual research performance. Science Translational Medicine, 3(84), 84cm13. https://doi.org/10.1126/scitranslmed.3002249
Salimi, N. (2017). Quality assessment of scientific outputs using the BWM. Scientometrics, 112(1), 195–213. https://doi.org/10.1007/s11192-017-2284-3
Sampaio, R. y Mancini, M. (2007). Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, 11(1), 83–89. https://doi.org/10.1590/S1413-35552007000100013
Sharma, O. P. (2012). Quality Indicators of Scientific Research. Indian Journal of Microbiology, 52(2), 305–306. https://doi.org/10.1007/s12088-012-0246-2
Staff. (2018). Requiere México de un observatorio nacional de Ciencia, la Tecnología y la Innovación - LJA Aguascalientes. La Jornada Aguascalientes. Recuperado de https://www.lja.mx/2018/06/requiere-mexico-de-un-observatorio-nacional-de-ciencia-la-tecnologia-y-la-innovacion/
Tong, A., Sainsbury, P. y Craig, J. (2007). Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 19(6), 349–357. https://doi.org/10.1093/intqhc/mzm042
Traag, V. A. y Waltman, L. (2019). Systematic analysis of agreement between metrics and peer review in the UK REF. Palgrave Communications, 5(1), 1–12. https://doi.org/10.1057/s41599-019-0233-x
Vanti, N. (2000). Métodos cuantitativos de evaluación de la ciencia: bibliometría, cienciometría e informetría. Investigación Bibliotecológica: archivonomía, bibliotecología e información, 14(29), 9–23. https://doi.org/10.22201/iibi.0187358xp.2000.29.3943
von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C. y Vandenbroucke, J. P. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. Lancet, 370(9596), 1453–1457. https://doi.org/10.1016/S0140-6736(07)61602-X
Zeng, X., Zhang, Y., Kwong, J. S. W., Zhang, C., Li, S., Sun, F., … Du, L. (2015). The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta-analysis, and clinical practice guideline: a systematic review. Journal of Evidence-Based Medicine, 8(1), 2–10. https://doi.org/10.1111/jebm.12141
Downloads
Publicado
2020-12-14
Como Citar
Mendoza De Los Santos, O. E. (2020). Uma proposta focada no uso de revisões sistemáticas para avaliar a qualidade científica. Cultura Científica, 1(18), 31–48. https://doi.org/10.38017/1657463X.648
Edição
Seção
Artículo de Investigación Científica y Tecnológica
