Automated selection of relevant references in systematic reviews: SELECTION-AI methodological framework and SELECTION-DT digital tool.
Academic Article
Overview
Overview
abstract
Antecedentes: Las revisiones sistemáticas de literatura (RSL) son productos de alto valor académico, metodológico y asistencial dentro de las ciencias biomédicas. No solo resumen conocimiento, sino que también respaldan la toma de decisiones en los diferentes niveles de aplicación del conocimiento. Existe una necesidad para automatizar la selección de referencias relevantes durante su desarrollo. Aunque se han encontrado más de cincuenta artículos reportando una opción para automatizar la selección de referencias, no es clara la ruta para los investigadores para identificar un método óptimo que se ajuste a sus necesidades. Es necesario armonizar los campos de conocimiento de la informática, ciencia de datos y ciencias biomédicas para que la toma de decisiones se base en un lenguaje común. El objetivo de esta investigación es desarrollar un marco metodológico para soportar la toma de decisiones sobre el uso de herramientas digitales que emplean inteligencia artificial (HD-IA) en la automatización de selección de referencias relevantes durante las revisiones sistemáticas y desarrollar una HD-IA. Metodología: Se desarrollará en tres etapas: I) Identificar la evidencia para automatizar la selección preliminar de referencias, II) generar el marco metodológico SELECTION-AI y III) generar la herramienta SELECTION-DT. Los métodos a utilizar incluyen revisiones de alcance, consenso de expertos, adaptación del flujo de trabajo a partir de la identificación de variables de entrada y de salida, desarrollo en Python y prueba de funcionamiento y dos grupos focales para la descripción de la experiencia de uso de los productos generados. Resultados esperados: Presentar información sobre el estado de conocimiento de las herramientas para automatizar la selección preliminar de referencias en el desarrollo de las revisiones sistemáticas y aportar un instrumento metodológico para soportar la toma de decisión respecto a cómo elegir las herramientas de automatización y cómo evaluarlas. Además, se espera contribuir con una herramienta que pueda ser utilizada en contextos de investigación académica, evaluación de tecnología en salud, así como en la elaboración de guías de práctica clínica o políticas públicas.
Background: Systematic literature reviews (SLRs) are products of high academic, methodological and care value within the biomedical sciences. They not only summarize knowledge, but also support decision making at different levels of knowledge application. There is a need to automate the selection of relevant references during their development. Although more than fifty articles have been found reporting an option to automate reference selection, the route for researchers to identify an optimal method that fits their needs is not clear. There is a need to harmonize the knowledge fields of informatics, data science, and biomedical sciences so that decision making is based on a common language. The objective of this research is to develop a methodological framework to support decision making on the use of digital tools employing artificial intelligence (HD-IA) in the automation of relevant reference selection during systematic reviews and to develop a HD-IA. Methodology: It will be developed in three stages: I) Identify the evidence to automate the preliminary selection of references, II) generate the SELECTION-AI methodological framework and III) generate the SELECTION-DT tool. The methods to be used include scoping reviews, expert consensus, workflow adaptation based on the identification of input and output variables, Python development and testing, and two focus groups to describe the experience of using the generated products. Expected results: To present information on the state of knowledge of tools to automate the preliminary selection of references in the development of systematic reviews and to provide a methodological instrument to support decision making regarding how to choose automation tools and how to evaluate them. In addition, it is expected to contribute with a tool that can be used in academic research contexts, health technology assessment, as well as in the development of clinical practice guidelines or public policies.
