Evaluación de la investigación radiológica sobre inteligencia artificial: Una breve guía para autores, evaluadores y lectores – Del Consejo Editorial de Radiología

En la actualidad ha incrementado el uso y ejecución de la Inteligencia Artificial y el Machine Learning en la radiología, así como las publicaciones de estos temas. Debido a ello, el Consejo Editorial de Radiología publicó una guía para autores, evaluadores y lectores, con el fin de asegurar manuscritos fundamentados y bien estructurados. En general, se tomaron en cuenta nueve factores clave para facilitar la elaboración de investigaciones en IA, mencionados a continuación de forma breve.

Establecer tres etapas de imágenes (de formación, valoración y de prueba).

En primer lugar se entrena al algoritmo en relación con su patrón de referencia. En segundo lugar, se realiza una adaptación y validación de las imágenes. Finalmente, se emplea un grupo de imágenes consideradas de prueba para calcular los datos estadísticos definitivos. Por ello, lo más conveniente es que cada conjunto sea independiente.

Para la elaboración de informes estadísticos, usar un conjunto de pruebas externas.

Para evitar que los modelos de Machine Learning e Inteligencia Artificial solo trabajen de forma correcta con las imágenes utilizadas para entrenarse; se sugiere el uso de imágenes de pruebas externas para la evaluación final, para determinar si los modelos son adecuados para generalizarse.

Para cada etapa de evaluación usar imágenes de distintos proveedores.

Esto, debido a las diferencias que puede haber entre resonancias magnéticas, quienes varían según el proveedor y son captadas por los algoritmos de radiomedicina.

Justificar el tamaño de las tres etapas (formación, valoración y prueba)

Conforme es la aplicación del entrenamiento de un algoritmo, se obtiene el número de imágenes requeridas. A mayor complejidad de la aplicación, mayor cantidad de imágenes. No obstante, esta se puede determinar un poco después del inicio de la investigación, y es de suma importancia que haya una evaluación de número de imágenes vs rendimiento del modelo.

Utilizar un criterio de referencia que esté considerablemente aceptado en el campo, para entrenar al algoritmo.

Es importante tener conocimiento de cuáles son los criterios de referencia según es el área en la que se está trabajando, los casos que se están estudiando, y el nivel de eficacia de factores a considerar, como los informes clínicos, que pueden ser de mucha o poca utilidad.

Dar una descripción de la preparación y selección de imágenes para el algoritmo de IA.

Para que haya una mejor comprensión de un modelo de IA con respecto a los radiólogos, es relevante mencionar si el mismo modelo interpretó las imágenes de origen. O al contrario, si se realizó una selección manual de las imágenes más significativas y posteriormente se hizo un recorte. Gracias a esto se puede hacer un análisis de la correlación entre tamaño y reproducibilidad del volumen que se recortó, así como del producto final estadístico.  

Hacer una comparación del rendimiento de la IA con el de especialistas en radiología.

Por lo general se suelen comparar los datos obtenidos de una IA con otra, en base al área bajo la curva del receptor. Sin embargo, cuando se trata de pacientes, es conveniente que especialistas en radiología hagan una valoración del algoritmo desarrollado para identificar alteraciones radiológicas.

Dar una demostración de la forma de trabajar del algoritmo de IA.

Se puede hacer uso de la superposición de mapas de probabilidad con colores, de la IA en las imágenes fuente. Asimismo, se puede hacer un señalamiento de los puntos de corte idóneos para los márgenes de sensibilidad y de especificación, que resulten relevantes desde el punto de vista clínico.

Para verificar las declaraciones del rendimiento del algoritmo de IA, debe estar disponible de forma pública.

Los sistemas comerciales de IA pueden ser útiles y eficaces en cierto lugar, pero disminuir su funcionamiento en otro. Por ende, para que pueda ser utilizado para ayudar en la prescripción de terapia y detección de enfermedades, debe estar disponible para el público. De esta forma los radiólogos pueden analizar el rendimiento y tomar decisiones en base a ello.

Traducido y adaptado de: Bluemke, D. A., Moy, L., Bredella, M. A., Ertl-Wagner, B. B., Fowler, K. J., Goh, V. J., … & Weiss, C. R. (2020). Assessing radiology research on artificial intelligence: a brief guide for authors, reviewers, and readers—from the radiology editorial board. Radiology, 294(3), 487-489.