¿Puede ChatGPT mejorar los informes sinópticos del cáncer de páncreas?

LÍNEA SUPERIOR:

GPT-4 generó informes sinópticos de cáncer de páncreas de alta precisión a partir de informes originales, superando a GPT-3.5. Al utilizar informes GPT-4 en lugar de informes originales, los cirujanos pudieron evaluar mejor la resecabilidad del tumor en pacientes con adenocarcinoma ductal de páncreas y ahorraron tiempo en la evaluación de informes.

METODOLOGÍA:

• En comparación con los informes originales, los informes de imágenes estructurados ayudan a los cirujanos a evaluar la resecabilidad del tumor en pacientes con adenocarcinoma ductal pancreático. Sin embargo, la adopción de informes estructurados por parte de los radiólogos sigue siendo inconsistente.
• Para determinar si la conversión de informes radiológicos de texto libre (es decir, originales) en informes estructurados puede beneficiar a los cirujanos, los investigadores evaluaron qué tan bien GPT-4 y GPT-3.5 podían generar informes sinópticos de adenocarcinoma ductal pancreático a partir de originales.
• El estudio retrospectivo incluyó 180 informes consecutivos de TC de estadificación de adenocarcinoma ductal de páncreas, que fueron revisados ​​por dos radiólogos para establecer un estándar de referencia para 14 hallazgos clave y la categoría de resecabilidad de la Red Nacional Integral del Cáncer.
• Los investigadores utilizaron GPT-3.5 y GPT-4 para crear informes sinópticos a partir de informes originales utilizando los mismos criterios, y los cirujanos compararon la precisión, la exactitud y el tiempo para evaluar los informes originales y los generados por inteligencia artificial (IA).

LLEVAR:

• GPT-4 superó a GPT-3.5 en todas las métricas evaluadas. Por ejemplo, en comparación con GPT-3.5, GPT-4 logró puntuaciones F1 iguales o superiores para las 14 características clave (las puntuaciones F1 ayudan a evaluar la precisión y la recuperación de un modelo de aprendizaje automático).
• GPT-4 también demostró una mayor precisión que GPT-3.5 para extraer la afectación de la arteria mesentérica superior (100% frente a 88,8%, respectivamente) y para categorizar la resecabilidad.
• En comparación con los informes originales, los informes generados por IA ayudaron a los cirujanos a categorizar mejor la resecabilidad (83% frente a 76%, respectivamente; PAG = .03) y los cirujanos dedicaron menos tiempo a utilizar informes generados por IA.
• Los informes generados por IA dieron lugar a algunos errores clínicamente notables. Por ejemplo, GPT-4 cometió errores al extraer la afectación de la arteria hepática común.

EN LA PRÁCTICA:

“En nuestro estudio, GPT-4 fue casi perfecto en la creación automática de informes sinópticos de adenocarcinoma ductal pancreático a partir de informes originales, superando en general a GPT-3.5”, escribieron los autores. Esto “representa una aplicación útil que puede aumentar la estandarización y mejorar la comunicación entre radiólogos y cirujanos”. Sin embargo, los autores advirtieron que la “presencia de algunos errores clínicamente significativos resalta la necesidad de implementarlo en contextos supervisados ​​y preliminares, en lugar de depender de él para tomar decisiones de gestión”.

FUENTE:

El estudio, cuyo primer autor fue el Dr. Rajesh Bhayana, de University Health Network en Toronto, Ontario, Canadá, fue publicado en línea en Radiología.

LIMITACIONES:

Si bien GPT-4 mostró una alta precisión en la generación de informes, generó algunos errores. Los investigadores también se basaron en informes originales al generar los informes de IA, y los informes originales pueden contener descripciones y lenguaje ambiguos.

DIVULGACIONES:

Bhayana no declaró ningún conflicto de intereses relevante. En el artículo original se indican las divulgaciones adicionales.