Un estudio realizado en el University of California, San Francisco Medical Center comparó un fenotipo computable estructurado y un modelo de lenguaje de gran escala para identificar trastorno por uso de opioides en pacientes atendidos en emergencias.
Un nuevo enfoque para detectar trastorno por uso de opioides
La identificación del trastorno por uso de opioides, conocido por la sigla OUD por su nombre en inglés opioid use disorder, fue evaluada mediante dos estrategias diferentes en pacientes atendidos en el departamento de emergencias, denominado ED por emergency department. En el estudio “Computable Structured Phenotype Versus Large Language Model Identification of Opioid Use Disorder Using Electronic Health Record Data”, fue comparado un fenotipo computable estructurado basado en reglas con un modelo de lenguaje de gran escala, identificado como LLM por large language model.
El estudio fue diseñado para responder si los modelos de lenguaje de gran escala podían identificar OUD en emergencias con una precisión comparable o superior a la de los métodos estructurados tradicionales.
La investigación fue realizada en el University of California, San Francisco Medical Center, institución conocida por la sigla UCSF, y fueron analizados encuentros de pacientes adultos ocurridos entre el 1 de enero de 2023 y el 17 de octubre de 2024. Como estándar de referencia, fue utilizada la revisión experta de médicos, lo que permitió contrastar el desempeño de las herramientas automatizadas con una evaluación clínica considerada más completa.
El problema abordado no fue únicamente tecnológico. En Estados Unidos, el OUD continúa representando una carga sanitaria relevante: para 2024, afectaba a más de 4,8 millones de personas, mientras que las sobredosis relacionadas con opioides causaban más de 54.000 muertes. Frente a ese escenario, el ED fue considerado un punto de contacto clave para detectar pacientes que podrían requerir tratamiento, consejería o derivación.
El departamento de emergencias fue señalado como un escenario especialmente importante porque allí pueden ser atendidos pacientes que no están vinculados con otros niveles del sistema de salud.
Por qué el departamento de emergencias es un punto crítico
Los servicios de emergencias cumplen un rol estratégico en la identificación del trastorno por uso de opioides, ya que muchas personas llegan al sistema de salud a través de consultas urgentes, sobredosis, dolor, infecciones, abstinencia u otras complicaciones asociadas. En ese contexto, la detección temprana puede abrir oportunidades para iniciar tratamiento, indicar naloxona, conectar al paciente con equipos especializados o facilitar el seguimiento ambulatorio.
Sin embargo, la detección sistemática del OUD sigue siendo difícil. Las estrategias tradicionales, como el tamizaje universal durante el triaje o la evaluación por especialistas en recuperación, suelen aplicarse de manera irregular. Esta variabilidad fue vinculada con limitaciones de tiempo, recursos disponibles, presión asistencial y prioridades clínicas cambiantes.
El estudio partió de una necesidad concreta: mejorar la identificación de pacientes con OUD sin aumentar de manera innecesaria la carga de trabajo del equipo clínico.
La historia clínica electrónica contiene datos potencialmente útiles, pero esa información puede estar distribuida en códigos diagnósticos, medicación activa, resultados toxicológicos, notas clínicas, interconsultas y documentación externa. Por ese motivo, fue evaluado si un sistema basado en reglas y un LLM podían reconocer patrones compatibles con OUD a partir de los datos disponibles.
Cómo fue diseñada la muestra del estudio
La investigación incluyó una muestra aleatoria estratificada de 302 encuentros. De ellos, 201 cumplían con el fenotipo estructurado y 101 no lo cumplían. Este diseño permitió enriquecer la muestra con casos potencialmente positivos y, al mismo tiempo, incluir encuentros negativos para comparar el desempeño de ambos métodos.
En la población total analizada fueron identificados 70.880 encuentros de adultos. De ese total, 5.701, equivalentes al 8,0%, fueron positivos por el fenotipo estructurado. En la muestra de 302 encuentros, 117, equivalentes al 38,7%, fueron clasificados como OUD por revisión manual, mientras que 185, equivalentes al 61,3%, fueron clasificados como no OUD.
La muestra fue enriquecida deliberadamente con encuentros positivos por fenotipo, por lo que los resultados fueron ponderados para estimar la prevalencia real en la población total.
Tras la ponderación por las fracciones de muestreo, la prevalencia estimada de OUD fue de 5,6%, con un intervalo de confianza del 95% de 4,0% a 7,0%. Este dato resultó relevante para interpretar los valores predictivos, ya que el rendimiento práctico de una herramienta diagnóstica depende también de la frecuencia de la condición en la población evaluada.
El estándar de referencia fue establecido mediante revisión médica experta. Dos médicos de emergencias certificados revisaron de forma independiente la historia clínica completa, incluyendo documentación externa disponible mediante Care Everywhere. Cuando hubo discrepancias, estas fueron adjudicadas por un tercer médico.
La concordancia interevaluador fue alta, con κ = 0,92 y un intervalo de confianza del 95% de 0,88 a 0,97. En total, 11 encuentros requirieron adjudicación. Este nivel de acuerdo respaldó la solidez del estándar utilizado para comparar el fenotipo estructurado y el LLM.
Qué datos usó el fenotipo computable estructurado
El fenotipo computable estructurado basado en reglas fue adaptado de trabajos previos e implementado localmente como una herramienta de apoyo a la decisión clínica. Su objetivo era identificar posible OUD mediante señales específicas presentes en la historia clínica electrónica.
Entre los elementos utilizados fueron incluidos códigos ICD-10, sigla correspondiente a la Clasificación Internacional de Enfermedades, décima revisión. Estos códigos permiten registrar diagnósticos en sistemas clínicos y administrativos, por lo que pueden ser utilizados para reconocer condiciones previamente documentadas.
El fenotipo estructurado dependió de datos codificados, medicamentos, toxicología, consultas especializadas y palabras clave en notas clínicas.
También fueron consideradas prescripciones activas de buprenorfina o metadona, medicamentos que pueden emplearse en el tratamiento del OUD. Además, fueron incluidos resultados de toxicología urinaria positiva para metadona, fentanilo, heroína o metabolitos, así como consultas del equipo de adicciones.
El sistema también reconocía términos específicos en notas clínicas del ED, como “opioid use disorder”, “COWS”, “heroin” o “fentanyl”. La sigla COWS corresponde a Clinical Opiate Withdrawal Scale, una escala clínica utilizada para evaluar la abstinencia de opioides.
La ventaja principal de este enfoque fue su transparencia. Al estar basado en reglas explícitas, cada clasificación positiva podía rastrearse hasta un criterio concreto. Sin embargo, esa misma rigidez podía producir errores cuando los datos eran ambiguos, incompletos o utilizados en contextos distintos al trastorno por uso de opioides.
Cómo fue evaluado ChatGPT 4.1 compatible con HIPAA
El segundo método evaluado fue una versión compatible con HIPAA de ChatGPT 4.1. La sigla HIPAA corresponde a Health Insurance Portability and Accountability Act, la ley estadounidense que establece estándares de privacidad y protección de información de salud. En este estudio, fue utilizada una versión adecuada para el manejo de datos clínicos protegidos.
El modelo no había sido entrenado específicamente con datos de UCSF. Al LLM se le entregaron las notas clínicas del encuentro en el ED, excluyendo notas de estudiantes y procedimientos. Luego, se le solicitó una clasificación binaria YES/NO sobre la presencia de OUD, junto con una breve justificación.
El LLM recibió notas clínicas del encuentro y debió responder si el paciente presentaba OUD, con una justificación breve.
Este diseño permitió evaluar la capacidad del modelo para interpretar lenguaje clínico no estructurado. A diferencia del fenotipo basado en reglas, un LLM puede analizar frases narrativas, reconocer contexto, procesar negaciones y distinguir entre menciones aisladas y patrones clínicos más consistentes.
Sin embargo, el modelo también tuvo limitaciones. Al no recibir toda la documentación externa disponible mediante Care Everywhere, podía perder información relevante consignada fuera del encuentro local. Además, como toda herramienta basada en lenguaje, podía equivocarse ante contextos ambiguos o inferir diagnósticos a partir de exposiciones aisladas.
Resultados principales de sensibilidad, especificidad y valores predictivos
Los resultados mostraron que ambos métodos tuvieron buen desempeño diagnóstico, aunque con perfiles diferentes. El fenotipo estructurado alcanzó una sensibilidad de 0,84, con intervalo de confianza del 95% de 0,42 a 0,97, y una especificidad de 0,964, con intervalo de confianza del 95% de 0,96 a 0,97.
El valor predictivo positivo del fenotipo estructurado, conocido como PPV por positive predictive value, fue de 0,58. Su valor predictivo negativo, conocido como NPV por negative predictive value, fue de 0,99. Esto indicó que una clasificación negativa fue altamente confiable, aunque una proporción importante de clasificaciones positivas podía no corresponder a OUD según revisión experta.
El LLM logró especificidad casi perfecta y un valor predictivo positivo claramente superior al del fenotipo estructurado.
El LLM alcanzó una sensibilidad de 0,81, con intervalo de confianza del 95% de 0,70 a 0,88, y una especificidad de 0,996, con intervalo de confianza del 95% de 0,993 a 0,998. Su PPV fue de 0,92 y su NPV fue de 0,99.
La especificidad fue significativamente mayor para el LLM, con P < .0001. En cambio, la diferencia de sensibilidad no fue significativa, con P = .859. En términos prácticos, esto sugiere que no fue demostrado que uno de los métodos detectara significativamente más casos verdaderos que el otro, pero sí que el LLM generó menos falsos positivos.
La sensibilidad describe la capacidad de identificar correctamente a quienes tienen la condición, mientras que la especificidad describe la capacidad de identificar correctamente a quienes no la tienen. En un entorno como el ED, ambos indicadores son importantes, pero la reducción de falsos positivos puede tener un impacto operativo especialmente relevante.
Una herramienta con menos falsos positivos podría reducir la fatiga por alarmas y favorecer intervenciones más dirigidas.
Qué revelaron los errores de cada método
El análisis cualitativo mostró patrones de error diferentes. En el fenotipo estructurado, los falsos positivos se asociaron principalmente con toxicología positiva aislada para fentanilo. En algunos pacientes, esa positividad pudo deberse a exposición no intencional, como contaminación de estimulantes, y no necesariamente a un trastorno por uso de opioides.
También fueron observados falsos positivos en pacientes con dolor crónico tratados con metadona o buprenorfina. Aunque estos medicamentos pueden utilizarse para el tratamiento del OUD, también pueden estar indicados en otros contextos clínicos, por lo que su presencia no siempre equivale a un diagnóstico de trastorno por uso de opioides.
Los errores del fenotipo estructurado reflejaron la dificultad de interpretar señales clínicas aisladas sin un contexto narrativo completo.
Los falsos negativos del fenotipo estructurado ocurrieron cuando la información relevante sobre OUD estaba en documentación externa. Si esos datos no estaban disponibles en los campos o notas locales procesados por el fenotipo, el sistema podía no identificar el caso.
En el caso del LLM, los errores tuvieron otro perfil. Algunos incluyeron clasificar como OUD un intento suicida aislado con fentanilo, interpretar dependencia opioide como OUD, considerar abstinencia por kratom como opioide o perder menciones presentes en Care Everywhere.
Estos errores mostraron que la interpretación clínica sigue siendo necesaria. No toda exposición a fentanilo implica OUD, no toda dependencia fisiológica equivale a trastorno por uso, y no toda mención de abstinencia debe ser interpretada de la misma manera. Por ese motivo, los autores no plantearon que el LLM deba reemplazar la evaluación médica.
La detección automatizada debe ser entendida como una ayuda para encontrar oportunidades de cuidado, no como un reemplazo del juicio clínico.
Implicancias para los flujos de trabajo en emergencias
Los autores concluyeron que ambos métodos tuvieron buen desempeño diagnóstico. El fenotipo estructurado mostró sensibilidad ligeramente mayor, aunque la diferencia no fue significativa. El LLM, en cambio, logró especificidad casi perfecta y un valor predictivo positivo más alto.
Esta diferencia podría ser relevante para los flujos de trabajo del ED. En emergencias, las alertas clínicas compiten con múltiples prioridades, como pacientes críticos, decisiones diagnósticas rápidas, presión por tiempos de atención, sobrecarga documental y coordinación con otros servicios.
En un entorno de alta demanda, una alerta más precisa puede ser más útil que una alerta más frecuente.
Una herramienta que genere demasiados falsos positivos puede contribuir a la fatiga por alarmas. Cuando los profesionales reciben notificaciones poco útiles en forma repetida, la probabilidad de que esas alertas sean ignoradas aumenta. Por eso, el PPV de 0,92 observado con el LLM podría tener importancia clínica y operativa.
El fenotipo estructurado también conserva ventajas importantes. Sus reglas son claras, puede funcionar con datos codificados y puede implementarse en sistemas ya existentes. En ciertos escenarios, su transparencia y facilidad de auditoría podrían hacerlo preferible o complementario a modelos más complejos.
Una estrategia combinada podría ser explorada en futuras investigaciones. Sin embargo, cualquier integración debería ser evaluada cuidadosamente para evitar duplicación de alertas, aumento de la complejidad operativa o dependencia excesiva de sistemas automatizados.
Limitaciones y necesidad de validación externa
Los autores señalaron varias limitaciones relevantes. El estudio fue realizado en un solo centro académico terciario, el University of California, San Francisco Medical Center. Esto puede limitar la generalización de los resultados, ya que las poblaciones atendidas, los patrones de documentación y los recursos disponibles pueden variar entre instituciones.
También fue destacada la baja prevalencia estimada de OUD, que tras ponderación fue de 5,6%, con intervalo de confianza del 95% de 4,0% a 7,0%. En contextos con prevalencias diferentes, los valores predictivos podrían cambiar, incluso si la sensibilidad y la especificidad se mantuvieran estables.
La validación prospectiva en otros sistemas de salud fue considerada necesaria antes de una adopción amplia.
Otra limitación fue el alcance de los datos entregados al LLM. El modelo recibió notas clínicas del encuentro en el ED, pero no toda la información externa disponible mediante Care Everywhere. Por esa razón, algunos falsos negativos estuvieron relacionados con menciones externas que no fueron incluidas en la entrada del modelo.
El uso de herramientas compatibles con HIPAA fue un punto importante, pero la privacidad no es el único aspecto a considerar. También deben evaluarse la trazabilidad de las decisiones, la equidad, los sesgos, la aceptación por parte del equipo clínico y la forma en que las clasificaciones serán usadas en la práctica real.
Inteligencia artificial y oportunidades de cuidado
El estudio se suma a una discusión más amplia sobre inteligencia artificial en salud. Los LLM han demostrado capacidad para procesar lenguaje clínico, resumir información y clasificar textos, pero su incorporación en medicina requiere evaluaciones rigurosas, especialmente cuando sus resultados pueden influir en decisiones asistenciales.
En este caso, el objetivo no fue diagnosticar OUD de manera autónoma, sino identificar pacientes con probable trastorno a partir de información disponible en la historia clínica. Esta diferencia es central: una herramienta automatizada puede servir como apoyo, pero el diagnóstico final y las decisiones terapéuticas deben permanecer bajo responsabilidad clínica.
La principal ventaja observada del LLM fue su capacidad para reducir falsos positivos sin perder sensibilidad de manera significativa.
Si estos hallazgos fueran confirmados en estudios prospectivos y multicéntricos, los modelos de lenguaje podrían ayudar a mejorar la detección de OUD en emergencias. Una herramienta con alta especificidad y alto PPV podría activar intervenciones más precisas, como evaluación por equipos de adicciones, inicio de tratamiento, indicación de naloxona o derivación a seguimiento.
El impacto potencial no se limita al rendimiento diagnóstico. Una mejor identificación de OUD en el ED podría contribuir a reducir brechas de tratamiento en pacientes que, en muchos casos, no están vinculados con servicios especializados o atención ambulatoria continua.
El encuentro en emergencias puede convertirse en una oportunidad crítica si el sistema logra reconocer el problema y responder de manera adecuada.
Conclusión
El estudio mostró que tanto el fenotipo estructurado como ChatGPT 4.1 identificaron OUD con buen desempeño en emergencias. El LLM logró mayor especificidad y PPV, lo que podría reducir alertas falsas y mejorar la eficiencia clínica. Aun así, se requiere validación prospectiva en otros centros antes de su adopción amplia.
Referencias
Autor
El equipo de redactores de Sapue realizo esta historia, utilizando herramientas editoriales, de traducción e inteligencia artificial. El proceso de redacción contó con incidencia humana en cada etapa.
