Objetivo: Evaluar el rendimiento de los modelos de aprendizaje automático (AutoML) en el diagnóstico de la toxoplasmosis ocular (OT) y la clasificación de su actividad inflamatoria a partir de fotografías del fondo de ojo.Diseño: Estudio transversal.Métodos: Las fotografías de fondo de ojo de pacientes con OT en dos centros de referencia colombianos y una base de datos de OT de código abierto se clasificaron en OT activa, OT inactiva y sin OT. La evaluación de la calidad de la imagen excluyó imágenes con artefactos pero incluyó imágenes borrosas debido a vitritis. Las fotos se subieron a Amazon Web Services S3 y Google Cloud Bucket. Se desarrollaron dos modelos en cada plataforma: un modelo binario (OT activa/inactiva frente a no OT) y un modelo multiclase (OT activa, OT inactiva y no OT). Los conjuntos de datos se dividieron en un 70percent-flag-change para el entrenamiento, un 20percent-flag-change para las pruebas y un 10percent-flag-change para la validación. Se calcularon la sensibilidad, la especificidad, la precisión, la exactitud, la puntuación F1, el área bajo la curva de precisión-recuerdo (AUPRC) y el Kappa de Cohen para cada plataforma y modelo. Se realizó una validación externa utilizando un banco de imágenes de código abierto.Resultados: El modelo binario en AWS mostró una sensibilidad de 0,97, una especificidad de 0,98 y un AUPRC de 1,00, mientras que el modelo binario de Google Cloud tuvo una sensibilidad de 0,82, una especificidad de 0,91 y un AUPRC de 0,91. El modelo multiclase en AWS alcanzó una puntuación F1 de 0,88, con un Kappa de Cohen de 0,81, mientras que el modelo de Google Cloud alcanzó una puntuación F1 de 0,88, con un Kappa de Cohen de 0,82. La validación externa para Google Cloud alcanzó una precisión del 87,5percent-flag-change y del 80,3percent-flag-change en los modelos binario y multiclase, respectivamente.Conclusiones: AutoML es una poderosa herramienta para diagnosticar OT y clasificar la actividad inflamatoria, potencialmente guiando el diagnóstico y las decisiones de tratamiento.
Purpose: To evaluate the performance of Automated Machine Learning (AutoML) models in diagnosing ocular toxoplasmosis (OT) and classifying its inflammatory activity from fundus photographs.Design: Cross-sectional study.Methods: Fundus photographs from OT patients in two Colombian referral centers and an open-source OT database were classified into active OT, inactive OT, and no OT. Image quality assessment excluded images with artifacts but included blurry images due to vitritis. Photos were uploaded to Amazon Web Services S3 and Google Cloud Bucket. Two models were developed on each platform: a binary model (active/inactive OT vs. no OT) and a multiclass model (active OT, inactive OT, and no OT). Datasets were split into 70percent-flag-change for training, 20percent-flag-change for testing, and 10percent-flag-change for validation. Sensitivity, specificity, precision, accuracy, F1-score, the area under the precision-recall curve (AUPRC), and Cohen's Kappa were calculated for each platform and model. An external validation using an open-source image bank was performed.Results: The binary model on AWS showed a sensitivity of 0.97, specificity of 0.98, and AUPRC of 1.00, while the Google Cloud binary model had a sensitivity of 0.82, specificity of 0.91, and AUPRC of 0.91. The multiclass model on AWS achieved an F1 score of 0.88, with Cohen's Kappa of 0.81, while the Google Cloud model reached an F1 score of 0.88, with Cohen's Kappa of 0.82. External validation for Google Cloud achieved an accuracy of 87.5percent-flag-change and 80.3percent-flag-change in the binary and multiclass models, respectively.Conclusions: AutoML is a powerful tool for diagnosing OT and classifying inflammatory activity, potentially guiding diagnosis and treatment decisions.
