Diez optimizaciones de la tecnología TruAI™ que hacen avanzar el análisis de imágenes en las ciencias de la vida
La tecnología TruAI™ es una potente herramienta analítica de imágenes por inteligencia artificial (IA) dedicada a los softwares de ciencias de la vida y ciencia de los materiales. Mediante el uso de redes neuronales de aprendizaje profundo, esta permite desarrollar modelos [de] IA personalizados para aplicaciones específicas de procesamiento de imágenes. Fue introducida por Evident en 2019 para un funcionamiento conjunto con la estación de cribado de alto contenido scanR que luego se extendería a otros productos.
La tecnología TruAI opera localmente en un PC y no requiere capacidades de codificación o programación de usuarios. Los modelos desarrollados por la IA son archivos que pueden ser intercambiados a nivel de los paquetes analíticos de Evident, como los softwares scanR Analysis [análisis], cellSens™ Count and Measure [recuento y medición], y VS200‑Detect [detección].
La tecnología TruAI ofrece ventajas en tres áreas de aplicación clave:
- La segmentación y clasificación de objetos en los análisis de imágenes.
- La detección de muestras en la distribución del trabajo de adquisición de imágenes.
- El procesamiento de imágenes, como la eliminación de ruido y optimización.
A través de esta publicación, se repasa la evolución de la tecnología TruAI con base en estos paquetes de software dedicados a las ciencias de la vida, y se resaltan las optimizaciones continuas que han ido ocurriendo a lo largos de los últimos seis años.
- Una caja de herramientas flexible (2019)
Los primeros lanzamientos de la tecnología TruAI —a través de los softwares scanR (2019) y cellSens (2020)— se centraban en proporcionar a los investigadores una caja de herramientas flexible para crear potentes modelos de segmentación semántica por inteligencia artificial.
La formación de un modelo IA inicia con usuarios que incluyen notas de aprobación en terreno a nivel de las imágenes y, después, cargan estas imágenes anotadas en una interfaz de formación. El modelo analiza las imágenes anotadas con el fin de optimizar las previsiones en función de las anotaciones por medio de un proceso interactivo.
Características clave que se incluyen desde la caja de herramientas TruAI inicial:
- Anotaciones manuales: A través de herramientas de marcado que definen libremente los datos aprobados en terreno a nivel de las imágenes.
- Anotaciones automáticas: Es posible convertir segmentaciones existentes en anotaciones.
- Marcado parcial: Limita la formación a las regiones marcadas, lo que evita un marcado a nivel de toda la imagen.
- Combinaciones flexibles entre canal y capa en Z: Permite usar un solo canal o capa en Z para tareas sencillas, a la vez que ofrece combinaciones libres para aplicaciones complejas.
- Monitorización de la progresión de formación: La interfaz de formación divide automáticamente los datos en conjuntos destinados a la formación y validación, junto con las previsiones IA visualizables en directo.
- Segmentación semántica (2019)
Cuando los modelos IA ya han sido formados, pueden ser aplicados a nuevas imágenes (inferencia) a través de los varios paquetes de análisis de Evident. En la segmentación semántica, el modelo IA crea un mapa de probabilidad de píxeles para indicar los píxeles que llevan una alta probabilidad de pertenencia al primer plano. Para la detección del objeto final, se determina un valor umbral en este mapa de probabilidad, el cual es respaldado por los algoritmos clásicos de separación, como la segmentación divisoria de aguas (o watershed).
- Clasificación (2021)
Un solo modelo IA puede segmentar todos los objetos en una imagen; la clasificación se basa en los parámetros medidos a partir de estos objetos, tales como el área y la intensidad de fluorescencia.
Por otra parte, es posible aplicar múltiples modelos IA a una misma imagen con el fin de clasificar sin necesidad de obtener los parámetros de medición; por ejemplo, un modelo IA puede detectar solo células de estado 1 y, otro, células de estado 2.
Ambas capacidades han estado presentes desde el primer lanzamiento de la tecnología TruAI.
No obstante, los modelos de clasificación hacen referencia específicamente a una sola capacidad del modelo IA para poder diferenciar múltiples clases de objetos, ubicados en primer plano, desde el fondo de la imagen. Por tanto, la detección del objeto final se logra al aplicar un valor umbral a dos o más probabilidades presentadas por el único modelo IA.
Para mantener una flexibilidad, los usuarios pueden decidir durante la formación si las clases de objetos pueden superponerse.
La ventaja principal de usar modelos de clasificación es la simplificación a nivel de los análisis cuando se detectan muchas clases de objetos o cuando no hay características mensurables claras para ejecutar la clasificación.
Figura 2: Localización del compartimento celular de proteínas con marcado fluorescente en la levadura. Un solo modelo TruAI puede clasificar células en función de la localización de proteínas. Obtenga más información a través de nuestra nota de aplicación: Localización de proteínas de levadura clasificadas con la tecnología de aprendizaje profundo TruAI™
Figura 3: La tecnología TruAI favorece la creación de modelos IA de clasificación para situaciones en las que la clasificación a simple vista es difícil, como al seleccionar ovocitos de alta calidad a partir de muestras sin tinción destinadas a la fertilización in vitro. Conozca más en este artículo.
- Segmentación de instancias (2021)
A diferencia de los modelos IA de segmentación semántica, los modelos de segmentación de instancias pueden segmentar directamente los objetos finales en un solo paso; esto evita la aplicación de valores de umbral en los mapas de probabilidad y mayores divisiones.
Este método simplifica la distribución del trabajo (compare la Figura 4 con la Figura 1) y es particularmente útil cuando los algoritmos de segmentación clásicos presentan limitaciones al separar los objetos detectados (p. ej., cuando la densidad celular es alta).
Figura 4. Un sólo modelo de segmentación de instancias puede identificar los píxeles que pertenecen al primer plano y determinar los límites de los objetos finales (núcleos) en un solo paso.
Figura 5. Los modelos de segmentación de instancias son especialmente útiles en casos de alta confluencia que incluyen objetos no redondos. En este ejemplo, un solo modelo [de] IA utiliza dos canales de entrada (azul y gris) para clasificar objetos superpuestos como núcleos o células mientras define sus límites.
- Escalamiento (2021, 2023)
Los modelos de IA presentan un campo visual limitado, normalmente unos pocos cientos de píxeles, lo que los hace sensibles a la resolución de píxeles. Las técnicas de escalamiento mitigan estas limitaciones.
Escalamiento durante la formación (2021)
Cuando los objetos exceden el campo visual del modelo [de] IA, es posible que el modelo no reconozca los bordes completos de los objetos, lo que conlleva a una detección deficiente. Para superar este problema, en la formación se puede agregar un factor de escalamiento que amplíe efectivamente el campo visual del modelo. Este enfoque de formación es particularmente útil para detectar objetos grandes y enteros, como peces cebra, organoides/orgánulos o regiones de tamaño considerable dentro de muestras tisulares.
Figura 6. Formación para detectar organoides/orgánulos grandes en transmisión en una placa de pocillos. El campo visual del modelo IA se muestra de verde. Izq.: La formación sin escalamiento genera resultados deficientes, incluso tras cientos de repeticiones. Dcha.: La formación con un escalamiento del 25 % logra resultados de alta calidad en tan solo unas cien repeticiones.
Escalamiento durante la inferencia (2023)
Si un modelo [de] IA es formado con una lente de objetivo de 10X y es aplicado a una imagen tomada con una lente de objetivo de 40X, la detección será ineficiente. La función de escalamiento de la tecnología TruAI permite a los usuarios adaptar la resolución de la imagen a la resolución del modelo IA para un óptimo rendimiento. Además, cuando los modelos de segmentación de instancias provocan una división excesiva, reducir la resolución a menudo mejora la detección de los objetos completos.
Figura 7. a) Imagen de fluorescencia de células vivas. b) Un modelo [de] IA de segmentación de instancias provoca una división excesiva en algunas células. c) El mismo modelo de segmentación de instancias aplicado con un escalamiento del 50 % dando como resultado una detección precisa de células sin división excesiva.
- Inteligencia artificial en directo [Live AI] (2021)
La inteligencia artificial (IA) en directo (Live AI, nomenclatura en inglés) es una función del software cellSens que aplica modelos IA instantáneamente sin necesidad de adquirir imágenes. La probabilidad de IA, o segmentación final del objeto, se muestra directamente en la imagen en vivo, lo que permite ejecutar controles de calidad rápidos, recuentos fáciles en aplicaciones de cuantificación y la identificación de dianas a través de procedimientos que requieren la selección de muestras (como la mejor candidata para la selección de células, espermatozoides u ovocitos).
https://adobeassets.evidentscientific.com/content/dam/mis/truai/Live-AI.mp4
Figura 8. Distribución del trabajo de inferencia con la función Live AI. Se aplica un modelo de segmentación de instancias con capacidades de clasificación a una placa de pocillos. A medida que el usuario navega a través de la placa de pocillos, el mapa de probabilidad y el recuento de las tres clases de células se muestran en la parte inferior izquierda de la imagen en directo.
- Modelos preformados (2021-2024)
Para aquellos usuarios que no tienen tiempo de formar sus propios modelos IA, Evident introdujo los modelos preformados con el fin de aplicarlos apenas los recibe. Existen diferentes tipos de modelos IA preformados, que se encuentran disponibles en los siguientes paquetes de software analíticos:
- scanR Analysis: Son modelos dedicados a los núcleos, células, estructuras y núcleos en campo claro.
- cellSens Count and Measure y VS200-Detect: Son modelos dedicados a la clasificación de núcleos, células, células IHC (ensayo Ki-67
- cellSens FV (FV4000): Son modelos dedicados a la eliminación de ruido.
Asimismo, los modelos previamente formados pueden usarse como punto de partida para las anotaciones. Las previsiones de los modelos previamente formados pueden convertirse en anotaciones y los usuarios pueden aplicarles correcciones. Este flujo de trabajo funciona realmente bien en combinación con la formación interactiva (ver sección 9).
Figura 9. El modelo preformado dedicado a la clasificación de células IHC detecta el centro de masa en células marrones y células azules. Al usarlo con el software cellSens Count and Measure o el VS200-Detect, el resultado que se brinda es el recuento total de células junto con el porcentaje de cada tipo celular.
Procesada con reducción de ruido TryuAI (abajo)
Procesada con reducción de ruido TryuAI (abajo)
Figura 10. Imágenes provenientes de un escáner resonante con el microscopio confocal FLUOVIEW™ FV4000 (lado izquierdo de cada imagen), optimizadas con la función de reducción de ruido TruAI (lado derecho de cada imagen). El procesamiento de imágenes del escáner resonante captura eficazmente la dinámica celular a altas velocidades con un mínimo grado de daño. Sin embargo, puede crear una relación deficiente entre la señal y el ruido. La reducción del ruido con la tecnología TruAI optimiza estas imágenes sin mermar la resolución de tiempo al usar modelos IA preformados en función de patrones de ruido del detector SilVIR™. Estos algoritmos de reducción de ruido TruAI, previamente formados, pueden aplicarse tanto en tiempo directo como en un posprocesamiento.
- Detección automática de muestras (2022)
Los modelos IA pueden integrarse en la distribución del trabajo de adquisición para detectar automáticamente muestras y ahorrar tiempo en el escaneo de tejido completo, el reconocimiento de regiones específicas o la identificación de eventos poco comunes. La distribución del trabajo inicia típicamente con un escaneo general de baja magnificación (aumento), seguido de un escaneo detallado de mayor magnificación con más canales, capas Z adicionales o incluso un cambio de modalidad de microscopía de campo amplio a microscopía de disco giratorio confocal.
Figura 11. Video que muestra el procesamiento de imágenes de nivel macro a micro en el software cellSens a través de un microscopio de campo amplio.
- Formación interactiva (2023)
En el año 2023 se lanzó un nuevo flujo de trabajo interactivo para formar modelos IA. Este flujo de trabajo permite a los usuarios aplicar notas a las imágenes de forma interactiva, formar el modelo, revisar previsiones IA, hacer correcciones y usar estas últimas como nuevas etiquetas para una formación ulterior. Los usuarios pueden continuar anotando nuevas imágenes y refinando el modelo iterativamente. Este enfoque permite el desarrollo rápido de modelos IA destinados a aplicaciones sencillas.
Figura 12. Ejemplo del flujo de trabajo de la formación interactiva.
- Mejora de la imagen (2023)
Los usuarios pueden formar modelos IA tanto para tareas de segmentación como para operaciones de procesamiento de imágenes. Por ejemplo, a un modelo se le puede preparar para aplicar técnicas de eliminación de ruido o de procesamiento, como la deconvolución.
Dado que la formación se lleva a cabo a través de canales, la generación de datos reales para la formación es sencilla. Por ejemplo, crear una anotación aprobada para un modelo de eliminación de ruido es tan simple como recopilar dos canales: uno dotado de una alta relación señal-ruido (que sirve como valor aprobado) y otro dotado de una corta exposición y excitación con poca luz.
Una de las ventajas clave de este enfoque es que los investigadores pueden formar modelos IA usando sus propias muestras, lo que garantiza un óptimo rendimiento para sus estructuras dianas específicas y mitiga los artefactos como alucinaciones (estructuras falsas e inexplicables).
Figura 13. Los modelos TruAI pueden ser formados para tareas de procesamiento de imágenes, como la reducción de ruido (abajo).
El progreso continuo de la tecnología TruAI
Durante los últimos seis años, la tecnología TruAI ha evolucionado continuamente, ofreciendo mejoras a nivel de la segmentación, clasificación, escalamiento, análisis en directo y digitalización de imágenes. Su flexibilidad, facilidad de uso e integración en las plataformas de software de Evident la convierten en una herramienta poderosa para el análisis de imágenes por IA en las ciencias de la vida.
Para obtener más información sobre cómo funcionan los modelos TruAI en la práctica, comuníquese con nuestro equipo de profesionales en microscopía. para una demostración personalizada.
Productos presentados
Dr. Manoel Veiga
Especialista de aplicaciones, Investigación en ciencias de la vida
Manoel Veiga posee un doctorado en Química física concedido por la Universidad de Santiago de Compostela (España). Tras seguir dos postdoctorados en la Universidad Complutense de Madrid y la Universidad de Münster, trabaja con profesionales de todo el mundo a fin de respaldarlos en los campos de la microscopía de imágenes con tiempo de vida de fluorescencia (FLIM) y la espectroscopia de resolución temporal. Desde 2017, ha aportado su experiencia al Centro Tecnológico Europeo de EVIDENT, donde trabaja como especialista en aplicaciones centradas en el cribado de alto contenido y aprendizaje profundo.