10 miglioramenti fondamentali nell'evoluzione delle analisi delle immagini nelle scienze della vita mediante la tecnologia TruAI™
La tecnologia TruAI™ è un efficiente strumento di analisi di immagini gestito da AI per i software di scienze della vita e di scienze dei materiali. Utilizzando le reti neurali deep permette lo sviluppo di modelli AI personalizzati per specifiche applicazioni di imaging. Questo è stato introdotto da Evident nel 2019 con la postazione di screening a alto contenuto scanR e successivamente esteso a diversi altri prodotti.
La tecnologia TruAI funziona localmente su un computer senza che gli utenti necessitino di competenze di programmazione. I modelli AI sviluppati sono file che possono essere facilmente scambiati nei pacchetti di analisi Evident come scanR Analysis, cellSens™ Count and Measure e VS200-Detect.
La tecnologia TruAI offre vantaggi in tre principali aree applicative:
- Segmentazione e classificazione degli oggetti nelle analisi delle immagini
- Rilevamento dei campioni nei flussi di lavoro di acquisizione delle immagini
- Elaborazione di immagini, inclusi la riduzione del rumore e il miglioramento
In questo post del blog viene trattata l'evoluzione della tecnologia TruAI in questi pacchetti software per le scienze della vita, mostrandone i continui miglioramenti negli ultimi sei anni.
- Una serie di strumenti flessibili (2019)
Il primo lancio della tecnologia TruAI (scanR nel 2019 e cellSens 2020) si è concentrato nel fornire una serie di strumenti flessibili per la creazione di modelli di segmentazione semantici gestiti da AI.
L'addestramento di un modello AI inizia con l'annotazione del "ground truth" (verità di base) nelle immagini da parte degli utenti, caricando successivamente le immagini annotate in un'interfaccia di addestramento. Il modello analizza le immagini annotate. ottimizzando le sue previsioni per le annotazioni attraverso un processo interattivo.
Le funzionalità principali della serie di strumenti TruAI includono:
- Annotazioni manuali: Strumenti di marcatura per annotare liberamente il ground truth nelle immagini.
- Annotazioni automatiche: Conversione delle segmentazioni esistenti in annotazioni.
- Marcatura parziale: Limita l'addestramento nelle aree marcate, eliminando la necessità di marcare le immagini intere.
- Combinazioni flessibili del canale e dello strato Z: Permette l'uso di un solo canale o strato Z per semplici operazioni, consentendo delle libere combinazioni per delle applicazioni complesse.
- Monitoraggio dell'avanzamento dell'addestramento: L'interfaccia dell'addestramento suddivide automaticamente i dati in dataset di addestramento e di validazione, con le previsioni dell'IA visualizzabili in tempo reale.
- Segmentazione semantica (2019)
Una volta che i modelli AI sono stati addestrati, possono essere applicati a nuove immagini (inferenza) per diversi pacchetti di analisi Evident. Nella segmentazione semantica, il modello AI crea una mappatura della probabilità dei pixel, indicando i pixel con un'alta probabilità di rientrare in primo piano. Per il rilevamento finale degli oggetti, viene definita una soglia a questa mappatura della probabilità, seguita dai classici algoritmi di suddivisione come la segmentazione di tipo "watershed" (spartiacque).

- Classificazione (2021)
Un solo modello AI può segmentare tutti gli oggetti in un'immagine, con una classificazione basata sui parametri misurati di questi oggetti, come l'area e l'intensità della fluorescenza.
Altrimenti i modelli AI multipli possono essere applicati alla stessa immagine per eseguire la classificazione senza l'estrazione dei parametri di misura (es: un modello AI di rilevamento delle sole cellule nello stato 1 e un altro di rilevamento delle sole cellule nello stato 2.
Entrambe le funzionalità erano applicabili nelle prime versioni della tecnologia TruAI.
Tuttavia i modelli di classificazione si riferiscono specificatamente a una capacità del modello AI di differenziare diverse classi in primo piano da quelle in sfondo. Il finale rilevamento degli oggetti viene realizzato applicando una soglia alle due o più probabilità definite da un solo modello AI.
Per mantenere la flessibilità gli utenti possono decidere se durante l'addestramento le classi possono sovrapporsi.
Il principale vantaggio nell'uso di modelli di classificazione è quello di semplificare le analisi quando si rilevano numerosi classi oppure quando non esistono definite caratteristiche misurabili per la classificazione.
Figura 2: Localizzazione dei compartimenti cellulari delle proteine marcate con fluorescenza in lieviti. Un solo modello TruAI può classificare le cellule in base alla localizzazione delle proteine. Scopri di più sulla nostra nota applicativa, Localizzazione delle proteine dei lieviti classificate utilizzando la tecnologia deep learning TruAI.
Figura 3: La tecnologia TruAI permette la creazione dei modelli AI di classificazione in situazioni nei quali la classificazione è di difficile realizzazione per l'occhio umano, come nel caso in cui si devono differenziare gli ovociti di alta qualità dai campioni non colorati nella fecondazione in vitro. Maggior informazioni su questo articolo.
- Segmentazione di istanza (2021)
Diversamente dai modelli AI di segmentazione, i modelli di segmentazione di istanza possono segmentare direttamente gli oggetti finali in un'operazione, eliminando la necessità di definizione della soglia della mappatura delle probabilità e dell'addizionale suddivisione.
Questo metodo semplifica il flusso di lavoro (confrontare la Figura 4 con la Figura 1) ed è particolarmente utile nei casi nei quali i classici algoritmi di segmentazione hanno difficoltà a separare gli oggetti rilevati (es: quando la densità cellulare è elevata).
Figura 4. Un solo modello di segmentazione di istanza può identificare i pixel riferibili al primo piano, determinando i limiti degli oggetti finali (nuclei) in un'operazione.
Figura 5. I modelli di segmentazione di istanza sono particolarmente utili nelle situazioni a elevata convergenza con oggetti non circolari. In questo esempio un solo modello AI utilizza due canali input (blue e grigio) per classificare gli oggetti in sovrapposizione come i nuclei o le cellule, definendone i limiti.
- Regolazione della scala (2021 e 2023)
Tutti i modelli AI hanno un limitato campo visivo, corrispondente a poche centinaia di pixel, rendendoli sensibili alla risoluzione dei pixel. Le tecniche di regolazione della scala minimizzano questi limiti.
Regolazione della scala durante l'addestramento (2021)
Quando gli oggetti superano il campo visivo del modello AI, il modello potrebbe non riuscire a riconoscere completamente i limiti degli oggetti, rendendo il rilevamento inefficiente. Per risolvere questa problematica, l'addestramento potrebbe integrare un fattore di scala in grado di ampliare il campo visivo dle modello in modo efficace. Questo approccio di addestramento è particolarmente utile per il rilevamento completo di grandi oggetti come zebrafish, organoidi o ampie aree nei campioni dei tessuti.
Figura 6. Addestramento per il rilevamento di grandi organoidi nella trasmissione in una piastra a pozzetti. Il campo visivo del modello AI è indicato in verde. A sinistra: Addestramento senza regolazione della scala produce dei risultati di scarsa qualità, anche dopo migliaia di iterazioni. A destra: Addestramento con una regolazione della scala del 25% produce dei risultati di alta qualità in sole poche centinaia di iterazioni.
Regolazione della scala durante l'inferenza (2023)
Se un modello AI è addestrato con un obiettivo 10X ma applicato a un'immagine acquisita con un obiettivo 40X, il rilevamento risulterà inefficiente. La funzione di regolazione della scala TruAI permette agli utenti di adattare la risoluzione dell'immagine alla risoluzione del modello AI per assicurare una prestazione ottimale. Inoltre quando i modelli di segmentazione di istanza causa un eccesso di suddivisione, la riduzione della risoluzione spesso migliora il rilevamento di oggetti interi.
Figura 7. a) Immagine in fluorescenza di cellule viventi; b) Un modello AI di segmentazione di istanza causa un eccesso di suddivisione in alcune cellule; c) Lo stesso modello di segmentazione di istanza applicato con una regolazione della scala del 50%, producendo un preciso rilevamento di cellule senza un eccesso di suddivisione.
- Live AI (2021)
Live AI è una funzionalità del software cellSens che si applica ai modelli AI in tempo reale senza richiedere l'acquisizione delle immagini. La probabilità dell'AI o la finale segmentazione degli oggetti viene visualizzata direttamente nell'immagine in tempo reale, permettendo dei veloci controlli qualità, dei rapidi conteggi nelle applicazioni di quantificazione e una facile identificazione dei target nelle procedure che richiedono la scelta dei campioni (es: il miglior candidato per la scelta della cellula, spermatozoo o ovocita).
https://adobeassets.evidentscientific.com/content/dam/mis/truai/Live-AI.mp4
Figura 8. Il flusso di lavoro di inferenza del Live AI. Un modello di segmentazione di istanza con le funzionalità di classificazione è applicato a una piastra a pozzetti. Mentre l'utente si sposta nella piastra a pozzetti, la mappatura delle probabilità e il conteggio delle tre classi di cellule sono riportati nella parte in basso a sinistra dell'immagine in tempo reale.
- Modelli pre-addestrati (2021–2024)
Per gli utenti che non hanno tempo di addestrare i propri modelli AI, Evident hanno introdotto i modelli pre-addestrati pronti all'uso. I diversi tipi di modelli AI pre-addestrati sono disponibili nei seguenti pacchetti software di analisi:
- scanR Analysis: Modelli per nuclei, cellule, punti, strutture e nuclei in campo chiaro
- cellSens Count and Measure e VS200-Detect: Modelli per nuclei, cellule, classificazione di cellule IHC (analisi Ki-67) e leggero riconoscimento di campioni interi
- cellSens FV (FV4000): Modelli per la riduzione del rumore
Inoltre i modelli pre-addestrati possono essere usati come base di partenza per le annotazioni. Le previsioni dei modelli pre-addestrati possono essere convertiti in annotazioni e gli utenti possono applicarvi delle correzioni. Questo flusso di lavoro è particolarmente efficiente con l'addestramento interattivo (vedi sezione 9).
Figura 9. Il modello di classificazione IHC pre-addestrato rileva il baricentro nelle cellule marroni e nelle cellule blu. Quando viene usato in cellSens Count and Measure o VS200-Detect, il risultato corrisponde al numero totale di cellule con la percentuale di ogni tipo di cellula.
Elaborato con riduzione del rumore TruAI (in basso)
Elaborato con riduzione del rumore TruAI (in basso)
Figura 10. Immagini dello scanner a risonanza acquisite con un microscopio confocale FLUOVIEW™ FV4000 (lato sinistro di ogni immagine) e un miglioramento con riduzione del rumore TruAI (lato destro di ogni immagine). L'imaging con scanner a risonanza permette di acquisire con efficacia le dinamiche cellulari ad alta velocità con delle alterazioni ridotte. Tuttavia questo si raggiunge in genere a discapito del rapporto segnale-rumore, il quale risulta inferiore. La riduzione del rumore TruAI migliora queste immagini senza compromettere la risoluzione temporale, utilizzando i modelli AI pre-addestrati basati sui pattern di rumore del rilevatore SilVIR™ . Questi algoritmi di riduzione del rumore TruAI pre-addestrati possono essere applicati in tempo reale e durante la post-elaborazione.
- Automatico rilevamento dei campioni (2022)
I modelli AI possono essere integrati nei flussi di lavoro di acquisizione per l'automatico rilevamento dei campioni, risparmiando tempo nell'intera scansione dei tessuti, nel riconoscimento di una specifica area o nell'identificazione di un evento raro. Il flusso di lavoro in genere inizia con una scansione panoramica a basso ingrandimento, seguita da una scansione dettagliata con un ingrandimento maggiore multi-canali, strati Z addizionali o perfino una modalità di passaggio dalla microscopia grandangolare a quella a disco rotante confocale.
Figura 11. Video che mostra il flusso di lavoro di imaging da macro a micro nel software cellSens per un microscopio grandangolare.
- Addestramento interattivo (2023)
Un nuovo flusso di lavoro interattivo per i modelli di AI di addestramento è stato introdotto nel 2023. Questo flusso di lavoro permette agli utenti di annotare le immagini interattivamente, addestrare il modello, consultare le previsione dell'AI, effettuare le correzioni e utilizzare queste correzioni come nuove marcature per ulteriori addestramenti. Gli utenti possono quindi continuare ad annotare nuove immagini, rifinendo il modello in modo iterativo. Questo approccio permette il rapido sviluppo di modelli AI per realizzare le applicazioni in modo efficace.
Figura 12. Esempio del flusso di lavoro di addestramento interattivo.
- Miglioramento delle immagini (2023)
Gli utenti possono addestrare i modelli AI sia per le operazioni di segmentazione che per le operazioni di elaborazione. Per esempio, un modello può essere addestrato per eseguire delle tecniche di riduzione del rumore o di elaborazione come la deconvoluzione.
Visto che l'addestramento si verifica per diversi canali, risulta facile la generazione di dati "ground truth" per l'addestramento. Per esempio, creando il "ground truth" per un modello di riduzione del rumore risulta semplice quanto l'acquisizione di due canali: uno con un elevato rapporto segnale-rumore (con funzione di "ground truth") e un altro con una breve esposizione e una bassa eccitazione luminosa.
Un vantaggio fondamentale di questo approccio riguarda la capacità dei ricercatori di addestrare i modelli AI utilizzando i propri campioni, assicurando delle prestazioni ottimali per le specifiche strutture dei target, minimizzando allo stesso tempo gli artefatti come le allucinazioni (strutture indefinibili non autentiche)
Figura 13. I modelli TruAI possono essere addestrati per le operazioni di elaborazione delle immagini come la riduzione del rumore (in basso).
L'evoluzione continua della tecnologia TruAI
Negli ultimi sei anni la tecnologia TruAI è evoluta in continuo, assicurando dei miglioramenti per la segmentazione, la classificazione, la regolazione della scala, le analisi in tempo reale e le immagini. La sua flessibilità, facilità d'uso e integrazione nell'ambito delle piattaforma software Evident lo rende uno strumento efficiente per l'analisi delle immagini basate sull'AI nelle scienze della vita.
Per maggior informazioni sul funzionamento pratico dei modelli TruAI, si prega di contattare il nostro team di specialisti di microscopia per pianificare una dimostrazione personalizzata.