Die TruAI Technologie ist ein leistungsstarkes KI-gestütztes Bildanalysewerkzeug für biowissenschaftliche und materialwissenschaftliche Software. Durch die Verwendung tiefer neuronaler Netze lassen sich KI-Modelle entwickeln, die auf spezifische Bildgebungsanwendungen zugeschnitten sind. Ein Beispiel ist die 2019 von Evident vorgestellte scanR High-Content Screening-Station; dasselbe Prinzip wurde in der Folgezeit auf weitere Produkte angewendet und erweitert.

Die TruAI Technologie läuft lokal auf einem PC und erfordert vom Bediener keine Codier- oder Programmierkenntnisse. Die entwickelten KI-Modelle sind Dateien, die problemlos zwischen den Analysepaketen von Evident ausgetauscht werden können, darunter scanR Analysis, cellSens Count and Measure, und VS200-Detect.

Die TruAI Technologie bietet Vorteile in drei wichtigen Anwendungsbereichen:

• Objektsegmentierung und -klassifizierung in der Bildanalyse
• Probenerkennung bei der Bilderfassung
• Bildverarbeitung, einschließlich Rauschunterdrückung und Bildverbesserung

Dieser Blogartikel enthält einen Überblick über die Entwicklung der TruAI Technologie dieser Softwarepakete für die Biowissenschaften und ihre kontinuierlichen Verbesserungen während der letzten sechs Jahre.

1. Flexible Toolbox (2019)

Die ersten Versionen der TruAI Technologie (scanR 2019 und cellSens 2020) enthielten eine flexible Toolbox zur Erstellung von KI-gestützten semantischen Segmentierungsmodellen in der Forschung.

Das Training eines KI-Modells beginnt damit, dass der Bediener die Ground Truth in den Bildern mit Annotationen versieht und dann die annotierten Bilder in eine Trainingsoberfläche lädt. Das Modell analysiert die annotierten Bilder und optimiert die Vorhersagen in einem iterativen Prozess anhand der Annotationen.

Wichtige Funktionen der frühen TruAI-Toolbox umfassen:

• Manuelle Annotationen: Kennzeichnungstools zum freien Hinzufügen von Annotationen zur Generierung der Ground Truth in den Bildern.
• Automatische Annotationen: Konvertiert vorhandene Segmentierungen in Annotationen.
• Teilweise Kennzeichnung: Beschränkt das Training auf die markierten Bereiche, sodass es nicht mehr nötig ist, komplette Bilder zu markieren.
• Flexible Kombinationen von Kanälen und Z-Ebenen: Ermöglicht die Verwendung eines einzelnen Kanals oder einer Z-Ebene für einfache Aufgaben, während für komplexe Anwendungen freie Kombinationen möglich sind.
• Überwachung des Trainingsfortschritts: Die Trainingsoberfläche teilt die Daten automatisch in Trainings- und Validierungsdatensätze auf, wobei KI-Vorhersagen in Echtzeit angezeigt werden können.

2. Semantische Segmentierung (2019)

Trainierte KI-Modelle können dann auf neue Bilder (Inferenz) auf verschiedenen Evident Analysepaketen angewendet werden. Bei der semantischen Segmentierung erstellt das KI-Modell eine Pixelwahrscheinlichkeitskarte, die Pixel anzeigt, die mit hoher Wahrscheinlichkeit in den Vordergrund gehören. Für die endgültige Objekterkennung wird ein Schwellenwert für diese Wahrscheinlichkeitskarte festgelegt, gefolgt von klassischen Segmentierungsalgorithmen, wie der Wasserscheidentransformation.

3. Klassifizierung (2021)

Es ist möglich, alle Objekte in einem Bild mit ein und demselben KI-Modell zu segmentieren, wobei die Klassifizierung auf den gemessenen Parametern dieser Objekte, wie Fläche und Fluoreszenzintensität, basiert.

Alternativ können auf ein Bild mehrere KI-Modelle angewendet werden, um eine Klassifizierung ohne Extraktion von Messparametern vorzunehmen: zum Beispiel ein KI-Modell, das nur Zellen im Zustand 1 erkennt, und ein anderes, das nur Zellen im Zustand 2 erkennt.

Beide Funktionen waren bereits in den ersten Versionen der TruAI Technologie möglich.

Klassifizierungsmodelle beziehen sich jedoch speziell auf die Fähigkeit eines einzelnen KI-Modells, mehrere Gruppen im Vordergrund vom Hintergrund zu unterscheiden. Die endgültige Objekterkennung erfolgt durch Anwendung eines Schwellenwerts auf die zwei oder mehr Wahrscheinlichkeiten, die von dem einzelnen KI-Modell berechnet werden.

Zur Gewährleistung der Flexibilität kann der Anwender während des Trainings entscheiden, ob sich die Gruppen überschneiden dürfen.

Der Hauptvorteil der Verwendung von Klassifizierungsmodellen besteht in der Vereinfachung der Analyse, wenn viele Gruppen erkannt werden oder wenn es keine eindeutig messbaren Merkmale für die Klassifizierung gibt.

4. Instanzsegmentierung (2021)

Im Gegensatz zu semantischen KI-Segmentierungsmodellen können Instanzensegmentierungsmodelle die endgültigen Objekte direkt in einem Schritt segmentieren, sodass keine Schwellenwerte für Wahrscheinlichkeitskarten und keine zusätzliche Segmentierung erforderlich sind.

Diese Methode vereinfacht den Arbeitsablauf (vgl. Abbildung 4 und Abbildung 1) und ist besonders nützlich, wenn klassische Segmentierungsalgorithmen Schwierigkeiten haben, die erkannten Objekte zu trennen, z. B. bei hoher Zelldichte.

5. Skalierung (2021, 2023)

KI-Modelle haben ein begrenztes Sehfeld, in der Regel nur einige hundert Pixel, was sie empfindlich in Bezug auf die Pixelauflösung macht. Skalierungstechniken minimieren diese Einschränkungen.

Skalierung während des Trainings (2021)

Wenn Objekte das Sehfeld des KI-Modells überschreiten, kann das Modell möglicherweise nicht die kompletten Objektgrenzen erkennen, was zu einer ineffizienten Erkennung führt. Um dieses Problem zu lösen, kann das Training einen Skalierungsfaktor enthalten, der das Sehfeld des Modells effektiv erweitert. Dieser Trainingsansatz ist besonders nützlich für die Erkennung kompletter großer Objekte, wie etwa von Zebrafischen, Organoiden oder großen Regionen in Gewebeproben.

Skalierung während der Inferenz (2023)

Wird ein KI-Modell mit einem 10fach-Objektiv trainiert, aber auf ein Bild angewendet, das mit einem 40fach-Objektiv aufgenommen wurde, ist die Erkennung ineffizient. Die Skalierungsfunktion der TruAI Technologie ermöglicht es dem Anwender, die Bildauflösung an die Auflösung des KI-Modells anzupassen, um ein optimales Ergebnis zu erzielen. Wenn Instanzensegmentierungsmodelle zu einer Über-Segmentierung führen, verbessert eine verringerte Auflösung häufig die Erkennung kompletter Objekte.

6. Live-KI (2021)

Live-KI ist eine Funktion der cellSens Software, die KI-Modelle in Echtzeit anwendet, ohne dass eine Bildaufnahme erforderlich ist. Die KI-Wahrscheinlichkeit bzw. die endgültige Objektsegmentierung wird direkt auf dem Live-Bild angezeigt. Dies ermöglicht schnelle Qualitätskontrollen, schnelles Zählen bei Quantifizierungsanwendungen und eine einfache Zielidentifizierung bei Verfahren, die eine Probenauswahl erfordern (z. B. eines besten Kandidaten bei der Zell-, Spermien- oder Eizellenselektion).

7. Vortrainierte Modelle (2021–2024)

Für Anwender, die aus Zeitmangel KI-Modelle nicht selbst trainieren können, hat Evident vortrainierte Modelle eingeführt, die sofort einsetzbar sind. In den folgenden Analyse-Softwarepaketen sind verschiedene Arten von vortrainierten KI-Modellen verfügbar:

• scanR Analysis: Modelle für Zellkerne, Zellen, Spots, Strukturen und Zellkerne im Hellfeld
• cellSens Count and Measure and VS200-Detect: Modelle für Zellkerne, Zellen, IHC-Zellklassifizierung (Ki-67-Assay) und schwache Erkennung kompletter Proben
• cellSens FV (FV4000): Modelle zur Rauschunterdrückung

Zudem können die vortrainierten Modelle als Ausgangspunkt für Annotationen verwendet werden. Die Vorhersagen der trainierten Modelle können in Annotationen umgewandelt und vom Anwender korrigiert werden. Dieser Arbeitsablauf eignet sich besonders gut in Kombination mit dem interaktiven Training (siehe Abschnitt 9).

8. Automatische Probendetektion (2022)

KI-Modelle können in Erfassungsabläufe zur automatischen Probenerkennung integriert werden, um Zeit beim Scannen des gesamten Gewebes, bei der Erkennung bestimmter Regionen oder bei der Identifizierung seltener Ereignisse zu sparen. Der Arbeitsablauf beginnt in der Regel mit einem Übersichtsscan bei geringer Vergrößerung, gefolgt von einem detaillierten Scan bei größerer Vergrößerung mit mehr Kanälen, zusätzlichen Z-Schichten oder sogar einem Modalitätswechsel von Weitfeld- zu konfokaler Spinning-Disk-Mikroskopie.

9. Interaktives Training (2023)

2023 wurde ein neuer interaktiver Arbeitsablauf zum Trainieren von KI-Modellen eingeführt. Dieser Arbeitsablauf ermöglicht es dem Anwender, Bilder interaktiv mit Annotationen zu versehen, das Modell zu trainieren, die KI-Vorhersagen zu überprüfen, Korrekturen vorzunehmen und diese Korrekturen als neue Kennzeichnungen für weiteres Training zu verwenden. Neue Bilder können dann weiter mit Annotationen versehen und das Modell iterativ verfeinert werden. Dieser Ansatz ermöglicht die schnelle Entwicklung von KI-Modellen für direkte Anwendungen.

10. Bildoptimierung (2023)

KI-Modelle können für Segmentierungsaufgaben und für Bildverarbeitungsvorgänge trainiert werden. Beispielsweise kann ein Modell trainiert werden, um Entrauschungs- oder Verarbeitungstechniken wie Dekonvolution durchzuführen.

Da das Training kanalübergreifend erfolgt, ist die Generierung von Ground-Truth-Daten für das Training einfach. Bei einem Rauschunterdrückungsmodell braucht es dafür beispielsweise nur zwei Kanäle: einen Kanal mit einem hohen Signal-Rausch-Verhältnis (als Ground Truth) und einen anderen Kanal mit kurzer Belichtung und Schwachlichtanregung.

Ein entscheidender Vorteil dieses Ansatzes besteht darin, dass Wissenschaftler KI-Modelle anhand eigener Proben trainieren können, um eine optimale Leistung für spezifischen Zielstrukturen zu gewährleisten und gleichzeitig Artefakte wie falsche, nicht erklärbare Strukturen zu minimieren.

Kontinuierliche Weiterentwicklung der TruAI Technologie

In den letzten sechs Jahren wurde die TruAI Technologie kontinuierlich weiterentwickelt, insbesondere in puncto Segmentierung, Klassifizierung, Skalierung, Live-Analyse und Bildverbesserung. Mit ihrer Flexibilität, Bedienerfreundlichkeit und Integration in die Software-Plattformen von Evident ist sie ein leistungsstarkes Werkzeug für die KI-gesteuerte Bildanalyse in biowissenschaftlichen Anwendungen.

Um mehr darüber zu erfahren, wie TruAI Modelle in der Praxis funktionieren, kontaktieren Sie unser Mikroskopieexpertenteam für eine personalisierte Produktvorführung.