Wie der TruSight SR Algorithmus eine Bildgebung mit Superauflösung in der konfokalen Spinning-Disk-Mikroskopie ermöglicht

Einführung

Der TruSight SR Algorithmus von Evident ist eine neuartige superauflösende Technologie auf Grundlage der Olympus Super Resolution (OSR)-Technologie¹ , integriert in das konfokale Spinning-Disk-Mikroskop IXplore IX85 SpinSR. Sie verbessert die konfokale Mikroskopie, indem sie die Lochfeldblenden optimiert und mit einem auf optischen Prinzipien basierenden Verarbeitungssystem Bilder mit maximaler Auflösung (Super Resolution) erzielt.

Mit TruSight SR werden die Einschränkungen der OSR-Technologie bei Bildern mit niedrigem Signal-Rausch-Verhältnis durch Integration einer adaptiven Filterstärke und dreidimensionaler (3D) Verarbeitungsfunktionen umgangen. Durch diese Weiterentwicklung verbessert sich die Bildqualität unter Bedingungen mit niedrigem Signal-Rausch-Verhältnis, wie z. B. bei der Bildgebung von Lebendzellen mit schwachen Fluoreszenzsignalen. Durch die Wiederherstellung naturgetreuer Super-Resolution-Bilder und die Beibehaltung der Helligkeitswerte liefert TruSight SR konsistente Bilddaten für eine quantitative Analyse in verschiedenen Anwendungen.

In diesem Whitepaper werden dieser Super-Resolution-Algorithmus und seine Anwendungen erläutert und demonstriert, inwiefern TruSight SR von Evident zur Verbesserung der Bildqualität von Mikroskopen beiträgt.

Wichtigste behandelte Themen:

• Hauptvorteile des TruSight SR Algorithmus
• Aufbau eines Mikroskopsystems mit Super-Resolution-Technologie
• Weiterentwicklung unserer Super-Resolution-Technologie
• Praktische Anwendungen
• Verbesserung der 3D-Super-Resolution-Bildqualität
• Unterschiede zur TruSight Dekonvolutionstechnologie

Der TruSight SR Algorithmus ist eine Weiterentwicklung der proprietären OSR-Technologie von Evident für die Bildgebung mit Super-Resolution. Bei der OSR-Technologie werden rechnergestützte Verarbeitungstechniken kombiniert, um die Leistung konfokaler Mikroskope zu maximieren und Superauflösung zu erreichen. Im Vergleich zur traditionellen Wiener-Dekonvolution liefert die OSR-Technologie verlässliche Ergebnisse und erzeugt naturgetreue Super-Resolution-Bilder, die der Grenzfrequenz von konfokalen Mikroskopen entsprechen.

Sie hatte jedoch einen Nachteil, wenn sie auf Bilder mit niedrigem Signal-Rausch-Verhältnis angewendet wurde. In solchen Bildern wurden Rauschkomponenten eventuell verstärkt und die Auflösung verschlechtert. Aus diesem Grund haben wir die OSR-Technologie zu TruSight SR weiterentwickelt und gleichzeitig die Rauschresistenz verbessert. Dadurch wird Aufnahme von Super-Resolution-Bildern mit hohem Signal-Rausch-Verhältnis selbst bei schwacher Fluoreszenzintensität während der Live-Fluoreszenzbildgebung möglich. Gleichzeitig wird die schnelle und zuverlässige räumliche Auflösung von 120 nm der ursprünglichen OSR-Technologie beibehalten. TruSight SR umfasst außerdem 3D-Verarbeitungsfunktionen, die eine hochauflösende Abbildung von dicken Proben ermöglichen. Diese Neuerung unterstützt die Wiederherstellung hochwertiger Bilder in zahlreichen Anwendungen.

TruSight SR ist nun in das konfokale Super-Resolution-Mikroskop IXplore IX85 SpinSR mit Spinning-Disk integriert (Abbildung 1).

Aufbau eines Mikroskopsystems mit Super-Resolution-Technologie

Für Mikroskopbilder wurden verschiedene Arten der rechnergestützten Verarbeitung entwickelt. Evident entwickelte ursprünglich ein Mikroskopsystem mit Super-Resolution-Technologie, das die konfokale Spinning-Disk-Mikroskopie mit der OSR-Berechnungsmethode kombiniert. Die OSR-Technologie maximiert die Leistung konfokaler Mikroskope, um eine Super-Resolution zu erzielen. Die Grenzfrequenz von konfokalen Mikroskopen ist doppelt so hoch wie die von konventionellen Weitfeld-Fluoreszenzmikroskopen, aufgrund des geringen Anteils hochfrequenter Komponenten unterscheidet sich die räumliche Auflösung konfokaler Mikroskope jedoch nicht wesentlich von der von Weitfeld-Fluoreszenzmikroskopen. Die OSR-Technologie verbessert die Effizienz der Signalerfassung in der Nähe der Grenzfrequenz durch Optimierung der Lochblendenkameraeinstellungen. Das endgültige Super-Resolution Bild wird dann durch zusätzliche Anwendung einer rechnergestützten linearen Filterung erzeugt.²

Eines der Merkmale der OSR-Verarbeitung ist die hohe Zuverlässigkeit der Ergebnisse. Dies wird durch einen Vergleich mit anderen gängigen Verarbeitungsmethoden wie der Wiener-Dekonvolution erklärt. Das durch ein Mikroskop betrachtete Bild kann durch die Konvolution der Objektverteilung und der Punktspreizfunktion (PSF) dargestellt werden. Im Frequenzbereich entspricht dies der Abschwächung der Frequenzmerkmale der Objektstruktur durch die Fourier-Transformation der PSF (optische Übertragungsfunktion). Bei der Wiener-Dekonvolution wird der Kehrwert der optischen Übertragungsfunktion mit den Frequenzeigenschaften des beobachteten Bildes multipliziert und so die ursprüngliche Objektverteilung wiederherstellt.

In der Praxis kann eine einfache inverse Filterung im Hochfrequenzbereich instabil sein, sodass die Filterstärke zur Rückführung der Signalkomponenten so nah wie möglich an das ursprüngliche Objektsignal begrenzt ist. Das Ziel der OSR-Verarbeitung ist dagegen, ein naturgetreues, an der Grenzfrequenz ausgerichtetes Bild zu erzeugen. Abbildung 2 zeigt den Unterschied im Frequenzprofil nach der Verarbeitung mit Wiener-Dekonvolution und mit OSR-Verarbeitung. Die Wiener-Dekonvolution zielt auf ein flaches Reaktionsprofil ab. Aufgrund der Grenzfrequenz des optischen Systems des Mikroskops ist jedoch kein völlig flaches Profil erreichbar, und es ergibt sich eine starke Dämpfung in der Nähe der Grenzfrequenz. Ein solches stufenförmiges Reaktionsprofil kann im wiederhergestellten Bild ein starkes Rauschen und somit Artefakte verursachen.

Im Gegensatz dazu erfolgt bei der OSR-Verarbeitung eine Bildwiederherstellung zum Erhalt eines naturgetreuen Mikroskopbildes, indem eine Auflösung angestrebt wird, die der doppelten Grenzfrequenz eines konfokalen Mikroskops entspricht (doppelt so hoch wie bei Weitfeld-Fluoreszenzmikroskopen).² Durch Einstellung eines Reaktionsprofils, das sich allmählich zur Grenzfrequenz hin abschwächt, unterdrückt die OSR-Technologie Artefakte, die durch Rauschen verursacht werden, während das Signal innerhalb der Grenzfrequenz maximiert wird. Das Ergebnis ist eine Super-Resolution mit doppelter Auflösung.

Um qualitativ hochwertige Ergebnisse durch rechnergestützte Verarbeitung zu erhalten, ist es wichtig, genaue PSF-Informationen zu verwenden. Neben der Verwendung präziser PSF-Berechnungsalgorithmen (z. B. solche, die mit Objektiven mit hoher NA kompatibel sind) ist auch die genaue Eingabe verschiedener Geräteparameter erforderlich. Parameter wie die NA des Objektivs, Anregungswellenlänge, Fluoreszenzwellenlänge, Lochblendendurchmesser und Pixelgröße sind wichtig, aber nicht ausreichend. Zudem sind detaillierte Informationen über das Gerät erforderlich, z. B. über die Projektionsvergrößerung, den Strahldurchmesser und den Polarisationszustand. Für eine allgemeine Dekonvolutionssoftware kann es schwierig sein, diese Detaildaten einzubeziehen. Die OSR-Technologie kann PSF-Berechnungen mit genauen Parametereinstellungen durchführen, was zu seiner hohen Zuverlässigkeit beiträgt.

Weiterentwicklung unserer Super-Resolution-Technologie

Automatische Anpassung der Filterstärke entsprechend dem Signal-Rausch-Verhältnis des Bildes

Die OSR-Technologie, die durch Extraktion der Hochfrequenzleistung konfokaler Mikroskope eine hohe Auflösung erzielt, hatte einen Nachteil bei der Rauschempfindlichkeit, der durch den weiterentwickelten TruSight SR Algorithmus behoben wurde.

Abbildung 3 zeigt ein Mikroskop-Simulationsbild. In Bildern mit niedrigem SNR können hochfrequente Komponenten ein erhebliches Rauschen enthalten. Eine intensive Verarbeitung in diesem Zustand kann feine Rauschkomponenten im Bild hervorheben, was zu einer geringeren Bildqualität als beim Ausgangsbild führt. Da diese Rauschkomponente ursprünglich im Bild enthalten ist, ist es schwierig, sie zu vermeiden, indem einfach genaue PSF-Informationen verwendet oder die Rauschunterdrückung optimiert wird.

TruSight SR behebt dieses Problem, indem es die Rauschkomponenten im Bild berücksichtigt. Die Technologie erweitert den Bereich der Filterstärkeeinstellungen und führt eine Rauschkorrektur basierend auf der Frequenzcharakteristik des Mikroskops durch, ähnlich wie bei der OSR-Verarbeitung. Abbildung 4 zeigt die Filterstärke und deren Wirkung. Durch die Implementierung einer Funktion zur Feineinstellung der Filterstärke ist es möglich, den extremen Hervorhebungseffekt von Frequenzkomponenten, die Rauschen im Bild verursachen, zu unterdrücken und gleichzeitig die Auflösung im Vergleich zur herkömmlichen konfokalen Mikroskopie zu verbessern.

Zudem enthält TruSight SR einen Algorithmus, der das Signal-Rausch-Verhältnis aus dem Bild ermittelt und die Filterstärke optimiert. Mikroskope werden für eine Vielzahl von Anwendungen eingesetzt, sodass es unmöglich ist, das Signal-Rausch-Verhältnis allein auf der Grundlage einfacher statistischer Werte (z. B. Varianz oder Helligkeitsunterschied) des Bildes zu bestimmen. Der Grund dafür ist, dass es schwierig ist zu unterscheiden, ob die Helligkeitsschwankungen im Bild auf Rauschen oder auf die Struktur der Probe zurückzuführen sind. Die Technologie hinter TruSight SR ermöglicht die stabile Auswahl der optimalen Filterstärke unter jeglichen Bildgebungsbedingungen. Dies geschieht durch die Schätzung von Signalen, die von der Probenform abhängen, und von Signalen, die vom Rauschen abhängen, das der Flächensensor zufällig aus dem aufgenommenen Bild erzeugt.

Abbildung 5 zeigt die Wirkung des Algorithmus zur Optimierung der Filterstärke. Durch die automatische Einstellung des optimalen Filters entsprechend dem Eingangsbild ist es möglich, die Bildqualität zu verbessern und gleichzeitig die Rauschentwicklung zu unterdrücken. Insbesondere bei unzureichendem Signal-Rausch-Verhältnis im Ausgangsbild lassen sich im Vergleich zur herkömmlichen OSR-Verarbeitung bessere Ergebnisse erzielen.

Erhaltung der Bildhelligkeitswerte

Ein weiterer Vorteil des TruSight SR Algorithmus ist die Beibehaltung der Intensitätsstufen des Ausgangsbildes, was die Analyse und den Vergleich von Helligkeitswerten in Super-Resolution-Bildern ermöglicht.

TruSight SR berechnet die PSF-Verteilung durch das optische System auf der Grundlage von Hardwareinformationen und führt eine Bildwiederherstellung durch. Gleichzeitig bleiben die mit einer bestimmten Wahrscheinlichkeitsdichte verteilten Helligkeitswerte erhalten. Abbildung 6 zeigt die Histogramme des Ausgangsbildes und des TruSight SR Bildes.

Es ist zu sehen, dass die Helligkeitsinformationen des Ausgangsbildes auch nach der Filterverarbeitung erhalten bleiben, sodass das verarbeitete Bild für die quantitative Analyse verwendet werden kann.

3D-Bildverarbeitung

TruSight SR enthält neben der herkömmlichen zweidimensionalen (2D) Bearbeitung auch Bearbeitungsfunktionen für 3D-Daten. Abbildung 7 zeigt ein Beispiel für die Definition mehrerer Probenregionen. Während sich die Auflösungsverbesserung bei der 2D-Verarbeitung auf die XY-Ebene beschränkt, verbessert sie sich bei 3D-Verarbeitung auch in der Z-Richtung.

Die hohe Zuverlässigkeit der OSR-Technologie bleibt auch bei der Ausweitung der Verarbeitung auf drei Dimensionen bestehen. Indem nach der Verarbeitung in Z-Richtung ein naturgetreues Bild als Ziel festgelegt wird (anstatt die Objektverteilung wiederherzustellen), wird das Ringing in allen XYZ-Richtungen unterdrückt.

Um die Reproduzierbarkeit der Verarbeitungsergebnisse zu gewährleisten, müssen auch Änderungen des Sampling-Pitch berücksichtigt werden. Der Sampling-Pitch in der XY-Ebene des Bildes wird hauptsächlich durch die Vergrößerung und die Pixelgröße der Kamera bestimmt. In Z-Richtung wird der Sampling-Pitch jedoch vom Benutzer beliebig festgelegt und ist nicht konstant. Die herkömmliche OSR-Verarbeitung unterstützt nur die 2D-Verarbeitung und ist auf bestimmte Kombinationen von Kameras und Zoomsystemen beschränkt. TruSight SR unterstützt die 3D-Verarbeitung und ermöglicht den Einsatz verschiedener Kameras und Zoomsysteme. Daher ist das Verfahren so konzipiert, dass auch bei einer Variation des Sampling-Pitch des verarbeiteten Bildes in Abhängigkeit von den jeweiligen Bedingungen immer der gleiche Grad an Bildwiederherstellung mit der gleichen Filterstärke erreicht wird. Abbildung 8 zeigt ein Beispiel für eine unter bestimmten Bedingungen berechnete PSF.

In Abbildung 8f ändert sich die Halbwertsbreite (FWHM) im XZ-Querschnitt mit dem Z- Sampling-Pitch, selbst bei gleicher Filterstärke. Im Gegensatz dazu zeigt Grafik (e) in Abbildung 8 die Anpassungsverarbeitung unter Berücksichtigung der Intensitätsverteilung innerhalb der XYZ-Daten. Dadurch kann unabhängig vom Z- Sampling-Pitch eine stabile FWHM erreicht werden. Dies zeigt, dass TruSight SR reproduzierbare Ergebnisse liefert, die für die quantitative Analyse geeignet sind.

Praktische Anwendungen des TruSight SR Algorithmus

Verbesserung des SNR bei der Live-Bildgebung mit Super-Resolution

Bei der Bildgebung lebender Zellen ist es notwendig, die Auswirkungen auf lebende Zellen durch die Verwendung einer möglichst schwachen Lichtanregung zu minimieren. Daher ist es schwierig, Fluoreszenzbilder mit hohem SNR zu erhalten. TruSight SR liefert Live-Bilder mit superhoher Auflösung und verbessertem SNR, indem es für Bilder mit schwachen Fluoreszenzsignalen eine zuverlässige, auf linearer Dekonvolution basierende Verarbeitung mit geeigneten Filterstärken durchführt.

---
Bei der Live-Bildgebung von Lebendzellen mit schwachem Anregungslicht kann eine starke Schärfungsverarbeitung bestimmte Signale mit wabenartigem Muster, eine sogenannte „Honeycomb Noise“, sichtbar machen. TruSight SR ermöglicht eine Verarbeitung mit derart niedrigem Signal-Rausch-Verhältnis speziell für die Bildgebung lebender Zellen.

Live-Bildgebung in Super-Resolution mit einem 25X Silikongel-Pad-Objektiv

LUPLAPO25XS (NA 0,85, Arbeitsabstand 2 mm) ist das weltweit erste Objektiv mit Silikongel-Pad mit einem Brechungsindex, der dem von lebenden Zellen und Geweben entspricht, und daher ideal für die Tiefenbildgebung. Silikongel verdunstet nicht wie Wasser und fließt nicht weg wie Silikonöl, sodass eine stabile Zeitrafferbeobachtung über einen langen Zeitraum möglich ist. TruSight SR ermöglicht Live-Bildgebung mit Superauflösung durch die Kombination des weiten Sichtfelds des 25X Objektivs mit einer Vergrößerungsrelaislinse. Es ist möglich, Zielzellen in einem weiten Sichtfeld zu identifizieren und feine Strukturen innerhalb der Zellen mit einer Auflösung zu erfassen, die der der konfokalen Bildgebung mit einem 60X, 100X (NA 1,4) oder höheren Objektiv entspricht, ohne das Objektiv wechseln zu müssen.

Verbesserung der 3D-Super-Resolution-Bildqualität

TruSight SR erweitert die Dekonvolutionsverarbeitungsfunktionalität – die ursprünglich in der 2D-Bildgebung basierend auf Mikroskopfrequenzeigenschaften und genauen Informationen zur Punktspreizfunktion (PSF) implementiert wurde – auf 3D-Anwendungen. Dies ermöglicht eine verbesserte Auflösung entlang der Z-Achse, selbst bei dicken Proben, während die quantitative Genauigkeit durch 3D-Verarbeitung auf Grundlage optischer Systemdaten erhalten bleibt.

Unterschiede zur TruSight Dekonvolutionstechnologie

Evident bietet sowohl die TruSight SR Super-Resolution-Technologie, die auf linearer OSR-Verarbeitung basiert, als auch die TruSight Technologie mit Dekonvolutionsverarbeitung, die einen beschränkten iterativen Algorithmus verwendet.³

Während die Dekonvolution des eingeschränkten iterativen Algorithmus einen erheblichen Schärfungseffekt hat, werden die Verarbeitungsgeschwindigkeit und die Bildqualität erheblich durch die Implementierungsmethode des Algorithmus beeinflusst. Beispielsweise lassen sich punktförmige Objekte leicht und mit hoher Genauigkeit schätzen, während die genaue Schätzung dichter Strukturen schwierig ist. Durch eine entsprechende Verarbeitung (PSF-Einstellung, Algorithmusauswahl und Parameterauswahl) ist es möglich, die Genauigkeit des geschätzten Bildes zu verbessern. Allerdings ist das Verhältnis zwischen den Frequenzeigenschaften vor und nach der Verarbeitung nicht einheitlich. Daher ist bei der Vorhersage der endgültigen wiederhergestellten Objekte Vorsicht geboten.⁴

Um genauere, detailliertere und artefaktfreie Bilder zu erhalten, ist eine geschickte Kombination dieser beiden Methoden erforderlich. Abbildung 12d zeigt beispielsweise das Ergebnis der Dekonvolutionsverarbeitung mit nicht optimierten Parametern. Obwohl im Vergleich zum Ausgangsbild ein schärferes Bild entsteht, ist ein Teil der Siemensstern-Testbildebene verzerrt. TruSight SR unterdrückt Artefakte und hebt hochfrequente Komponenten gut hervor. Wenn die Parameter optimiert werden, lässt sich mit der TruSight Dekonvolution eine noch höhere Auflösung erreichen, ohne extreme Artefakte zu verursachen (Abbildung 13).
---

Abbildung 12: Siemensstern-Simulationstestbilder.

Abbildung 13: NIH 3T3-Zellen in Kultur. Links: Originalbild. Mitte: TruSight SR 3D-Verarbeitung (Filterstärke: 3,0). Rechts: TruSight Dekonvolution. Blau: Zellkerne; grün: Tubulin; rot: HSP60; grau: Fibrillarin. Probe wurde von EnCor Biotechnology Inc. zur Verfügung gestellt. Aufgenommen mit dem IXplore IX85 SpinSR (SoRa Disk, Projektionsobjektiv: 4X) mit dem Objektiv UPLXAPO40XO (1,4 NA). Maßstabsbalken: 10 µm.

Durch den Einsatz der hochpräzisen TruSight SR-Technologie, die auf genauen PSF- und Hardware-Informationen basiert, und der hochauflösenden geschätzten Bildverarbeitung der TruSight Dekonvolution mit optimierten Parametern können Anwender des IXplore IX85 SpinSR Systems die in den Bildern enthaltenen notwendigen Informationen reproduzierbar extrahieren.

Fazit

Der TruSight SR Algorithmus ist eine Bildverarbeitungstechnologie, die auf der Grundlage der OSR-Technologie entwickelt wurde. Im Gegensatz zur herkömmlichen Dekonvolution führt TruSight SR keine Wiederherstellung der Objektverteilung durch, sondern liefert vielmehr eine Wiederherstellung naturgetreuer, hochauflösender Mikroskopbilder in Übereinstimmung mit der Grenzfrequenz eines konfokalen Mikroskops.

Durch die Einbeziehung der 3D-Verarbeitung und die flexible Auswahl der Filterintensität entsprechend dem SNR des Bildes ist es möglich, in praktisch jedem Beobachtungsszenarium qualitativ hochwertige Bilder mit minimalen Artefakten zu erhalten. So wird eine angemessene Verarbeitung für Anwendungen sichergestellt, bei denen die Zuverlässigkeit des Bildes nach der Wiederherstellung von entscheidender Bedeutung ist.

Literaturangaben

1. Yonemaru, Y. „How Olympus Super Resolution and Spinning Disk Technology Achieve Fast, Deep, and Reliable Live Cell Super Resolution Imaging“. EvidentScientific.com. Stand: 13. Mai 2025.

2. Hayashi, S. „Resolution Doubling Using Confocal Microscopy via Analogy with Structured Illumination Microscopy“.Japanese Journal of Applied Physics, 55, no. 8 (2016): 082501.

3. Alvarenga, L. „Image Processing with Deconvolution“. EvidentScientific.com. Stand: 13. Mai 2025.

4. Lopez, J., et al.: „Microscopy/Image Processing: A Deconvolution Revolution for Confocal Image Enhancement“.Laser Focus World, 2. Januar 2019.

Autoren

Shintaro Fujii, Micro Imaging Solutions R&D, Advanced Optics, Evident

Masahito Dohi, Micro Imaging Solutions R&D, Advanced Optics, Evident