TruAI™テクノロジーの主要な10種類の機能向上による高精度な画像解析を実現
TruAI™テクノロジーは、ライフサイエンスおよび材料科学ソフトウェア用の強力なAI主導型画像解析ツールです。ディープニューラルネットワークを使用することで、特定のイメージング用途に合わせたAIモデルの開発を可能にします。Evidentは2019年にscanRハイコンテントスクリーニングステーションを導入し、その後さらに多くの製品に拡大しました。
TruAIテクノロジーはPC上でローカルに動作し、ユーザーのコーディングやプログラミング技術を必要としません。開発されたAIモデルは、scanR Analysis、cellSens™ Count and Measure、およびVS200-Detectを含むEvidentの解析パッケージ間で簡単に交換可能なファイルです。
TruAIテクノロジーは、3つの主要な適用分野においてメリットをもたらします。
- 画像解析におけるオブジェクトセグメンテーションと分類
- 画像取得ワークフローにおけるサンプル検出
- ノイズ除去と強調を含む画像処理
このブログ記事では、TruAIテクノロジー進化をレビューし、この6年間にわたる継続的な機能改善・向上を紹介します。
- フレキシブルなツールボックス（2019）
最初にリリースされたTruAIテクノロジーである2019年のscanRと2020年のcellSensは、AIによるセマンティックセグメンテーションモデルをベースに提供してきました。
AIモデルの学習では、ユーザーが画像にグラウンドトゥルースの注釈を付けることに始まり、次に注釈付きの画像を学習インターフェースに読み込ませました。モデルが注釈付き画像を解析して、反復プロセスで注釈に対する予測を最適化します。
初期のTruAIの主な特長は以下の通り：
- 手動注釈： 画像に自由にグラウンドトゥルースの注釈を付けるラベリングツール。
- 自動注釈： 既存のセグメンテーションを注釈に変換する。
- 部分ラベリング： 学習をラベル付きの領域に制限し、画像全体をラベリングする必要性をなくす。
- フレキシブルチャネルとZレイヤーの組み合わせ： 単純なタスクには単一チャネルまたはZレイヤーの使用、複雑な用途には自由な組み合わせを可能にする。
- 学習進捗状況のモニタリング： 学習インターフェースが自動的にデータを学習データセットと検証データセットに分け、AIによる予測をリアルタイムで閲覧できる。
- セマンティックセグメンテーション（2019年）
学習したら、AIモデルはさまざまなEvident解析パッケージで新しい画像（推論）に適用することができます。セマンティックセグメンテーションでは、フォアグラウンドに属する確率が高い画素を示す、画素の確率マップをAIモデルが作成します。最終オブジェクト検出については、閾値がこの確率マップに設定され、その後ウォーターシェッドセグメンテーションなどの古典的な分割アルゴリズムが続きます。
- 分類（2021年）
オブジェクトの領域や蛍光強度などの測定されたパラメーターに基づく分類により、単一AIモデルで画像内のすべてのオブジェクトをセグメンテーションできます。
あるいは、測定パラメータを抽出することなく分類を実施するために、例えば、あるAIモデルが状態1の細胞のみを検出し、別のAIモデルが状態2の細胞のみを検出するなど、複数のAIモデルを同じ画像に適用することができます。
どちらの機能もTruAIテクノロジーの最初のリリースで可能でした。
しかしながら、分類モデルは特に複数のフォアグラウンドクラスからバックグラウンドを区別する単一AIモデルの能力のことを指しています。最終オブジェクト検出は、単一AIモデルによって示された2つ以上の確率に閾値を適用することによって達成されます。
柔軟性を維持するために、ユーザーがクラスの重複を可とするかどうかを学習中に決めることができます。
分類モデルを使用することの主な利点は、多くのクラスを検出した場合や分類のための明確な測定可能な特徴がない場合に解析を単純化することです。
図2：酵母内で蛍光のタグ付けされたタンパク質の細胞コンパートメント局在化。単一TruAIモデルで、タンパク質の局在によって細胞を分類することができます。詳細はアプリケーションノート、TruAIディープラーニングテクノロジーを使用して分類した酵母タンパク質の局在でご確認ください。
図3：TruAIテクノロジーは、体外受精のために未染色サンプルからの質の高い卵母細胞を選択するときなど、ヒトの目には分類が困難な状況において、分類AIモデルの作成を可能にします。この論文の詳細はこちら。
- インスタンスセグメンテーション（2021年）
セマンティックセグメンテーションAIモデルとは異なり、インスタンスセグメンテーションモデルは最終オブジェクトをワンステップで直接セグメンテーションすることができ、確率マップの閾値設定と追加の分割が不要になります。
この方法はワークフローを単純化し（図4と図1を比較）、細胞密度が高いときなど、検出されたオブジェクトを古典的なセグメンテーションアルゴリズムで分けることが困難な場合に特に有用です。
図4：単一インスタンスセグメンテーションモデルは、ワンステップでフォアグラウンドに属する画素を識別し、最終オブジェクト（核）の境界を決定することができます。
図5：インスタンスセグメンテーションモデルは、非円形オブジェクトが関わる密集度が高い状況において特に有用です。この例では、単一AIモデルが2つの入力チャネル（青色と灰色）を使用して、重複するオブジェクトの境界を定義すると同時に核や細胞として分類しています。
- スケーリング（2021年、2023年）
AIモデルは視野角が限られており、通常は数100画素のため、画素分解能に影響を受けやすくなっています。スケーリング技術は、これらの制約を緩和します。
学習中のスケーリング（2021年）
オブジェクトがAIモデルの視野角を超える場合、AIモデルがオブジェクトの境界を完全に認識できないことがあり、非効率的な検出につながります。これに対処するために、学習はモデルの視野角を効果的に拡大するスケーリング係数を組み込むことができます。この学習アプローチは、ゼブラフィッシュ、オルガノイド、または組織サンプル内の大きな領域など、大きなオブジェクト全体の検出に特に有用です。
図6：ウェルプレートで大きなオルガノイドを透過検出するための学習。AIモデルの視野角を緑色で示します。左：スケーリングを用いない学習は、何千回と反復しても良い結果が得られません。右：25%のスケーリングを用いた学習は、わずか数百回の反復で質も高い結果を達成します。
推論中のスケーリング (2023)
AIモデルの学習を10倍の対物レンズで行い、40倍の対物レンズを使用して撮影した画像に適用した場合、検出は非効率的になります。TruAIテクノロジーのスケーリング機能は、ユーザーが画像解像度をAIモデルの最適な性能が得られる解像度に適応させることを可能にします。さらに、インスタンスセグメンテーションモデルが過剰な分割を引き起こすときには、解像度を下げることでオブジェクト全体の検出が改善することがよくあります。
図7：a）生細胞の蛍光画像。b）インスタンスセグメンテーションAIモデルが一部の細胞で過剰な分割を引き起こす。c）同じインスタンスセグメンテーションモデルを50%スケーリングで適用した結果、過剰な分割なしに正確に細胞が検出される。
- ライブAI（2021年）
ライブAIはcellSensソフトウェアの機能で、画像を取得する必要なしにリアルタイムでAIモデルを適用します。AIの確率、つまり最終オブジェクトのセグメンテーションは、ライブ画像上に直接表示され、迅速な品質管理の確認、定量化用途での高速集計、標本選択が必要な手順での簡単なターゲット識別（細胞、精子または卵子の選択など）を可能にします。
https://adobeassets.evidentscientific.com/content/dam/mis/truai/Live-AI.mp4
図8：ライブAIの推論ワークフロー分類機能のあるインスタンスセグメンテーションモデルがウェルプレートに適用されます。ユーザーがウェルプレート内を移動すると、確率マップと3つの細胞クラスの集計がライブ画像の左下に表示されます。
- 事前学習済みモデル（2021～2024年）
所有するAIモデルを学習させる時間がないユーザー向けに、Evidentは箱から取り出して使用することができる事前学習済みモデルを導入しました。以下の解析ソフトウェアパッケージで、さまざまな種類の事前学習済みAIモデルが利用可能です。
- scanR Analysis： 核、細胞、斑点、構造、明視野での核用のモデル
- cellSens Count and MeasureおよびVS200-Detect： 核、細胞、IHC細胞分類（Ki-67アッセイ）、淡いサンプル全体の認識用のモデル
- cellSens FV（FV4000）： ノイズ除去用のモデル
さらに、事前学習済みモデルは注釈の開始点として使用することができます。事前学習済みモデルからの予測は注釈に変換でき、ユーザーはこれを修正することが可能です。このワークフローは、特にインタラクティブな学習との組み合わせに適しています（セクション9を参照）。
図9：事前学習済みのIHC分類モデルが褐色細胞と青色細胞の質量中心を検出します。cellSens カウントアンドメジャーまたはVS200で使用する場合、アウトプットは総細胞数と各細胞型のパーセンテージです。
図10：FLUOVIEW™ FV4000共焦点顕微鏡で撮影し（各画像の左側）、TruAIノイズ低減で強調した（各画像の右側）レゾナントスキャナー画像。レゾナントスキャアーは、低ダメージかつ高速で細胞ダイナミクスを捉えることができます。ただし、レゾナントスキャナーはガルバノスキャナーと比べて明確にS/N比が劣ってしまいます。TruAIノイズ低減は、SilVIR™検出器のノイズパターンに基づく事前学習済みのAIモデルを使用することによって、時間分解能を低下させることなくこれらの画像を強調します。 これらの事前学習済みのTruAIノイズ低減アルゴリズムは、リアルタイムでも後処理でも適用することができます。
- 自動サンプル検出（2022年）
AIモデルの自動サンプル検出はイメージングワークフローに多いに適用でき、組織全体のスキャン、特定領域の認識、またはレアケースな現象をより短時間で識別できるようになりました。イメージングワークフローは通常、低倍率でのオーバービューの観察に始まり、そしてマルチチャンネル、ワイドフィールドから共焦点スピニングディスク型顕微鏡切替による高倍3Dイメージングへとフローが進みます。
図11： ワイドフィールド用のcellSensソフトウェアでのマクロからミクロまでのイメージングワークフローを示すビデオ。
- インタラクティブな学習（2023年）
学習AIモデル用の新しいインタラクティブなワークフローが2023年に導入されました。このワークフローは、ユーザーが画像にインタラクティブに注釈を付けること、モデルを学習させること、AIの予測をレビューすること、修正すること、およびこれらの修正内容を今後の学習で新規ラベルとして使用することを可能にします。ユーザーはその後引き続き新しい画像に注釈を付けて、モデルをインタラクティブに改良していくことができます。このアプローチは、直接的な適用のためのAIモデルの迅速な開発を可能にします。
図12：インタラクティブな学習ワークフローの例。
- 画像の強調（2023年）
ユーザーはセグメンテーションタスクと画像処理オペレーションの両方をAIモデルに学習させることが可能です。例えば、ノイズ除去を実行することやデコンボリューションなどの技法を処理することをモデルに教えることができます。
学習は全チャンネルを通して行われるため、学習のためのグラウンドトゥルースデータを生成するのは簡単です。例えば、ノイズ除去モデル用にグラウンドトゥルースを作成するのは、1つは高S/N比のチャネル（グラウンドトゥルースとしての役目を果たす）、もう1つは短露出時間かつ弱い励起のチャネルの、2つのチャンネルをあわせるというシンプルさです。
このアプローチの主な特長は、研究者が自分のサンプルを使用してAIモデルを学習させることができ、ハルシネーション（偽の説明のつかない構造）などのアーチファクトを最小限に抑えながら特定のターゲット構造のために最適な性能を確保することに役立ちます。
図13：TruAIモデルはノイズ低減などの画像処理タスク用に学習させることができます（右）。
TruAIテクノロジーの継続的進化
過去6年間にわたりTruAIテクノロジーは継続的に進化し、セグメンテーション、分類、スケーリング、ライブ解析、および画像の強調の向上をもたらしてきました。その柔軟性、使いやすさ、そしてEvidentのソフトウェアプラットフォーム全体を通しての統合により、ライフサイエンスにおけるAI主導型画像解析のための強力なツールとなっています。
TruAIモデルが実際にどのように機能するかについての詳細は、当社の顕微鏡専門家チームに個別デモをご依頼ください。
注目製品
ライフサイエンスリサーチ部門、アプリケーションスペシャリスト
Manoel Veigaは、スペインのサンティアゴ・デ・コンポステーラ大学で物理化学の博士号を取得しました。マドリード・コンプルテンセ大学およびミュンスター大学での博士課程修了後の2つの研究を経て、蛍光寿命イメージング顕微鏡法（FLIM）および時間分解分光法の分野で世界中の専門家をサポートに従事しました。その経験を2017年にEVIDENT Technology Center Europeに持ち込み、ハイコンテント解析とディープラーニングに重点を置いてグローバルアプリケーションスペシャリストとして活躍しています。