ブログ

Oct 09, 2023

深い

Edizione di biologia della comunicazione

Communications Biology volume 6、記事番号: 241 (2023) この記事を引用

1050 アクセス

2 オルトメトリック

メトリクスの詳細

バイオイメージングにおける大きな問題の 1 つは、非常に過小評価されがちですが、識別タスクや回帰タスクのために抽出された特徴が、より広範な同様の実験に対して有効であるかどうか、または画像取得プロセス中に予測不可能な摂動が存在する場合に有効であるかどうかです。 このような問題は、ブラックボックス記述子 (深層特徴) と研究対象の生物学的実体の表現型特性との間に先験的に既知の関係が欠如しているため、深層学習特徴のコンテキストで扱われる場合にはさらに重要になります。 この点に関して、事前に訓練された畳み込みニューラル ネットワーク (CNN) からのものなどの記述子の広範な使用は、それらが明らかな物理的意味を持たず、不特定のバイアスに強く影響されるという事実によって妨げられています。細胞の表現型には依存せず、むしろ輝度や質感の変化、焦点の移動、自家蛍光や光退色などの取得アーチファクトに依存します。 提案された Deep-Manager ソフトウェア プラットフォームは、不特定の外乱に対する感度が低く、同時に高い識別力を持つ特徴を効率的に選択する可能性を提供します。 Deep-Manager は、手作りの機能と深い機能の両方のコンテキストで使用できます。 このメソッドの前例のないパフォーマンスは、化学療法関連の乳がん細胞死調査における手作りの緑色蛍光タンパク質強度特徴の選択から深層転移学習のコンテキストに関連する問題への対処まで、5 つの異なるケーススタディを使用して証明されています。 https://github.com/BEEuniroma2/Deep-Manager で無料で入手できる Deep-Manager は、バイオイメージングの多くの分野での使用に適しており、新しい画像取得の摂動やモダリティによって常にアップグレードされると考えられています。

再現性は生物医学研究、特に人間の健康を改善するための将来の臨床療法のための強固な基盤を構築することを目的とする場合、大きな懸念事項です。 生物学的データは、主に制御できない実験パラメーターが原因で、非常に変動しやすいことがよくあります。 これは、定量分析のための生体画像取得の場合に特に顕著です。 同じ顕微鏡、同じ設定、同じ光源、同じ細胞サポートを使用して画像が取得されない場合、標準化手法が実装されない限り、これらの画像を簡単に比較することはできませんが、標準化手法により予想される信号のダイナミクスが変更される可能性があります。 これは、強力な AI ベースの画像分析ツールなどの計算科学手法を生物学に適用する場合の大きな制限です。

この点において、特定の疾患、またはより一般的には調査中の側面に最適に関連する画像特徴のサブセットを特定することは依然として未開拓の問題であり、特に画像ベースの分類タスクでは過小評価されることがよくあります。 手作りまたはブラックボックス特徴のサブセット上で実行される分類器のパフォーマンスは一般にスケーラブルではなく、分類器の構築に使用されたデータセット以外のデータセットで使用されると通常急激に低下し、再現性と一般化性に欠けます3。 主な理由は、特徴選択ステップで利用できる実験サンプルが通常、不足しているか、同じ生物学的条件内で発生する可能性のある許容可能な変動をカバーできるほど一般的ではないためです。 実際には、少数の実験セットで得られた結果をより一般的で独立した多数のケースに拡張すると、図 1 (左、赤い分岐) に示すように、パフォーマンスが大幅に低下すると予想されます。 手作りまたは深層転移学習 (DTL) 機能 4,5 (つまり、事前トレーニングされた畳み込みニューラル ネットワーク (CNN) からの記述子) のコンテキストであっても、異種混合に対して非常に大きな妥当性を保証する特徴を選択することが不可欠です。結果の適切な代表性と一般化可能性を備えた生物学的実験。 この側面は、特に DTL 機能のコンテキストで過小評価されてきました。DTL 機能では、機能の次元性 (特定の画像に対して数千の特徴) と冗長性 (多くの特徴が強く相関している) という、他の 2 つの主要な問題に対処する必要があります。 注目は、最も一般的な (つまり、有効な) 特徴を選択する方法ではなく、抽出する特徴の数を減らす方法に主に焦点が当てられてきました。 生体医学画像における最も代表的な記述子の選択は、手作りされたものと DTL の両方のいずれにおいても、決して簡単なプロセスではなく、特徴が細胞の表現型ではなく、明るさ、テクスチャアーティファクト、焦点の変化に依存するリスクが非常に高くなります。 、自己蛍光、その他の予測できない障害。 この問題を解決するために、ここでは Deep-Manager (DM) という名前のプラットフォーム (図 1 の青色のブランチ) を紹介します。これにより、カスタマイズされた関数による抽出後、または分類後の特定の分類タスクに最適な特徴を特定し、実際に選択することができます。特定のユーザー定義の事前トレーニングされた DL ネットワークによる転送。 「深い」という用語は、効率的な特徴選択の問題が未解決であり、バイアスのリスクが非常に大きい深い特徴を明示的に指します。 ただし、この研究で実証されているように、プラットフォームは、生物医学画像で一般的に定量化される手作りの強度やテクスチャの特徴でも実行される可能性があります。 したがって、DM は生物学者が日常業務において合理的に選択された特徴の一般的な妥当性を検証するのに非常に役立ちます。 DM プラットフォームは、細胞/組織オブジェクトの特性を具体的に表す抽出された特徴を識別し、トレーニング データセット内で意図せずに発生する非特異的な巨視的変動を破棄します。 これは、画像取得プロセスが非常に複雑で再現性が現実的な限界に達している場合に非常に重要です（たとえば、測定された緑色発光強度は特定のイベントと相関しているのか、それとも単に自家蛍光現象と相関しているのか？低強度レベルでは、答えは自明ではありません） ）。 たとえば、生細胞の生物学的実験6では、位相差透過光または蛍光タイムラプス（TM）を使用する場合の両方で、取得プロセスが長くなる可能性があり（例：数日）、取得条件を全期間にわたって制御するのが困難です。顕微鏡7、8。 ビデオシーケンスの実験内での異質性や、取得設定の制御されていない変更による実験間の変動9も、抽出された特徴の妥当性が低いため、誤った結論が生じるリスクが高くなります。 これらの影響は、認識モデルの誤りや誤解を招く生物学的または臨床的結論（例えば、真実ではない薬物反応）を誘発します。 この点、DM プラットフォームを使用すると、DTL ニューラル ネットワークまたはカスタマイズされた手作りの記述子によって抽出されたすべての特徴の中から、外乱に対する感度が低く、同時に高い識別力を持つ特徴を効率的に選択できます (図 1)。青い枝）。 トレーニング データセットにさまざまな劣化テストを適用した後 (図 1 右の拡大)、特徴は、識別力 (DP) と劣化に対する感度 (SENS) の観点から特徴付けられます。劣化に対する感度 (SENS) は、前の DP 値の相対差として測定されます。および分解注入後 (詳細については「メソッド」を参照)。 次に、複数閾値アプローチを使用して、高 DP および低 SENS の特徴 (図 1 の青いブランチのシアンのドット) を他の特徴グループ (低 DP または/および高感度、図 1 の緑と青のドット) から分離します。青い枝）。 選択した特徴は、ユーザーが提案した分類タスクで使用できます。このタスクでは、ラベル付き画像の独立したテスト セットであるテスト データセットをアップロードし、別のセットに対して DP を評価することで、選択した特徴の妥当性を検証することが求められます (図1）。

赤い分岐は、特徴選択のための生物医学画像解析における一般的な手法を示しています。 上から下へ: 強度およびテクスチャ記述子の抽出、AUC の観点から最も高い識別能力を持つ特徴の選択、分類モデルの構築、外部検証データセットに対するパフォーマンスのテスト。 青色のブランチは、Deep-Manager の作業フローを示します。 上から下へ: イメージング モダリティに従って光学イメージング アーティファクトを生成するトレーニング データセットを変更し (右の拡張)、変更されたデータセットから強度、テクスチャ、または CNN 特徴 (深層特徴) を抽出し、AUC (またはDP) を使用し、摂動の前後の DP 値を比較することで各特徴の感度を評価し、DP が高く感度が低い特徴 (シアンのマーカー) を選択し、選択した特徴に対して分類モデルを構築し、外部データセットでテストします。画像。 特徴選択ステップで課される堅牢性により、検証ステップでの失敗が回避され、より一般的に有効な分類モデルの構築が保証されます。

提案されたアプローチは一般的であり、提案された既存のネットワークのセットからネットワークを選択するだけで、またはプログラミングスキルを持つユーザーの場合は、Python ソフトウェアを変更して独自のネットワーク、新機能を統合することにより、ディープ ニューラル ネットワーク ベースの処理アーキテクチャに適用できます。 、または新しい摂動テストも可能です。 DM の有用性を実証するために、このソフトウェアを 5 つの異なるケーススタディに適用します。 ケーススタディ #1: 緑色蛍光アポトーシス レポーターの存在下での MDA-MB 231 乳がん細胞の化学療法による死の蛍光顕微鏡ビデオ 10。 ケーススタディ #2: 化学療法薬エトポシドの存在下で 2D 環境内を移動する PC3 ヒト前立腺がん細胞の TL 顕微鏡ビデオ。 ケーススタディ #3: 腫瘍微小環境を模倣したマイクロ流体腫瘍オンチップデバイス内の 3D コラーゲンゲル内を移動する免疫細胞の位相差 TL 顕微鏡ビデオ 12。 ケーススタディ #4: 3D 腫瘍オンチップで細胞傷害性 T 細胞によってアポトーシスを強制されたがん細胞の蛍光顕微鏡ビデオ;10 ケーススタディ #5: 最近発表された BT-474 乳がん細胞の位相差 TL 顕微鏡静止画像公開データセット LIVECell13。 以下では、単にケース スタディ番号を使用して各ケース スタディを参照します。 さらに、可読性を高めるために、DM ツールの実際のバージョンで考慮されているイメージング モダリティを、IM-ACQ-1 (2D TL タイムラプス顕微鏡法)、IM-ACQ-2 (3D 位相コントラスト TL 時間顕微鏡) と呼びます。 -ラプス顕微鏡）、IM-ACQ-3（3D蛍光タイムラプス顕微鏡）。 各モダリティは、以下に説明するように、使用される装置および実験条件に関連する特定のテストを特定します。

検討した 5 つのケーススタディすべてで、非常に優れたパフォーマンスが得られました。 特に、DM によって選択された特徴の平均感度および平均判別力 (DP) 値を、プールされた分散推定値を使用した 2 サンプル t 検定、カルバック・ライブラー発散などの最良の比較アプローチによって得られたものと比較する場合、14,15 、チェルノフ限界、マン-ホイットニー、経験的受信者動作特性 (ROC) 曲線の間の領域、および段階的線形回帰フィットにより、単純な機能ランキングではなく、選択された機能の縮小されたセットが自動的に提供されるという追加の強み。 さらに、ケーススタディ 5 では、独立したバイナリ分類問題で選択された特徴の識別能力もテストし、分類の平均 AUC 0.82 が得られ、選択なしモダリティに対する平均 AUC 改善率 33% が得られました。 実装された摂動テストは、各イメージング モダリティに典型的なものです (図 1 の右の拡大を参照) が、対象アンプの輝度ドリフトなどの追加の摂動に応じてさらに拡張できます)。 実際の画像は、自然に不完全な取得プロトコルとサンプルの不均一性により、固有のネイティブアーティファクトを示しますが、既知の画像摂動源の影響を定量化できる制御されたシナリオが必要であるという事実を強調することが重要です。

提案された Deep-Manager ソフトウェア プラットフォームの有効性を実証するために、5 つの異なる使用例を選択しました。 最初の使用例は、生物学者の間で日常的に行われている生細胞イメージングから情報を抽出する際の DM の活用に関するものです。 この臨床例は、MDA-MB 231 乳がん細胞における自然死と化学療法誘発死を区別する際の GFP 発光強度に関連する手作りの強度特徴に言及しています 12。 2 番目のユースケースは、化学療法薬エトポシドの存在下で 2D 環境での PC3 ヒト前立腺がん細胞の TL 顕微鏡ビデオから DTL によって堅牢な深い特徴を抽出することに関するものです11。 3 番目のユースケースは、腫瘍微小環境を模倣したマイクロ流体腫瘍オンチップデバイス内の 3D コラーゲンゲル内を移動する免疫細胞の位相差 TL 顕微鏡ビデオでの深い特徴の抽出に関するものです12。 4 番目のユースケースでは、3D 腫瘍オンチップにおける細胞傷害性 T 細胞による死滅によりアポトーシスに移行するがん細胞の 3D 蛍光顕微鏡ビデオから深い特徴を抽出する問題を検討します12。 最後に、5 番目の使用法では、DM プラットフォームを使用して抽出された深い特徴を使用して分類タスクに取り組みます。 より具体的には、最近公開された公開データセット LIVECELL13 から BT-474 乳がん細胞の位相差 TL 顕微鏡静的画像を取得し、5 日間の実験でディッシュ内で 4 時間培養した後のがん増殖因子を認識するという課題に取り組みました。 各使用例の詳細については、次のセクションで説明します。

このケーススタディでは、DM ツールを使用した選択の有無にかかわらず、Student t 検定の p 値に関して GFP が導出した手作りの特徴の個人識別パフォーマンスを比較しました。 自然死と化学療法による死を特徴づけて区別するというタスクのために、1 時間の時点で取得された持続時間 70 時間の、各状態ごとに 4 つの独立したビデオ (合計 8​​ つ) を選択しました。 次に、https://cloudstore.bee.uniroma2.it/index でダウンロード可能な STAMP コード 10 を使用して、それぞれに死滅細胞 (つまり、70 時間以内に死滅する細胞) を含む 431 個の作物を自動的に識別しました。 php/s/LEpHYTsPnDj4Ajt（パスワード：STAMP2021）。

特に、96 作物は自然死によるもの、335 作物は細胞傷害性 T 細胞死によるものです。 画像処理ステップの詳細については、10 を参照してください。 各作物は、以下の手作りの特徴によって特徴付けられています: 作物の平均グリーン排出量 gmean、作物の総グリーン排出量 gtot、作物のグリーン排出量の上位 75 パーセンタイル g75、下位 25 パーセンタイルのグリーン排出量作物g25で。 通常、パーセンタイルの 25 番目と 75 番目の値は、時折予想外の外乱を受ける最大値と最小値よりも優先されます。 利用可能な作物について計算された特徴の識別能力は、個々の DP (max(1-AUC,AUC)) および対応のある 2 サンプルの Student t 検定の p 値の観点から評価されます (式を参照)補足情報の(6)、(7))。 結果を図 2、パネル A に示します。予備的な証拠は、4 つの記述子すべてを使用することによって 2 つの死亡現象の識別可能性を実証しました。 DP 値は 0.70 以上、p 値は 0.005 未満でした。 結果をより確実にするために、トレーニング セット内の作物に DM プラットフォームを適用しました。 適切なシナリオ (3D 蛍光顕微鏡) を選択することにより、自己蛍光、光退色、および飽和に関連する摂動テストを適用し、変更された画像に対して 4 つの記述子 {gmean、gtot、g75、および g25} を計算しました。 次に、記述子の DP 値が画像変更前に取得された値と比較され、各特徴の感度 SENS が計算されます。 図 2 パネル b は、変更された画像セットに対して計算された 4 つの記述子の新しい箱ひげ図を、対応する DP、SENS、および p 値とともに示しています。 すぐに明らかなように、記述子 {gmean, gtot} はまだ許容できるほど堅牢なままですが、DP は減少しますが (ただし、限界しきい値 0.6 を超えています)、変化率 (SENS) は限界値 0.1 未満です。 反対に、死亡事象の識別によく使用される記述子 {g75 および g25} は、DP 値の大幅な減少を示します。g25 の DP 値は 0.75 から 0.61 に変化し、パーセント感度 SENS は 0.18 に等しく、0.18 に相当します。限界値は 0.1 で、g75 DP 値は 0.70 から 0.62 まで変化し、パーセント感度 SENS は 0.11 に等しく、限界値 0.1 をまだ超えています。 最も驚くべき事実の 1 つは、記述子 g75 の p 値の観点から統計的有意性が持続することです。 言い換えれば、DM プラットフォームを使用すると、より多くの実験や生物学的現象の複雑化に伴い、どの記述子が有効になる可能性があるかを認識することが可能になり、トレーニング セットに対する絶対的な信頼を緩和し、むしろより広範なセットのサブセットとして使用できるようになります。そして代表的なセット。

a 蛍光を使用して取得した画像に対して計算された 4 つの手作り GFP 強度特徴 {gmean、gtot、g25、および g75} の p 値を使用した標準的な特徴抽出および識別能力の評価。 n = 431 の生物学的に独立したサンプルが検討されました。 b DM プラットフォームを 4 つの強度特徴 {gmean、gtot、g25、および g75} に適用すると、一部の記述子、たとえば g75 および g25 は感度が高すぎるため、分析に有効ではないことが明らかになります (SENS = 0.18 > thSENS) (0.1) および SENS = 0.11 > thSENS (0.1)) を摂動 (自家蛍光、光退色、飽和) に適用します。 それにもかかわらず、記述子 g75 は、t 検定分析の点では依然として有意なままですが (p 値 < ***)、摂動注入後の DP パフォーマンスの許容できない悪化により、閾値よりも大きな感度値 SENS を示します。 n = 1293 の生物学的に独立したサンプルが検討されました。

このタスクでは、各イメージング モダリティおよび適用される各テストに対して、感度と DP 値に従って抽出された深い特徴を分割することにより、ケース スタディ 2 ～ 4 で DM ツールの動作原理を実証しました。 図 3a ～ c​​ では、抽出された各特徴のスコア プロット (SENS、DP) を示しています。赤いマーカーは感度テストなし (SENS = 0 と仮定) の特徴の DP を示し、シアンのマーカーは選択された特徴のスコア プロットを示します。青と緑の特徴は拒否された特徴です (それぞれ高 SENS と低 DP)。 オレンジ色の線は、DP (横線) と SENS (縦線) のしきい値を示します。 プロット (a) から (c) は、各テストの 3 つのケース スタディをそれぞれ示します (左から右)。 選択されたフィーチャの数も表示されます。

a ～ c​​ ケース スタディ #2、d ～ f ケース スタディ #3、g ～ I ケース スタディ #4、および各モダリティの 3 つのテスト、a、d、g テスト 1、b、e、h テスト 2、c、f、i テスト 3。 シアンのマーカーは、選択した各記述子の (SENS、DP) 値 (高 DP および低 SENS) を示します。 青色のマーカーは、SENS が高すぎるために拒否された各記述子の (SENS、DP) 値を示します。 緑色のマーカーは、DP が低すぎるために拒否された記述子の (SENS、DP) 値を示します。

このタスクでは、DM ツールの機能選択のパフォーマンスを他の既存の選択方法と比較しました。 選択された特徴に対してトレーニングされた分類モデルによる補償効果を回避し、提案されたツールを使用して選択された特徴の堅牢性を評価するために、アプローチを使用して選択された特徴の感度と DP 値のみを比較しました。 さまざまな標準機能選択アプローチと DM 選択を比較することを目的として、次のように進めます。 まず、特定の CNN と関連するプーリング層から転移学習を実行することにより、画像の元のトレーニング データセットから特徴を抽出しました。 次に、以下にリストされている比較方法に従って特徴をランク付けし、最初の Nsel を保持しました。Nsel は DM によって選択された特徴の数です。 次に、アーティファクト データセットに対して計算されたときに、選択した特徴の DP 値と SENS 値を抽出し、比較に使用します。 このようにして、DP に加えて感度基準を使用して特徴を選択する可能性を検証します。 明確にするために、方法 5 もランク付けに DP 基準を使用しますが、特徴感度の評価は行いません。 以下に示すように、DP 基準を単独で使用すると、非常に低いパフォーマンスが得られます。 特に、クラス分離可能性基準による特徴ランキングに基づくrankfeature 15 および段階的回帰モデル 14 の方法と比較しました。

さらに詳しく考えると、次のようになります。

方法 1: 次のような基準を使用して特徴をランク付けします: t 検定、つまり、プールされた分散推定値を使用した絶対値 2 サンプル t 検定。

方法 2: エントロピー、つまり相対エントロピー (カルバック・ライブラー発散) などの基準を使用して特徴をランク付けします15。

方法 3: Bhattacharyya、つまり達成可能な最小分類誤差またはチェルノフ限界などの基準を使用して特徴をランク付けします15。

方法 4: 次のような基準を使用して特徴をランク付けします: ウィルコクソン、つまり、マン-ホイットニーとしても知られる 2 サンプルの対応のないウィルコクソン検定の標準化された u 統計量の絶対値。

方法 5: ROC、経験的 ROC 曲線とランダム分類子の傾きの間の面積などの基準を使用して特徴をランク付けします15。

方法 6: 特徴選択のための段階的線形回帰フィット 14。

選択した特徴のサブセットごとに、アーチファクトされた画像のセットに対して同じ特徴を計算することによってスコア プロット (SENS、DP) を評価します。 図 4 ～ 6 は、選択に使用された方法に応じて、選択された特徴の箱ひげ図 (SENS はオレンジ色のボックス、DP 値は緑のボックス) を示しています。 ペア箱ひげ図は、各方法の (SENS,DP) 分布値を示しました。 ご覧のとおり、方法 1 (t テスト) と方法 4 (ウィルコクソン テスト) は、多くの場合、良好なパフォーマンスに達しますが、DP (緑色のボックス) と SENS (オレンジ色のボックス) の値の分布が広がっています。 一方、方法 2 (エントロピー)、方法 3 (Bhattacharyya)、方法 5 (ROC)、および方法 6 (段階的線形フィット) は、SENS 値が非常に低い場合でも、許容できないほど低い DP 値を示します。 結果は、すべてのテスト (テスト 1 ～ 3) とすべてのケース スタディ (ケース スタディ 2、3、および 4) について確認されます。

黄色のアスタリスクは平均値を示し、黒い水平線は中央値を示します。 結果はケーススタディ #2、IM-ACQ-1、テスト 1(a)〜3(c) に関するものです。 n = 200 の生物学的に独立したサンプルが考慮されました。

黄色のアスタリスクは平均値を示し、黒い水平線は中央値を示します。 結果はケーススタディ #3、IM-ACQ-2、テスト 1(a)〜3(c) に関するものです。 n = 200 の生物学的に独立したサンプルが考慮されました。

黄色のアスタリスクは平均値を示し、黒い水平線は中央値を示します。 結果はケーススタディ #4、IM-ACQ-3、テスト 1(a)〜3(c) のものです。 n = 200 の生物学的に独立したサンプルが考慮されました。

Deep-Manager の機能選択アプローチの有効性をさらに実証するために、最も使用されているさまざまなディープ ラーニング ネットワーク アーキテクチャを比較します。 繰り返しになりますが、選択した特徴の堅牢性がマスクされるのを避けるために、選択した特徴に対して分類ステップを実装しませんでした。 感度とDP値で比較します。 特に、ResNET10116、VGG1917、NasNETLarge18、および DenseNET20119 を検討しました。 各アーキテクチャで使用されるレイヤーは、メモリストレージと時間のかかるもの (レイヤーが深いほど画像の表現が粗くなり、抽出される記述子が少なくなります) と識別パフォーマンスの間のトレードオフとして選択されます。 表 1 に、使用したレイヤーと分析に考慮した記述子の数を示します。 表 2 ～ 4 は、ケーススタディのために表 1 にリストされているネットワークとレイヤを使用して、各比較手法 (2 ～ 7 列) と DM ツール (1 列目) によって選択された機能の DP および SENS の数値結果を示しています。 #2 – #4。 方法 1 ～ 6 は次のように適用されます。 まず、トレーニング画像の元のデータセットに特定のネットワークとレイヤーを適用することで、特徴が抽出されます。 次に、特徴は方法 (1 ～ 5) に含まれる基準に従ってランク付けされるか、方法 6 を使用して直接選択されます。ランク付け後、最初にランク付けされた Nsel の特徴を取得することによって特徴が選択されます。ここで、Nsel は DM ツールを使用して選択された特徴の数です。 変更された画像データセット (画像モダリティに応じて適切なテストを適用した後に取得) からも同じ特徴を抽出することにより、表 2 にリストされている SENS と新しい DP を計算しました。感度基準を DP 値と組み合わせて使用​​することの重要性、特に DM アプローチと実際に DP のようなランキング基準を使用する方法 5 を比較する場合に重要ですが、感度評価手順のサポートなしで元のデータセットに基づいて評価されます。 SENS と DP の平均値が表にリストされていますが、括弧内の値は、選択された一連の特徴に対して計算された標準偏差を表します。 各テストの最良の結果は太字で示されています。 ご覧のとおり、36 のテストすべてで、Deep-Manager は選択した機能について、より高い、または同等の DP 値を達成しました。 注目すべきは、方法 1 ～ 5 が選択された特徴のサブセットを自律的に提供するのではなく、特徴のランキング結果を提供するという事実です。 したがって、方法 1 ～ 5 では、特徴選択のためにさらなる最適化ステップが必要になります。 反対に、選択された特徴のサブセットを実際に返す方法 6 (段階的線形回帰) は、変更された画像セットで抽出された特徴に対してパフォーマンスが計算される場合、抽出された特徴の DP の点で許容可能な結果を​​決して提供しません。

畳み込みニューラル ネットワークは、非線形演算とプーリング層が交互に繰り返されるネストされた畳み込み演算で構成されます。 最適な転移学習の実装にどの層を使用するかはまったく予測できません。 通常、プーリング層は、以前の畳み込み層に関してよりコンパクトな情報セットを返すため、優先されます。 Deep-Manager プラットフォームのさらなる可能性を示すことを目的として、多様な CNN のさまざまなレイヤーから選択された特徴の DP 値を比較します。 結果は、ネットワーク ResNET101 (max-pool1 および avg-pool5)、VGG19 (max-pool1、max-pool2、max-pool3、max-pool4、max-pool5)、および DenseNET201 ( max-pool1、avg-pool2、avg-pool3、avg-pool4、avg-pool5)。 NasNetLarge は、固有のプーリング層 (つまり、global_average pool5) を提供するため、ここでは表されていません。 図 7 は、各層から選択された特徴の DP 分布を比較しています。 これまでの実験では、正しいプーリング層を選択することの重要性が強調されています。 見てわかるように、選択されたフィーチャの DP 値は、レイヤーと適用されるテストによって異なります。 平均して、中間層 (DenseNET201 および VGG19 のプール 3) が、テスト 1 とテスト 2 (ケース スタディ 2) で最高の DP 値に達していることがわかります。 逆に、プール 5 は、テスト 3 の平均 DP 値で最高のパフォーマンスに達しています (ケーススタディ 2)。 ただし、この事実は、層が深くなるにつれて管理するフィーチャの数が非常に少なくなり、その結果として時間がかかることが少なくなることと相関しているはずです。

ResNET101、max-pool1、avg-pool5。 b VGG19、マップ プール 1、最大プール 2、最大プール 3、最大プール 4、最大プール 5。 c DenseNET201、max-pool1、avg-pool2、avg-pool3、avg-pool4、および avg-pool5。 パネル (a) には n = 46770 の独立したデータが使用され、パネル (b) には n = 127667 の独立したデータが使用され、パネル (c) には n = 26675 の独立したデータが使用されました。

このタスクでは、DM ツールによって選択された深い特徴に対してトレーニングされたサポート ベクター マシン (SVM) に基づく分類タスクを実装することで、DM ツールの使用の可能性を強化しました。 これを念頭に置いて、最近公開された LIVEcell ラベル付きデータセット 13 からケーススタディを選択しました。 特に、この研究で使用した例に沿った実用的なアプリケーションを提示することを目的として、いかだで増殖させた乳がん細胞である BT-474 細胞を選択しました。 課題は、4 時間後に癌増殖因子を認識することでした。 次に、0 日目の細胞と 4 時間後に視覚化した細胞を比較し、DM プラットフォームを適用して、タスクに対して最も識別的で堅牢な深部特徴を選択しました。 図 8 は、各グループの 5 つのセルの例を示しています。

a 0 日目、0 時間目に取得した BT-474 細胞のクロップのいくつかの例 (上の行)、b 0 日目、4 時間目に取得した BT-474 細胞。スケール バーは 40 mm に対応します。

注釈を使用すると、各セルを特定し、その周囲の関心領域 (ROI) を抽出できます。 図 7 に示すシミュレーション結果によると、3 つのテストすべてで最も高い平均 DP 値を示した平均プーリング層「average_pool5」を持つ CNN Densenet201 を選択しました。 困難なシナリオを作成するために、0 日 0 時間目のセルと 0 日 4 時間目のセルを区別する分類タスクを実行しました。モデルの過剰学習を避けてタスクを現実的なものにするために、摂動テスト 1 ～ を適用しました。 LIVEcell データセットによって提供されるように、テスト セット内の画像に 3 (輝度、動き、焦点のぼけ) を適用します。 トレーニング データセットで注釈が付けられた 5554 個の ROI をすべて抽出し、メソッドで説明されているランダム摂動を適用した後、テスト セットから 1912 個の ROI をテストしました。 DM ツールボックスを通じて抽出された特徴は、培養 4 時間目の細胞形態変化を認識することを目的として、線形 kernel20 分類モデルを備えた SVM に供給されました。 選択された特徴の数が非常に少ないため (ネットによって抽出された 1920 個で 2 から 5)、トレーニング セット全体の DP 値に従って特徴の選択に使用されるしきい値 thDP を下げることによってシミュレーションも実行しました。 thDP の値の間隔が 0.05 刻みで [0.5 ÷ 0.7] に等しいと考えました。 図 9 ～ 11 (パネル a) は、分類精度 (ACC) と曲線下面積 (AUC) の値を示しています。 図9〜11（パネルb）は、2D透過光環境の3つの変分テストに関連するF1スコア値を示しています。 画像の独立したテストセットは、図 9a、b 2D シナリオの明るさテスト、図 10a、b 2D シナリオの動きテスト、図 11a、b の焦点外れテストに従って変更されています。 2Dシナリオ。 青い線はトレーニング セットに対して計算されたパフォーマンス結果を示し、赤い線は変更されたテスト セットに対して計算されたパフォーマンス結果を示し、緑の線は特徴を選択しないことによって達成されたパフォーマンス結果を示します。 明らかに分かるように、特徴を選択する機会により、ACC、F1 スコア、AUC の観点から分類パフォーマンスが向上するだけでなく、モデルのトレーニングに必要な時間が大幅に短縮されます。 3 つのテストの両方で、選択された特徴の数が少ないほど (thDP が高いほど)、分類のトレーニング精度、F1 スコア値、および AUC 値が低下します。 同時に、分類、F1 スコア値、および AUC 値のテスト精度が向上します。 この現象は、オーバートレーニング傾向が減少し、画像変動に対するシステムの堅牢性が向上していることを示しています。 フィーチャ (緑色の線) を選択しないことによって得られた低い結果は、DM ツールの使用の重要性をさらに証明しました。 最後の比較として、IM-ACQ-1 画像に摂動 test1 ～ test3 を適用した後、同じトレーニング セットの画像に対して事前トレーニングされた DENSENET201 ネットワークを微調整しました。 モメンタム付き確率的勾配降下 (SGDM) 最適化手法のトレーニング オプションは、10 エポック (エポックあたり 1000 回の反復)、エポックごとのデータ シャッフル、ミニバッチ サイズは 10、初期学習率は 0.001 でした。 トレーニングには、GPU NVIDIA GeFORCE RTX と第 9 世代 Intel Core i7 を使用した Matlab 2022b で約 33 時間かかりました。 また、計算時間の制約のために、16662 個のトレーニング データからランダムに 5000 個のトレーニング データを選択しました。 次に、調整したネットワークを前の実験で使用したテスト セットに適用しました。 ACCに関して達成された結果を図1〜3に示します。 9 ～ 11 はシアンの線です。 さらに、微調整された DENSENT201 ネットワークによって抽出された深い特徴に DM 特徴選択基準も適用しました。 結果は黒い線で表されます。 注目できるように、微調整されたネットワークは、おそらく調整ステップが原因で、機能選択手順には影響しません。 一方で、微調整されたネットワークの汎化能力は依然として非常に低いままです。 ACC スコアと F1 スコアの点では結果は同等ですが、トレーニング時間が 33 時間であることと、必要に応じて新しい摂動テストの存在下でネットワークを再トレーニングする必要があるため、機能セットが削減されていることも考慮すると、DM ツールが優れたアプローチとなっています。に関しては、微調整されたネットワークが分類モデルの入力として利用されます。

BT-474 細胞の形態認識における ACC (左 y 軸パネル a) および F1 スコア (左 y 軸パネル b) 対 AUC (右 y 軸) に関する SVM 分類モデルと組み合わせた DM 選択の分類パフォーマンス0 日目の培養 4 時間にわたる変化。画像の独立したテスト セットは、2D シナリオの輝度テストに従って変更されました。 青い線はトレーニング セットで計算されたパフォーマンス結果を示し、赤い線は変更されたテスト セットで計算されたパフォーマンス結果を示します。緑の線は機能を選択しないことによって達成されたパフォーマンス結果を示します。シアンの線は微調整された DENSENET201 ネットワークのパフォーマンスを示します。黒い線はは、微調整された DENSENET201 ネットワークによって抽出された特徴に DM 特徴選択手順を適用したパフォーマンスを表します。 n = 10 回の繰り返しを使用して箱ひげ図を抽出しました。

BT-474 細胞の形態認識における ACC (左 y 軸パネル a) および F1 スコア (左 y 軸パネル b) 対 AUC (右 y 軸) に関する SVM 分類モデルと組み合わせた DM 選択の分類パフォーマンス0 日目の培養 4 時間にわたる変化。画像の独立したテスト セットは、2D シナリオの動きテストに従って変更されました。 青い線はトレーニング セットで計算されたパフォーマンス結果を示し、赤い線は変更されたテスト セットで計算されたパフォーマンス結果を示します。緑の線は機能を選択しないことによって達成されたパフォーマンス結果を示します。シアンの線は微調整された DENSENET201 ネットワークのパフォーマンスを示します。黒い線はは、微調整された DENSENET201 ネットワークによって抽出された特徴に DM 特徴選択手順を適用したパフォーマンスを表します。 n = 10 回の繰り返しを使用して箱ひげ図を抽出しました。

BT-474 細胞の形態認識における ACC (左 y 軸パネル a) および F1 スコア (左 y 軸パネル b) 対 AUC (右 y 軸) に関する SVM 分類モデルと組み合わせた DM 選択の分類パフォーマンス画像の独立したテスト セットは、2D シナリオの焦点外テストに従って変更されました。 青い線はトレーニング セットで計算されたパフォーマンス結果を示し、赤い線は変更されたテスト セットで計算されたパフォーマンス結果を示します。緑の線は機能を選択しないことによって達成されたパフォーマンス結果を示します。シアンの線は微調整された DENSENET201 ネットワークのパフォーマンスを示します。黒い線はは、微調整された DENSENET201 ネットワークによって抽出された特徴に DM 特徴選択手順を適用したパフォーマンスを表します。 n = 10 回の繰り返しを使用して箱ひげ図を抽出しました。

医療アプリケーションのデータ分析技術を開発するすべての人にとっての最大の目標は、自分の成果が実際の状況で使用されるのを見ることです。 残念ながら、病院などの研究室で得られた優れた結果から移行するのは決して簡単ではありません。 実際の測定シナリオでは、多くの変数が制御されていないため、その変動が許容できないパフォーマンスにつながる可能性があります。 このような問題は、ブラックボックス記述子 (深層特徴) と研究対象の生物学的実体の表現型特性との間に先験的に既知の関係が欠如しているため、深層学習特徴のコンテキストで対処される場合にはさらに重要になります。 この研究では、Deep-Manager と呼ばれるソフトウェア プラットフォームを導入しました。これは、さまざまな外乱に対する各機能のパフォーマンスと感度を分析することで、この制限に対抗します。 提案されたアプローチの可能性は 5 つの異なるケーススタディと異なるシミュレートされたアーティファクトで検証され、標準ソリューションに対して優れたパフォーマンスが実証されています。

Deep-Manager プラットフォームを使用すると、ユーザーは独自の画像データセットに対して特定の感度テストを実行し、特定の分類タスクに最も適切な特徴を選択できます。 感度テストの目的は、アドホック アルゴリズム (手作り) から抽出された特徴、または転移学習アプローチを通じて事前に指定された深層学習ネットワークから抽出された特徴のうち、取得固有の外部量や現象に対してどの特徴がより敏感であるかを検出することです。 提案された方法の有効性を証明することを目的として、既存の取得デバイスと実験装置の膨大なパノラマの中から、生物学的画像解析の分野で最も使用されている実用的なコンテキストを 3 つ選択しました。 2D 透過光タイムラプス顕微鏡、3D位相差タイムラプス顕微鏡法、および3D蛍光タイムラプス顕微鏡法。 したがって、実装された感度テストはこれらのコンテキストを考慮して行われます。 ただし、Deep-Manager プラットフォームで可能なテストのリストは、将来、組織病理学的画像処理や間接免疫蛍光などの他の分野に拡大される可能性があります。 このため、以降では現在のリリースを Deep-Manager 1.0 バージョンとして示します。 リンク: https://github.com/BEEuniroma2/Deep-Manager。 図を再現するために必要なすべてのデータは補足データ 1 ファイルにあります。

イメージングモダリティに関して、DM ツールの実際のバージョンでは 3 つの異なるイメージングモダリティ (補足ノート 1.1): IM-ACQ-1 (2D TL タイムラプス顕微鏡、補足セクション)、IM-ACQ-2 (3D 位相コントラスト TL) が検討されました。タイムラプス顕微鏡）、IM-ACQ-3（3D 蛍光タイムラプス顕微鏡）。 各モダリティでは、使用される機器と実験条件に関連する特定のテストが特定されます。

モダリティ IM-ACQ-1 では、「明るさアーティファクト」、「ステージ マルチポジショニング アーティファクト」、「焦点外れアーティファクト」を実装しました。 ケーススタディ #2 と #5 は、このシナリオについて言及しています。 モダリティ IM-ACQ_2 では、「明るさの変化」、「局所的な焦点のぼけ」、および「ゲルの質感の変化」のテストを含めました。 ケーススタディ #3 では、そのようなシナリオについて説明します。 最後に、モダリティ IM-ACQ-3 については、「培地の自家蛍光」、「光退色」、および「蛍光飽和」を含めました。 ケーススタディ #1 と #4 は、そのようなモダリティについて言及しています。 追加の数学的詳細は、補足ノート (セクション 1.1、IM-ACQ-1 ～ IM-ACQ-2、補足図 1 ～ 9) に記載されています。

DM プラットフォームでは、2 つの異なるモダリティが可能です。1. 手作りの強度とテクスチャの特徴 2. 深層転移学習 (DTL) アルゴリズムによる深層特徴。 プログラミングスキルを持つユーザーは、特定の追加機能を備えたカスタマイズされた機能を追加することもできます。 幾何学的記述子エクストラクターでは、各セルの形状を抽出するために予備的なセグメンテーション ステップが必要になります。 デフォルトでは、プラットフォームは、元の画像 (または摂動を受けた画像) に対して計算されるいくつかのよく知られた強度およびテクスチャ記述子を提案します。 利用可能な強度記述子のリストは次のとおりです: 平均強度、中央強度、強度の標準偏差、最小強度、強度の 10 パーセンタイル、強度の 25 パーセンタイル、強度の 75 パーセンタイル、強度の 90 パーセンタイル、最大強度、強度のエントロピー21。 テクスチャ記述子に関しては、DM プラットフォームには、Haralick 特徴 22 と Histogram of Oriented Gradient features (HoG) 23 が含まれています。 詳細については、参考文献および補足説明のセクション 1.2「手作りの機能」を参照してください。 異なる深いレイヤーを選択することにより、入力画像は、詳細な表現 (より高いレイヤー) からより粗いエンコード (非常に深いレイヤー) まで、異なる数の記述子にエンコードされます。 デフォルトでは、DM プラットフォームには、ResNET10116、VGG1917、NasNETLarge18、および DenseNET20119 などのいくつかのよく知られた深層学習アーキテクチャが含まれています。 各ネットワークには、いわゆるプーリング層があり、ある層のニューロン クラスターの出力を次の層の単一ニューロンに結合することでデータの次元を削減します16、24。

Deep-Manager プラットフォームは、Anaconda フレームワークの Python 3.8 オープンソース言語で実現されています。 全体的なプラットフォーム アーキテクチャは、さまざまなレベルの専門知識に合わせて考慮されています。 成果物の実装およびアプリケーションで使用されるパラメータおよび関連する範囲値のリストを含むテキスト ファイルが DM ソフトウェアに供給されます。 すべてのテストで一意のテキスト ファイルを使用できるため、ユーザーは一意の SETTING ファイルを変更することでプラットフォームを繰り返し実行できます。 上級ユーザーは、SETTING ファイルに設定パラメーターを適切に含めることで、テストを変更したり、新しいテストを追加したりすることもできます。 DM 機能の主な手順は次のとおりです: (1) ユーザーは最初に、作業する実際的なシナリオを選択するように求められます (このような選択により、プラットフォームは最終的な選択結果をテスト番号に応じて番号付けされた特定のファイル (例: 2D TL) に保存できます)顕微鏡法、3D 位相コントラスト TL 顕微鏡法、または 3D 蛍光) 選択したモダリティで利用可能なすべてのテストが適用されます; (2) 次に、ユーザーは DM 構成をロードするために SETTING テキスト ファイルを選択するように求められます。使用されるパラメーターは次のとおりです。補足説明、セクション アルゴリズム パラメータ ファイルには、転移学習に使用されるネットワークの名前と、該当する場合、特徴の抽出に使用される層も含まれます。具体的な詳細は、各テストの方法に記載されています。 (3) ユーザー次に、画像のトレーニング データセットが保存されているパスを選択するよう求められます。詳細については、DM ガイド https://github.com/BEEuniroma2/Deep-Manager を参照してください。(4) ユーザーは、手作りされた、またはDTL モダリティ。 結果として、手作りの選択が選択された場合、プラットフォームはテクスチャと強度の特徴のセットを自動的に計算します。 DTL が選択されている場合、プラットフォームは、上記の SETTING ファイル内のどのネットワークとレイヤーを選択するかに関する設定情報を読み取ります。 DM は、上記のテストに従って摂動を適用し、摂動の前後の特徴を計算します。 (5) ユーザーは、ランダムに選択された画像に対する摂動効果を視覚化できます。 選択した機能と選択されていない機能の DP 対感度の値を 2D プロットで視覚化することもできます。 最後に、(6) ユーザーは、識別タスク用の特徴を選択するための 2 つの検証データセットを含むディレクトリを選択するように求められます。 .jpeg、.tiff、.png などのすべての画像形式が許可されます。その後、選択された特徴が検証データセット用に計算され、分類タスクで使用される別のリポジトリ変数に保存されます。 ユーザーは、さらに使用するために、修正されたトレーニング画像のセットを保存することもできます。 選択プロセスは次のように行われます。 摂動の前後で各記述子 fi で得られた 2 つの値、つまり fi0 と fimod を使用して、ソフトウェアは次のように個々の判別力 (DP) 値を導出します。

次に、追加された摂動に対する記述子 fi の感度 (SENS) を次のように計算します。

ここで \({{{{{\rm{AUC}}}}}}{({f}_{i0})}_{{{{{\rm{class1}}}}}}^{{{ {\rm{class2}}}}}}\) は、class1 と class2 を区別する際の特徴 fi0 の受信動作特性 (ROC) 曲線下の面積 25 を示します。 ここでは、DP が 1-AUC と AUC の間の最大値に等しいと考えます。AUC は、二値分類問題における記述子の識別能力を定量化する方法です 17。 AUC 値に関して、各特徴の DP は、「特徴とラベル」の直接的または逆の関係が不変であるために選択されています。 言い換えれば、高いまたは低い AUC 値 (どちらも高度な識別能力を示します) は、高い DP 値に対応します。

ソフトウェアは、DP 値に従って記述子を分類するためにしきい値 thDP を適用し、感度値に従って記述子を分類するためにしきい値 thSENS を適用します。 これを考慮して、記述子は異なる領域に分類されます。 DP が thDP より高く、感度が thSENS より低い高 DP および低 SENS (選択されたもの) (図 12 のシアンのマーカー)、高 SENS、つまり、アーティファクトに対する thSENS よりも大きい高感度 (図 12 の青色のマーカー)、および thDP より小さい低 DP、つまり、判別力が低いために拒否されたもの (図 12 の緑色のマーカー)。

赤いマーカーは、画像変更前に転移学習を使用して抽出された記述子の DP 値を示します。 感度値は、テストの適用前に計算されるゼロであると想定されます。 シアンのマーカーは、高い DP と低い SENS を持つ各記述子の (SENS、DP) 値を見つけます。 青色のマーカーは、SENS が高い各記述子の (SENS、DP) 値を示します。 緑色のマーカーは、DP が低い記述子の (SENS、DP) 値を示します。

しきい値は SETTING テキスト ファイルにロードされ、アプリケーションに大きく依存するため、ユーザーが変更できます。 考えられるディープマネージャーの結果のスケッチを図 10 に示します。DP 値が [0.5,1] の範囲にあるため、抽出された特徴の識別能力に応じて、thDP の許容値は [0.6 ～ 0.8] の範囲になります。特定のケースでは。 感度に関しては、摂動前後の DP の予想される変動であるため、通常は [0.05 ～ 0.1] の範囲になります。 しきい値 thDP が高すぎるか、thSENS が小さすぎて、機能が選択されていない場合、ツールはユーザーに別のしきい値を選択するよう警告を発します。

Retiga R6 カメラと Lumencor SOLA SE 365 ライト エンジンを備えた倒立型 Leica DMi8 を使用し、5 倍の対物レンズを使用してタイムラプス画像を取得しました。 使用したフィルターキューブは、TXRed (励起フィルター 560/40 nm、発光フィルター 630/75 nm、ダイクロイックミラー 585 nm) および GFP (励起フィルター 470/40 nm、発光フィルター 525/50 nm、ダイクロイックミラー 495 nm) でした。 生きた蛍光色素 (CellTrace、赤) を使用して、チップ上で培養する前にがん細胞を選択的に事前染色しました。 アポトーシス死を監視するために、カスパーゼ活性の生蛍光レポーター (CellEvent Caspase-3/7、緑色) をオンチップ培地に添加しました。 次に、赤色チャネルを使用して細胞の位置を特定し 10、一方、緑色チャネルでの癌細胞位置の転位により緑色発光信号、したがって死亡事象を監視することが可能になりました。 乳がん細胞（HER2 + 乳がんサブタイプの代表的な BT474 細胞株）を、マイクロ流体デバイス内の 3D 生体模倣コラーゲンゲル内で、免疫細胞（PBMC、健康なドナーからの末梢血単核球）と、添加の有無にかかわらず共培養しました。標的免疫療法であるトラスツズマブ（商品名ハーセプチン）。 一般的な実践で DM ツールを使用する利点を実証することを目的として、グリーン排出に関連する手作りの特徴を抽出し、標準的な実践の場合と DM ツールの使用を比較しました。

2D TL タイムラプス顕微鏡実験の場合、データ解釈を絶望的に妨げる可能性のある、輝度ドリフト、ちらつき、経時的な焦点変化などの予測不可能な変化に応じて変化する特徴を除外するために、適切な特徴を選択することが非常に重要です。 このような状況において、提案されている Deep-Manager プラットフォームの有効性をテストすることを目的として、我々は、細胞の運動性、形状、および細胞の DNA 複製をブロックするトポイソメラーゼ II 阻害剤である化学療法薬エトポシドへの曝露前後のがん細胞を分析しました。簡単に説明すると、PC-3 ヒト転移性前立腺がん細胞 (ATCC) を、10% ウシ胎児血清、1% ウシ胎児血清を補充した RPMI 1640 培地で増殖させました。 L-グルタミン (2 mM)、および 1% ペニシリン/ストレプトマイシン (100 IU/mL) (Euroclone)、空気中 5% CO2 の加湿雰囲気中、37 °C。 各実験では、40,000 細胞/mL を 35 mm ペトリ皿 (Euroclone) に播種しました。 播種から 72 時間後、細胞 DNA 複製をブロックするトポイソメラーゼ II 阻害剤である化学療法薬エトポシド (Sigma-Aldrich) を最終濃度 0 および 5 μM で処理し、直ちに経時変化を分析しました。 画像はカスタム小型倒立顕微鏡を介して 1 分あたり 1 フレームで取得され、総実験時間は 6 時間でした。 提示された結果では、0 μM と 5 μM の 2 つの極端な条件を考慮しました。

乳がん細胞（HER2 + 乳がんサブタイプを代表する BT474 細胞株）を、マイクロ流体デバイス内の 3D 生体模倣コラーゲンゲル内で、免疫細胞（PBMC、健康なドナーからの末梢血単核球）と、添加なしまたは添加ありで共培養しました。標的免疫療法であるトラスツズマブ（商品名ハーセプチン）。 詳細については、元の生物学的出版物を参照してください12。 このユースケースでは、乳房腫瘍における標的免疫療法の効果の深層特徴の識別能力が画像変更によってどのように影響されるかを実証し、結果を多様な深層学習アーキテクチャを使用した標準特徴選択アプローチを使用して達成された結果と比較しました。

肺がん細胞 (IGR-Pub) を、免疫細胞 (自己細胞傷害性 T 細胞、クローン P62) の有無にかかわらず、マイクロ流体デバイス内の 3D 生体模倣コラーゲンゲルで共培養しました。 CellEvent Caspase-3/7 Green Detection Reagent (Thermofisher、#C10423) を培地に添加して、緑色チャネルでアポトーシスを起こしている細胞を視覚化しました。 詳細については、元の生物学的出版物を参照してください10。 このユースケースでは、肺腫瘍における T 細胞毒性効果の深層特徴の識別能力が画像変更によってどのように影響されるかを実証し、その結果を標準特徴選択アプローチおよび多様な深層学習アーキテクチャを使用して達成された結果と比較しました。

提案された DM ツールを通じて深い特徴を選択できる可能性を実証することを目的として、最近公開された LIVECell ラベル付きデータセット 13 からケーススタディを選択しました。 特に、この研究で使用した例に沿った実用的なアプリケーションを提示することを目的として、いかだで増殖させた乳がん細胞である BT-474 細胞を選択しました。 細胞株は ATCC から購入し、供給者の推奨に従って培養しました。 各細胞タイプのいくつかのウェルを 96 ウェル プレート (Corning) に播種し、標準 CMOS カメラ (Basler acA1920- 155μm）。 このような装置は、従来のゼルニケ位相画像に見られる位相環の存在を回避しました。 位相コントラスト TL 画像は、×10 の対物レンズを使用して各ウェルの 2 つの位置から取得し、4 つの同じサイズの画像 (0.875 × 0.645 mm2 に相当する 704 × 520 ピクセル) に切り出しました。 その後、専門家チームによって画像に注釈が付けられました。

統計的有意性は、Student t 検定を実施することによって評価されました。 再現性は、ホールドアウト相互検証アプローチを使用した 10 個のランダムなサブサンプリングによって保証されました (たとえば、図 9 ～ 11)。 各統計分析に使用されたサンプルの数は、対応する図のキャプションに囲まれています。

研究デザインの詳細については、この記事にリンクされている Nature Portfolio Reporting Summary を参照してください。

著者らは、この研究の結果を裏付けるデータが論文[およびその補足情報ファイル]内で入手可能であることを宣言します。 その他のサポートやリクエストは、対応する著者の電子メール [email protected] に送信するか、https://web.bee.uniroma2.it/our-contacts/ にあるフォームに記入して送信できます。 LIVECell データセットに属する画像は、https://sartorius-research.github.io/LIVECell/ からダウンロードできます。 参考文献も参照してください。 13.

Deep-Manager ソフトウェアとコードを実行するためのサンプル イメージは、https://github.com/BEEuniroma2/Deep-Manager から自由にダウンロードできます。

Zhang, D.、Zou, L.、Zhou, X.、He, F. 乳がんの臨床転帰を予測するための特徴選択および特徴抽出手法とディープラーニングの統合。 IEEE Access 6、28936–28944 (2018)。

記事 Google Scholar

Jelen, L.、Krzyzak, A.、Fevens, T.、Jelen, M. 細針吸引生検の乳がん悪性分類に対する特徴セットの削減の影響。 計算します。 バイオル。 医学。 79、80–91 (2016)。

論文 PubMed Google Scholar

ウォルシュ、I.ら。 DOME: 生物学における教師あり機械学習の検証に関する推奨事項。 ナット。 方法 18、1122–1127 (2021)。

論文 CAS PubMed Google Scholar

ウー、Z.ら。 DynaMorph: ライブイメージングと sc-RNAseq を使用してヒト細胞の形態力学的状態を学習します。 モル。 バイオル。 細胞。 33、https://doi.org/10.1091/mbc.E21-11-0561 (2022)。

モーエン、E. et al. 細胞画像解析のためのディープラーニング。 ナット。 方法 16、1233–1246 (2019)。

論文 CAS PubMed PubMed Central Google Scholar

Caldon, CE & Burgess, A. タイムラプス動画のラベルフリーの定量的単一細胞運命追跡。 MethodsX 6、2468–2475 (2019)。

記事 PubMed PubMed Central Google Scholar

Specht, EA、Braselmann, E. & Palmer, AE 生細胞イメージング用の蛍光ツールの批判的かつ比較レビュー。 アンヌ。 Rev. Physiol. 79、93–117 (2017)。

論文 CAS PubMed Google Scholar

Billinton, N.、Knight, AW & Knight, AW 木々を通して木を見る: 緑色蛍光タンパク質を内因性自己蛍光から区別する技術のレビュー。 アナル。 生化学。 201、175–197 (2001)。

記事 Google Scholar

Neumann, M. & Gabel, D. 蛍光顕微鏡法における自己蛍光を低減するための簡単な方法。 Ｊ．Ｈｉｓｔｏｃｈｅｍ． サイトケム。 50、437–439​​ (2002)。

論文 CAS PubMed Google Scholar

Veith, I. et al. 3D 腫瘍生態系の時空間におけるアポトーシス マッピングにより、細胞毒性による癌死の伝播性が明らかになります。 PLoS コンピューティング。 バイオル。 17、1–23 (2021)。

記事 Google Scholar

ディ・ジュゼッペ、D. 他細胞クラスター内の協調運動におけるコンセンサスを利用して、がん関連の薬効を学習します。 IEEEトランス。 バイオメッド。 工学 66、2882–2888 (2019)。

論文 PubMed Google Scholar

グエン、M.ら。 免疫担当腫瘍微小環境のオンチップ再構成による抗がん剤およびがん関連線維芽細胞の効果の分析。 Cell Rep. 25、3884–3893.e3 (2018)。

論文 CAS PubMed Google Scholar

エドランド、C.ら。 LIVECell - ラベルフリーの生細胞セグメンテーションのための大規模なデータセット。 ナット。 方法 18、1038–1045 (2021)。

論文 CAS PubMed PubMed Central Google Scholar

Draper, NR & Smith, H. 「最良の」回帰式の選択。 応用残念です。 アナル。 2、327–368 (1998)。

記事 Google Scholar

Liu, H. & Motoda, H. 特徴抽出、構築、および選択: データ マイニングの観点 (Springer Science & Business Media、1998)。

He, K.、Zhang, X.、Ren, S.、Sun, J. 画像認識のための深層残差学習。 プロセスで。 IEEE コンピューティング。 社会会議計算します。 ヴィス。 パターン認識。 （2015年）。

バンダリー、A.ら。 肺の異常を検出するための深層学習フレームワーク – 胸部 X 線および肺 CT スキャン画像を使用した研究 ☆。 パターン認識。 レット。 129、271–278 (2020)。

記事 Google Scholar

Zoph, B.、Vasudevan, V.、Shlens, J. & Le, QV スケーラブルな画像認識のための転送可能なアーキテクチャを学習します。 プロセスで。 IEEE コンピューティング。 社会会議計算します。 ヴィス。 パターン認識。 8697–8710 (IEEE、2018)。

Huang, G.、Zhuang, L.、van der Maaten, L. & Weinberger, KW 高密度に接続された畳み込みネットワーク。 CVPR 2017 (2017) にて。

Suthhararan, S. ビッグ データ分類のための機械学習モデルとアルゴリズム (Springer、2016)。

Gonzalez、RC & Woods、RE デジタル画像処理 (Addison-Wesley Longman Publishing Co.、2001)。

haralick, RM、Shanmugam, K. & Dinstein, I. 画像分類のためのテクスチャ特徴。 IEEEトランス。 システム。 サイバーン男。 https://doi.org/10.1190/segam2015-5927230.1 (1973)。

Dalal, N.、Triggs, B. & Europe, D. 人間検出のための方向性勾配のヒストグラム。 2005 年、コンピューター ビジョンとパターン認識に関する IEEE コンピューター協会会議 (CVPR'05) (2005)。

Brownlee, J. 畳み込みニューラル ネットワークのプーリング層についての穏やかな入門書。 機械学習マスタリー https://machinelearningmastery.com/pooling-layers-for-convolutional-neural-networks/ (2019)。

Hanley, JA & Mcneil, BJ 受信者特性 (ROC) 曲線下面積の意味と使用法。 放射線学 143、29–36 (1982)。

論文 CAS PubMed Google Scholar

リファレンスをダウンロードする

これらの著者は同様に貢献しました: A. Mencattini、M. D'Orazio。

電子工学部、University of Rome Tor Vergata、00133、ローマ、イタリア

A. メンカッティーニ、M. ドラツィオ、P. カスティ、MC カムス、D. ディ ジュゼッペ、G. アントネッリ、J. フィリッピ、C. ディ ナターレ & E. マルティネッリ

ラボオンチップおよびオルガンオンチップアプリケーションに関する学際的研究センター (IC-LOC)、University of Rome Tor Vergata、00133、ローマ、イタリア

A. メンカッティーニ、M. ドラツィオ、P. カスティ、MC カムス、D. ディ ジュゼッペ、G. アントネッリ、J. フィリッピ、F. コルシ & E. マルティネッリ

ローマ大学生物学部、トル・ヴェルガータ、00133、ローマ、イタリア

F. コルシ & L. ジベリ

Inserm U830、ストレスとがん研究室、キュリー研究所、研究センター、パリ科学レトレス研究大学、75005、パリ、フランス

I. ヴェイス & MC パリーニ

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

概念化: AM および EM 方法論: AM、MDO、MCP、PC、IV、FC、CDN、および EM ソフトウェア: MDO、MCC、JF、DDG、および GA 正式な分析: AM、MDO、LG、MPC、および EM ライティング—原案: AM および EM 執筆 - レビューおよび編集: 著者全員。 視覚化: AM、MCP、EM

E.マルティネリへの通信。

著者らは競合する利害関係を宣言していません。 ソフトウェアは非営利目的の場合は無料です。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Mencattini, A.、D'Orazio, M.、Casti, P. 他 Deep-Manager: 生細胞イメージング解析における最適な機能選択のための多用途ツールです。 Commun Biol 6、241 (2023)。 https://doi.org/10.1038/s42003-023-04585-9

引用をダウンロード

受信日: 2022 年 7 月 8 日

受理日: 2023 年 2 月 13 日

公開日: 2023 年 3 月 3 日

DOI: https://doi.org/10.1038/s42003-023-04585-9

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。