Děkujeme, že jste navštívili Nature.com.Používáte verzi prohlížeče s omezenou podporou CSS.Chcete-li dosáhnout nejlepšího výsledku, doporučujeme použít aktualizovaný prohlížeč (nebo vypnout režim kompatibility v aplikaci Internet Explorer).Abychom zajistili nepřetržitou podporu, zobrazujeme web bez stylů a JavaScriptu.
Posuvníky zobrazující tři články na snímku.Pro pohyb mezi snímky použijte tlačítka zpět a další, pro pohyb po jednotlivých snímcích použijte tlačítka posuvného ovladače na konci.
Optická koherentní tomografická angiografie (OCTA) je novou metodou neinvazivní vizualizace cév sítnice.Přestože má OCTA mnoho slibných klinických aplikací, stanovení kvality obrazu zůstává výzvou.Vyvinuli jsme systém založený na hlubokém učení pomocí klasifikátoru neuronové sítě ResNet152 předem trénovaného pomocí ImageNet ke klasifikaci snímků povrchového kapilárního plexu z 347 skenů 134 pacientů.Obrázky byly také ručně vyhodnoceny jako pravdivé dvěma nezávislými hodnotiteli pro model učení pod dohledem.Protože požadavky na kvalitu obrazu se mohou lišit v závislosti na klinickém nebo výzkumném nastavení, byly vyškoleny dva modely, jeden pro vysoce kvalitní rozpoznávání obrazu a druhý pro rozpoznávání obrazu nízké kvality.Náš model neuronové sítě ukazuje vynikající oblast pod křivkou (AUC), 95% CI 0,96-0,99, \(\kappa\) = 0,81), což je výrazně lepší než úroveň signálu hlášená strojem (AUC = 0,82, 95 % CI).0,77–0,86, \(\kappa\) = 0,52 a AUC = 0,78, 95% CI 0,73–0,83, \(\kappa\) = 0,27, v tomto pořadí).Naše studie ukazuje, že metody strojového učení lze použít k vývoji flexibilních a robustních metod kontroly kvality pro snímky OCTA.
Optická koherentní tomografická angiografie (OCTA) je relativně nová technika založená na optické koherentní tomografii (OCT), kterou lze použít pro neinvazivní vizualizaci retinální mikrovaskulatury.OCTA měří rozdíl ve vzorcích odrazu od opakovaných světelných pulzů ve stejné oblasti sítnice a rekonstrukce pak mohou být vypočteny tak, aby odhalily krevní cévy bez invazivního použití barviv nebo jiných kontrastních látek.OCTA také umožňuje vaskulární zobrazování s hloubkovým rozlišením, což lékařům umožňuje odděleně zkoumat povrchové a hluboké vrstvy cév, což pomáhá odlišit chorioretinální onemocnění.
I když je tato technika slibná, variace kvality obrazu zůstává hlavním problémem pro spolehlivou analýzu obrazu, což ztěžuje interpretaci obrazu a brání širokému klinickému přijetí.Protože OCTA používá více po sobě jdoucích OCT skenů, je citlivější na artefakty obrazu než standardní OCT.Většina komerčních platforem OCTA poskytuje vlastní metriku kvality obrazu nazvanou Signal Strength (SS) nebo někdy Signal Strength Index (SSI).Snímky s vysokou hodnotou SS nebo SSI však nezaručují nepřítomnost obrazových artefaktů, které mohou ovlivnit jakoukoli následnou analýzu obrazu a vést k nesprávným klinickým rozhodnutím.Mezi běžné artefakty obrazu, které se mohou vyskytnout při zobrazování OCTA, patří pohybové artefakty, artefakty segmentace, artefakty opacity média a artefakty projekce1,2,3.
Vzhledem k tomu, že měření odvozená z OCTA, jako je vaskulární hustota, se stále více používají v translačním výzkumu, klinických studiích a klinické praxi, existuje naléhavá potřeba vyvinout robustní a spolehlivé procesy kontroly kvality obrazu, aby se odstranily artefakty obrazu4.Přeskočit spojení, známá také jako zbytková spojení, jsou projekce v architektuře neuronových sítí, které umožňují informacím obejít konvoluční vrstvy a zároveň ukládat informace v různých měřítcích nebo rozlišeních5.Vzhledem k tomu, že obrazové artefakty mohou ovlivnit výkon obrazu v malém měřítku a obecně ve velkém měřítku, neuronové sítě s přeskočením připojení jsou velmi vhodné pro automatizaci tohoto úkolu řízení kvality5.Nedávno publikovaná práce ukázala určitý příslib pro hluboké konvoluční neuronové sítě trénované pomocí vysoce kvalitních dat z lidských odhadců6.
V této studii trénujeme konvoluční neuronovou síť, která přeskakuje spojení, aby automaticky určila kvalitu OCTA snímků.Stavíme na předchozí práci vývojem samostatných modelů pro identifikaci vysoce kvalitních snímků a snímků nízké kvality, protože požadavky na kvalitu snímků se mohou pro konkrétní klinické nebo výzkumné scénáře lišit.Porovnáváme výsledky těchto sítí s konvolučními neuronovými sítěmi bez chybějících spojení, abychom vyhodnotili hodnotu zahrnutí funkcí na více úrovních granularity v rámci hlubokého učení.Poté jsme naše výsledky porovnali se silou signálu, což je běžně přijímané měřítko kvality obrazu poskytované výrobci.
Do naší studie byli zařazeni pacienti s diabetem, kteří navštěvovali Yale Eye Center mezi 11. srpnem 2017 a 11. dubnem 2019. Byli vyloučeni pacienti s jakýmkoli nediabetickým chorioretinálním onemocněním.Neexistovala žádná kritéria pro zařazení nebo vyloučení na základě věku, pohlaví, rasy, kvality obrazu nebo jakéhokoli jiného faktoru.
OCTA snímky byly pořízeny pomocí platformy AngioPlex na Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) podle zobrazovacích protokolů 8\(\times\)8 mm a 6\(\times\)6 mm.Od každého účastníka studie byl získán informovaný souhlas s účastí ve studii a Institucionální kontrolní rada Yale University (IRB) schválila použití informovaného souhlasu s globální fotografií pro všechny tyto pacienty.Podle zásad Helsinské deklarace.Studie byla schválena IRB Yale University.
Obrazy povrchové desky byly vyhodnoceny na základě dříve popsaného skóre pohybových artefaktů (MAS), dříve popsaného skóre artefaktů segmentace (SAS), foveálního centra, přítomnosti opacity média a dobré vizualizace malých kapilár, jak bylo stanoveno vyhodnocovačem snímků.Snímky byly analyzovány dvěma nezávislými hodnotiteli (RD a JW).Snímek má klasifikované skóre 2 (způsobilé), pokud jsou splněna všechna následující kritéria: obrázek je vycentrován ve fovee (méně než 100 pixelů od středu obrázku), MAS je 1 nebo 2, SAS je 1 a neprůhlednost média je menší než 1. Vyskytuje se na obrázcích velikosti / 16 a na obrázcích větších než 15/16 jsou vidět malé kapiláry.Obrázek je hodnocen 0 (bez hodnocení), pokud je splněno kterékoli z následujících kritérií: obrázek je mimo střed, pokud je MAS 4, pokud je SAS 2 nebo je průměrná neprůhlednost větší než 1/4 obrázku a pro rozlišení nelze malé kapiláry upravit o více než 1 obraz /4.Všechny ostatní obrázky, které nesplňují bodovací kritéria 0 nebo 2, jsou hodnoceny jako 1 (výřez).
Na Obr.1 ukazuje vzorové obrázky pro každý z škálovaných odhadů a obrazových artefaktů.Spolehlivost jednotlivých hodnotitelů byla hodnocena Cohenovou kappa váhou8.Jednotlivá skóre každého hodnotitele se sečtou, aby se získalo celkové skóre pro každý snímek v rozsahu od 0 do 4. Obrázky s celkovým skóre 4 jsou považovány za dobré.Obrázky s celkovým skóre 0 nebo 1 jsou považovány za nekvalitní.
Konvoluční neuronová síť architektury ResNet152 (obr. 3A.i) předem natrénovaná na obrázcích z databáze ImageNet byla vygenerována pomocí fast.ai a frameworku PyTorch5, 9, 10, 11. Konvoluční neuronová síť je síť, která využívá naučené filtry pro skenování fragmentů obrazu pro studium prostorových a místních rysů.Náš vyškolený ResNet je 152vrstvá neuronová síť charakterizovaná mezerami nebo „zbytkovými spojeními“, která současně přenášejí informace s více rozlišeními.Promítáním informací v různých rozlišeních přes síť se platforma může naučit vlastnosti nekvalitních obrázků na různých úrovních detailů.Kromě našeho modelu ResNet jsme také trénovali AlexNet, dobře prostudovanou architekturu neuronové sítě, bez chybějících spojení pro srovnání (obrázek 3A.ii)12.Bez chybějících připojení nebude tato síť schopna zachytit funkce s vyšší granularitou.
Původní sada obrázků 8\(\times\)8mm OCTA13 byla vylepšena pomocí technik horizontálního a vertikálního odrazu.Úplná datová sada byla poté náhodně rozdělena na úrovni obrázku na trénovací (51,2 %), testovací (12,8 %), ladění hyperparametrů (16 %) a validační (20 %) datové sady pomocí scikit-learn toolbox python14.Byly zvažovány dva případy, jeden založený na detekci pouze snímků nejvyšší kvality (celkové skóre 4) a druhý založený na detekci pouze snímků s nejnižší kvalitou (celkové skóre 0 nebo 1).Pro každý vysoce kvalitní a nekvalitní případ použití je neuronová síť jednou přeškolena na našich obrazových datech.V každém případě použití byla neuronová síť trénována pro 10 epoch, všechny hmotnosti vrstev kromě nejvyšších byly zmrazeny a váhy všech vnitřních parametrů byly naučeny pro 40 epoch pomocí metody diskriminační rychlosti učení s funkcí ztráty zkřížené entropie 15, 16..Funkce ztráty zkřížené entropie je mírou logaritmického rozsahu nesrovnalosti mezi předpokládanými síťovými značkami a skutečnými daty.Během tréninku se na vnitřních parametrech neuronové sítě provádí gradientní sestup, aby se minimalizovaly ztráty.Rychlost učení, míra odpadnutí a hyperparametry redukce hmotnosti byly vyladěny pomocí bayesovské optimalizace se 2 náhodnými výchozími body a 10 iteracemi a AUC na souboru dat byla vyladěna pomocí hyperparametrů jako cílových 17.
Reprezentativní příklady 8 × 8 mm OCTA snímků povrchových kapilárních plexů s hodnocením 2 (A, B), 1 (C, D) a 0 (E, F).Zobrazené artefakty obrazu zahrnují blikající čáry (šipky), artefakty segmentace (hvězdičky) a neprůhlednost média (šipky).Obrázek (E) je také mimo střed.
Křivky provozních charakteristik přijímače (ROC) jsou pak generovány pro všechny modely neuronových sítí a pro každý případ použití nízké kvality a vysoké kvality jsou generovány zprávy o síle signálu motoru.Plocha pod křivkou (AUC) byla vypočtena pomocí balíčku pROC R a 95% intervaly spolehlivosti a p-hodnoty byly vypočteny pomocí DeLongovy metody18,19.Kumulativní skóre lidských hodnotitelů se používá jako výchozí hodnota pro všechny výpočty ROC.Pro sílu signálu hlášenou strojem byla AUC vypočtena dvakrát: jednou pro mezní hodnotu skóre škálovatelnosti vysoké kvality a jednou pro mezní hodnotu skóre škálovatelnosti nízké kvality.Neuronová síť je porovnávána se silou signálu AUC odrážející její vlastní tréninkové a vyhodnocovací podmínky.
Pro další testování trénovaného modelu hlubokého učení na samostatném datovém souboru byly modely vysoké a nízké kvality přímo aplikovány na hodnocení výkonu 32 celoplošných 6\(\times\) 6mm snímků povrchových desek shromážděných z Yale University.Hmota oka je vycentrována současně s obrázkem 8 \(\times \) 8 mm.Snímky 6\(\×\) 6 mm byly manuálně hodnoceny stejnými hodnotiteli (RD a JW) stejným způsobem jako snímky 8\(\×\) 8 mm, byla vypočtena AUC a také přesnost a Cohenův kappa .stejně .
Poměr nevyváženosti třídy je 158:189 (\(\rho = 1,19\)) u modelu nízké kvality a 80:267 (\(\rho = 3,3\)) u modelu vysoké kvality.Vzhledem k tomu, že poměr nevyváženosti tříd je menší než 1:4, nebyly provedeny žádné specifické architektonické změny k nápravě nevyváženosti tříd20,21.
Pro lepší vizualizaci procesu učení byly vygenerovány mapy aktivace tříd pro všechny čtyři trénované modely hlubokého učení: vysoce kvalitní model ResNet152, model ResNet152 nízké kvality, vysoce kvalitní model AlexNet a model AlexNet nízké kvality.Aktivační mapy tříd jsou generovány ze vstupních konvolučních vrstev těchto čtyř modelů a tepelné mapy jsou generovány překrýváním aktivačních map zdrojovými obrázky z ověřovacích sad 8 × 8 mm a 6 × 6 mm22, 23.
Pro všechny statistické výpočty byla použita verze R 4.0.3 a vizualizace byly vytvořeny pomocí knihovny grafických nástrojů ggplot2.
Shromáždili jsme 347 frontálních snímků povrchového kapilárního plexu o rozměrech 8 \(\times \)8 mm od 134 lidí.Zařízení hlásilo sílu signálu na stupnici od 0 do 10 pro všechny snímky (průměr = 6,99 ± 2,29).Z 347 pořízených snímků byl průměrný věk při vyšetření 58,7 ± 14,6 let a 39,2 % bylo od pacientů mužského pohlaví.Ze všech obrázků bylo 30,8 % od bělochů, 32,6 % od černochů, 30,8 % od Hispánců, 4 % od Asiatů a 1,7 % od jiných ras (tabulka 1).).Věková distribuce pacientů s OCTA se významně lišila v závislosti na kvalitě obrazu (p < 0,001).Procento vysoce kvalitních snímků u mladších pacientů ve věku 18–45 let bylo 33,8 % ve srovnání s 12,2 % snímků nízké kvality (tab. 1).Distribuce stavu diabetické retinopatie se také významně lišila v kvalitě obrazu (p < 0,017).Mezi všemi vysoce kvalitními snímky bylo procento pacientů s PDR 18,8 % ve srovnání s 38,8 % všech snímků nízké kvality (tabulka 1).
Jednotlivá hodnocení všech obrázků vykazovala střední až silnou spolehlivost mezi jednotlivými hodnoceními mezi lidmi, kteří obrázky čtou (Cohenův vážený kappa = 0,79, 95% CI: 0,76-0,82), a nebyly žádné body obrázku, kde by se hodnotitelé lišili o více než 1 (obr. 2A)..Intenzita signálu významně korelovala s manuálním skórováním (korelace momentu produktu Pearson = 0,58, 95% CI 0,51–0,65, p<0,001), ale u mnoha snímků bylo identifikováno, že mají vysokou intenzitu signálu, ale nízké manuální skórování (obr. 0,2B).
Během trénování architektur ResNet152 a AlexNet poklesne ztráta křížové entropie při ověřování a trénování přes 50 epoch (obrázek 3B,C).Přesnost ověření v závěrečné epoše školení je více než 90 % pro případy použití vysoké i nízké kvality.
Výkonnostní křivky přijímače ukazují, že model ResNet152 výrazně překonává výkon signálu uváděný strojem v případech nízké i vysoké kvality (p < 0,001).Model ResNet152 také výrazně překonává architekturu AlexNet (p = 0,005 a p = 0,014 pro případy nízké kvality, respektive vysoce kvalitní).Výsledné modely pro každou z těchto úloh byly schopny dosáhnout hodnot AUC 0,99 a 0,97, což je výrazně lepší než odpovídající hodnoty AUC 0,82 a 0,78 pro index síly signálu stroje nebo 0,97 a 0,94 pro AlexNet. ..(obr. 3).Rozdíl mezi ResNet a AUC v síle signálu je vyšší při rozpoznání vysoce kvalitních snímků, což ukazuje na další výhody použití ResNet pro tento úkol.
Grafy ukazují schopnost každého nezávislého hodnotitele skórovat a porovnávat se silou signálu hlášenou strojem.(A) Součet bodů, které mají být hodnoceny, se použije k vytvoření celkového počtu bodů, které mají být hodnoceny.Snímkům s celkovým skóre škálovatelnosti 4 je přiřazena vysoká kvalita, zatímco obrázkům s celkovým skóre škálovatelnosti 1 nebo méně je přiřazena nízká kvalita.(B) Intenzita signálu koreluje s manuálními odhady, ale snímky s vysokou intenzitou signálu mohou mít horší kvalitu.Červená tečkovaná čára označuje výrobcem doporučený práh kvality na základě síly signálu (síla signálu \(\ge\)6).
ResNet transfer learning poskytuje významné zlepšení v identifikaci kvality obrazu pro případy použití s ​​nízkou i vysokou kvalitou ve srovnání se strojově hlášenými úrovněmi signálu.(A) Schémata zjednodušené architektury předem trénovaných architektur (i) ResNet152 a (ii) AlexNet.(B) Historie školení a křivky výkonu přijímače pro ResNet152 ve srovnání se silou signálu hlášenou strojem a kritérii nízké kvality AlexNet.(C) Historie tréninku přijímače ResNet152 a křivky výkonu ve srovnání se silou signálu hlášenou strojem a kritérii vysoké kvality AlexNet.
Po úpravě prahu rozhodovací hranice je maximální přesnost predikce modelu ResNet152 95,3 % pro případ nízké kvality a 93,5 % pro případ vysoké kvality (Tabulka 2).Maximální přesnost předpovědi modelu AlexNet je 91,0 % pro případ nízké kvality a 90,1 % pro případ vysoké kvality (Tabulka 2).Maximální přesnost předpovědi síly signálu je 76,1 % pro případ použití s ​​nízkou kvalitou a 77,8 % pro případ použití s ​​vysokou kvalitou.Podle Cohenovy kappa (\(\kappa\)) je shoda mezi modelem ResNet152 a odhady 0,90 pro případ nízké kvality a 0,81 pro případ vysoké kvality.Cohenův AlexNet kappa je 0,82 a 0,71 pro případy použití s ​​nízkou a vysokou kvalitou.Cohenova síla signálu kappa je 0,52 a 0,27 pro případy použití s ​​nízkou a vysokou kvalitou.
Validace modelů rozpoznávání vysoké a nízké kvality na 6\(\x\) snímcích 6mm ploché desky demonstruje schopnost trénovaného modelu určit kvalitu obrazu napříč různými zobrazovacími parametry.Při použití mělkých desek 6\(\x\) 6 mm pro kvalitu zobrazení měl model nízké kvality AUC 0,83 (95% CI: 0,69–0,98) a model vysoké kvality měl AUC 0,85.(95% CI: 0,55–1,00) (tabulka 2).
Vizuální kontrola aktivačních map tříd vstupní vrstvy ukázala, že všechny trénované neuronové sítě využívaly vlastnosti obrazu při klasifikaci obrazu (obr. 4A, B).Pro 8 \(\times \) 8 mm a 6 \(\times \) 6 mm snímky aktivační snímky ResNet těsně sledují retinální vaskulaturu.Aktivační mapy AlexNet také sledují cévy sítnice, ale s hrubším rozlišením.
Mapy aktivace tříd pro modely ResNet152 a AlexNet zdůrazňují funkce související s kvalitou obrazu.(A) Mapa aktivace tříd zobrazující koherentní aktivaci po povrchové vaskulatuře sítnice na 8 \(\times \) 8 mm validačních snímcích a (B) rozsah na menších 6 \ (\times \) 6 mm validačních snímcích.Model LQ trénovaný podle kritérií nízké kvality, model HQ trénovaný podle kritérií vysoké kvality.
Již dříve bylo prokázáno, že kvalita obrazu může značně ovlivnit jakoukoli kvantifikaci OCTA snímků.Přítomnost retinopatie navíc zvyšuje výskyt obrazových artefaktů7,26.Ve skutečnosti jsme v našich datech, v souladu s předchozími studiemi, našli významnou souvislost mezi zvyšujícím se věkem a závažností onemocnění sítnice a zhoršením kvality obrazu (p < 0,001, p = 0,017 pro věk a stav DR; tabulka 1) 27 Před provedením jakékoli kvantitativní analýzy OCTA snímků je proto zásadní posoudit kvalitu obrazu.Většina studií analyzujících snímky OCTA používá strojově hlášené prahové hodnoty intenzity signálu k vyloučení snímků nízké kvality.Přestože bylo prokázáno, že intenzita signálu ovlivňuje kvantifikaci parametrů OCTA, samotná vysoká intenzita signálu nemusí být dostatečná k vyloučení snímků s obrazovými artefakty2,3,28,29.Proto je nutné vyvinout spolehlivější způsob kontroly kvality obrazu.Za tímto účelem hodnotíme výkon metod hlubokého učení pod dohledem oproti síle signálu hlášené strojem.
Vyvinuli jsme několik modelů pro hodnocení kvality obrazu, protože různé případy použití OCTA mohou mít různé požadavky na kvalitu obrazu.Například obrázky by měly být kvalitnější.Kromě toho jsou důležité také specifické kvantitativní parametry, které jsou předmětem zájmu.Například oblast foveální avaskulární zóny nezávisí na zákalu necentrálního média, ale ovlivňuje hustotu cév.I když se náš výzkum nadále zaměřuje na obecný přístup ke kvalitě obrazu, který není vázán na požadavky žádného konkrétního testu, ale má přímo nahradit sílu signálu hlášenou zařízením, doufáme, že uživatelům poskytneme větší míru kontroly, aby mohli může vybrat konkrétní metriku, která uživatele zajímá.vyberte model, který odpovídá maximálnímu stupni obrazových artefaktů považovaných za přijatelný.
Pro nekvalitní a vysoce kvalitní scény ukazujeme vynikající výkon hlubokých konvolučních neuronových sítí s chybějícím spojením s AUC 0,97 a 0,99 a modely s nízkou kvalitou.Prokazujeme také vynikající výkon našeho přístupu hlubokého učení ve srovnání s úrovněmi signálu hlášenými pouze stroji.Přeskočit připojení umožňují neuronovým sítím učit se funkce na různých úrovních detailů, zachycovat jemnější aspekty obrázků (např. kontrast) i obecné rysy (např. centrování obrázků30,31).Vzhledem k tomu, že obrazové artefakty, které ovlivňují kvalitu obrazu, se pravděpodobně nejlépe identifikují v širokém rozsahu, architektury neuronových sítí s chybějícími připojeními mohou vykazovat lepší výkon než ty, které nemají úkoly určování kvality obrazu.
Při testování našeho modelu na 6\(\×6mm) OCTA snímcích jsme zaznamenali pokles klasifikačního výkonu pro vysoce kvalitní i nízkokvalitní modely (obr. 2), na rozdíl od velikosti modelu trénovaného pro klasifikaci.Ve srovnání s modelem ResNet má model AlexNet větší spád.Relativně lepší výkon ResNet může být způsoben schopností zbytkových spojení přenášet informace ve více měřítcích, díky čemuž je model robustnější pro klasifikaci snímků pořízených v různých měřítcích a/nebo zvětšeních.
Některé rozdíly mezi snímky 8 \(\×\) 8 mm a snímky 6 \(\×\) 6 mm mohou vést ke špatné klasifikaci, včetně relativně vysokého podílu snímků obsahujících foveální avaskulární oblasti, změny viditelnosti, vaskulární arkády a žádný zrakový nerv na snímku 6×6 mm.Navzdory tomu byl náš vysoce kvalitní model ResNet schopen dosáhnout AUC 85 % pro snímky 6 \(\x\) 6 mm, což je konfigurace, pro kterou model nebyl trénován, což naznačuje, že informace o kvalitě obrazu zakódované v neuronové síti je vhodný.pro jednu velikost obrázku nebo konfiguraci stroje mimo jeho školení (tabulka 2).Uklidňující je, že aktivační mapy ResNet a AlexNet s obrázky 8 \(\times \) 8 mm a 6 \(\times \) 6 mm dokázaly v obou případech zvýraznit cévy sítnice, což naznačuje, že model má důležité informace.jsou použitelné pro klasifikaci obou typů OCTA snímků (obr. 4).
Lauerman a kol.Hodnocení kvality obrazu na snímcích OCTA bylo podobně provedeno pomocí architektury Inception, další konvoluční neuronové sítě s přeskočením připojení6,32 využívající techniky hlubokého učení.Studii také omezili na snímky povrchového kapilárního plexu, ale pouze s použitím menších snímků 3×3 mm z Optovue AngioVue, i když byli zahrnuti i pacienti s různými chorioretinálními chorobami.Naše práce staví na jejich základech, včetně několika modelů, které řeší různé prahové hodnoty kvality obrazu a ověřují výsledky pro obrazy různých velikostí.Uvádíme také metriku AUC modelů strojového učení a zvyšujeme jejich již tak působivou přesnost (90 %)6 u modelů s nízkou kvalitou (96 %) i vysoce kvalitních (95,7 %)6.
Toto školení má několik omezení.Nejprve byly snímky pořízeny pouze jedním přístrojem OCTA, včetně pouze snímků povrchového kapilárního plexu o rozměrech 8\(\times\)8 mm a 6\(\times\)6 mm.Důvod pro vyloučení obrázků z hlubších vrstev je ten, že artefakty projekce mohou ztížit ruční vyhodnocování obrázků a mohou být méně konzistentní.Kromě toho byly snímky získány pouze u diabetických pacientů, u kterých se OCTA objevuje jako důležitý diagnostický a prognostický nástroj33,34.Přestože jsme byli schopni otestovat náš model na obrázcích různých velikostí, abychom zajistili robustnost výsledků, nebyli jsme schopni identifikovat vhodné soubory dat z různých center, což omezovalo naše posouzení zobecnitelnosti modelu.Přestože snímky byly získány pouze z jednoho centra, byly získány od pacientů různého etnického a rasového původu, což je jedinečná síla naší studie.Zahrnutím rozmanitosti do našeho tréninkového procesu doufáme, že naše výsledky budou zobecněny v širším smyslu a že se vyhneme kódování rasových předsudků v modelech, které trénujeme.
Naše studie ukazuje, že neuronové sítě s přeskakováním připojení lze trénovat tak, aby dosahovaly vysokého výkonu při určování kvality obrazu OCTA.Tyto modely poskytujeme jako nástroje pro další výzkum.Protože různé metriky mohou mít různé požadavky na kvalitu obrazu, lze pro každou metriku vytvořit individuální model řízení kvality pomocí zde vytvořené struktury.
Budoucí výzkum by měl zahrnovat obrazy různých velikostí z různých hloubek a různých strojů OCTA, aby se získal proces hodnocení kvality obrazu s hlubokým učením, který lze zobecnit na platformy OCTA a zobrazovací protokoly.Současný výzkum je také založen na přístupech hlubokého učení pod dohledem, které vyžadují lidské hodnocení a hodnocení obrazu, což může být náročné na práci a časově náročné pro velké soubory dat.Zbývá zjistit, zda metody hlubokého učení bez dozoru mohou adekvátně rozlišovat mezi obrázky nízké kvality a obrázky vysoké kvality.
Vzhledem k tomu, že se technologie OCTA neustále vyvíjí a rychlost skenování se zvyšuje, může se snížit výskyt obrazových artefaktů a obrazů nízké kvality.Tato omezení mohou také zmírnit vylepšení softwaru, jako je nedávno představená funkce odstranění artefaktů z projekce.Mnoho problémů však zůstává, protože zobrazování pacientů se špatnou fixací nebo významným zákalem média vždy vede k artefaktům obrazu.Vzhledem k tomu, že se OCTA stále více používá v klinických studiích, je třeba pečlivě zvážit stanovení jasných pokynů pro přijatelné úrovně artefaktů obrazu pro analýzu obrazu.Aplikace metod hlubokého učení na snímky OCTA je velkým příslibem a v této oblasti je zapotřebí dalšího výzkumu, aby se vyvinul robustní přístup ke kontrole kvality snímků.
Kód použitý v aktuálním výzkumu je k dispozici v úložišti octa-qc, https://github.com/rahuldhodapkar/octa-qc.Datové soubory generované a/nebo analyzované během aktuální studie jsou k dispozici od příslušných autorů na odůvodněnou žádost.
Spaide, RF, Fujimoto, JG & Waheed, NK Artefakty obrazu v optické koherenční angiografii.Retina 35, 2163–2180 (2015).
Fenner, BJ a kol.Identifikace zobrazovacích znaků, které určují kvalitu a reprodukovatelnost měření hustoty kapilárního plexu sítnice v OCT angiografii.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL a kol.Vliv technologie eye-tracking na kvalitu obrazu OCT angiografie u věkem podmíněné makulární degenerace.Hrobový oblouk.klinický.Exp.oftalmologie.255, 1535–1542 (2017).
Babyuch AS a kol.Měření hustoty kapilární perfuze OCTA se používá k detekci a hodnocení makulární ischemie.oční chirurgie.Laserové zobrazení sítnice 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. a Sun, J. Hluboké zbytkové učení pro rozpoznávání obrazu.V roce 2016 na IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL a kol.Automatizované hodnocení kvality angiografického obrazu OCT pomocí algoritmů hlubokého učení.Hrobový oblouk.klinický.Exp.oftalmologie.257, 1641–1648 (2019).
Lauermann, J. a kol.Prevalence segmentačních chyb a pohybových artefaktů v OCT angiografii závisí na onemocnění sítnice.Hrobový oblouk.klinický.Exp.oftalmologie.256, 1807–1816 (2018).
Pask, Adam a kol.Pytorch: Nezbytná, vysoce výkonná knihovna hlubokého učení.Pokročilé zpracování nervových informací.Systém.32, 8026–8037 (2019).
Deng, J. a kol.ImageNet: Hierarchická databáze obrázků ve velkém měřítku.2009 IEEE konference o počítačovém vidění a rozpoznávání vzorů.248–255.(2009).
Krizhevsky A., Sutzkever I. a Hinton GE Imagenet klasifikace pomocí hlubokých konvolučních neuronových sítí.Pokročilé zpracování nervových informací.Systém.25, 1 (2012).