Gràcies per visitar Nature.com.Esteu utilitzant una versió del navegador amb suport CSS limitat.Per obtenir la millor experiència, us recomanem que utilitzeu un navegador actualitzat (o desactiveu el mode de compatibilitat a Internet Explorer).A més, per garantir un suport continuat, mostrem el lloc sense estils ni JavaScript.
Controls lliscants que mostren tres articles per diapositiva.Utilitzeu els botons enrere i següent per moure's per les diapositives, o els botons del controlador de diapositives al final per moure's per cada diapositiva.
L'angiografia tomogràfica de coherència òptica (OCTA) és un nou mètode per a la visualització no invasiva dels vasos retinals.Tot i que OCTA té moltes aplicacions clíniques prometedores, determinar la qualitat de la imatge continua sent un repte.Hem desenvolupat un sistema basat en aprenentatge profund mitjançant el classificador de xarxes neuronals ResNet152 entrenat prèviament amb ImageNet per classificar imatges del plexe capil·lar superficial de 347 exploracions de 134 pacients.Les imatges també van ser avaluades manualment com a veritat real per dos avaluadors independents per a un model d'aprenentatge supervisat.Com que els requisits de qualitat d'imatge poden variar en funció de la configuració clínica o d'investigació, es van formar dos models, un per al reconeixement d'imatges d'alta qualitat i l'altre per al reconeixement d'imatges de baixa qualitat.El nostre model de xarxa neuronal mostra una excel·lent àrea sota la corba (AUC), IC del 95% 0,96-0,99, \(\kappa\) = 0,81), que és significativament millor que el nivell de senyal informat per la màquina (AUC = 0,82, 95). % CI).0,77–0,86, \(\kappa\) = 0,52 i AUC = 0,78, IC del 95% 0,73–0,83, \(\kappa\) = 0,27, respectivament).El nostre estudi demostra que els mètodes d'aprenentatge automàtic es poden utilitzar per desenvolupar mètodes de control de qualitat flexibles i robusts per a imatges OCTA.
L'angiografia tomogràfica de coherència òptica (OCTA) és una tècnica relativament nova basada en la tomografia de coherència òptica (OCT) que es pot utilitzar per a la visualització no invasiva de la microvasculatura de la retina.L'OCTA mesura la diferència en els patrons de reflexió dels polsos de llum repetits a la mateixa àrea de la retina, i després es poden calcular reconstruccions per revelar vasos sanguinis sense l'ús invasiu de colorants o altres agents de contrast.L'OCTA també permet imatges vasculars de resolució de profunditat, permetent als metges examinar per separat les capes dels vasos superficials i profunds, ajudant a diferenciar les malalties corioretinals.
Tot i que aquesta tècnica és prometedora, la variació de la qualitat de la imatge segueix sent un repte important per a l'anàlisi d'imatges fiable, cosa que dificulta la interpretació d'imatges i impedeix l'adopció clínica generalitzada.Com que l'OCTA utilitza múltiples exploracions OCT consecutives, és més sensible als artefactes d'imatge que l'OCT estàndard.La majoria de plataformes comercials OCTA proporcionen la seva pròpia mètrica de qualitat d'imatge anomenada Intensitat del senyal (SS) o, de vegades, Índex de força del senyal (SSI).Tanmateix, les imatges amb un valor SS o SSI elevat no garanteixen l'absència d'artefactes d'imatge, que poden afectar qualsevol anàlisi d'imatge posterior i conduir a decisions clíniques incorrectes.Els artefactes d'imatge habituals que es poden produir a les imatges OCTA inclouen artefactes de moviment, artefactes de segmentació, artefactes d'opacitat dels mitjans i artefactes de projecció1,2,3.
Com que les mesures derivades de l'OCTA, com ara la densitat vascular, s'utilitzen cada cop més en la investigació translacional, els assaigs clínics i la pràctica clínica, hi ha una necessitat urgent de desenvolupar processos de control de qualitat d'imatge robusts i fiables per eliminar els artefactes d'imatge4.Les connexions de salt, també conegudes com a connexions residuals, són projeccions en l'arquitectura de xarxes neuronals que permeten que la informació passi per alt les capes convolucionals mentre emmagatzema informació a diferents escales o resolucions5.Com que els artefactes d'imatge poden afectar el rendiment d'imatge a petita escala i general a gran escala, les xarxes neuronals de connexió de saltar són molt adequades per automatitzar aquesta tasca de control de qualitat5.El treball publicat recentment ha mostrat una certa promesa per a xarxes neuronals convolucionals profundes entrenades mitjançant dades d'alta qualitat d'estimadors humans6.
En aquest estudi, entrenem una xarxa neuronal convolucional que salta la connexió per determinar automàticament la qualitat de les imatges OCTA.Ens basem en el treball anterior desenvolupant models separats per identificar imatges d'alta qualitat i imatges de baixa qualitat, ja que els requisits de qualitat d'imatge poden diferir per a escenaris clínics o d'investigació específics.Comparem els resultats d'aquestes xarxes amb xarxes neuronals convolucionals sense perdre connexions per avaluar el valor d'incloure funcions a diversos nivells de granularitat dins de l'aprenentatge profund.A continuació, vam comparar els nostres resultats amb la força del senyal, una mesura de qualitat d'imatge comunament acceptada proporcionada pels fabricants.
El nostre estudi va incloure pacients amb diabetis que van assistir al Yale Eye Center entre l'11 d'agost de 2017 i l'11 d'abril de 2019. Es van excloure els pacients amb qualsevol malaltia corioretinal no diabètica.No hi havia criteris d'inclusió o exclusió basats en l'edat, el gènere, la raça, la qualitat de la imatge o qualsevol altre factor.
Les imatges OCTA es van adquirir mitjançant la plataforma AngioPlex en un Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublín, CA) amb protocols d'imatge de 8\(\times\)8 mm i 6\(\times\)6 mm.Es va obtenir el consentiment informat per a la participació en l'estudi de cada participant de l'estudi i la Junta de Revisió Institucional de la Universitat de Yale (IRB) va aprovar l'ús del consentiment informat amb fotografia global per a tots aquests pacients.Seguint els principis de la Declaració d'Hèlsinki.L'estudi va ser aprovat per l'IRB de la Universitat de Yale.
Les imatges de plaques superficials es van avaluar a partir del Motion Artifact Score (MAS) descrit anteriorment, el Segmentation Artifact Score (SAS) descrit anteriorment, el centre foveal, la presència d'opacitat dels mitjans i una bona visualització dels petits capil·lars tal com ho determina l'avaluador d'imatge.Les imatges van ser analitzades per dos avaluadors independents (RD i JW).Una imatge té una puntuació de 2 (apte) si es compleixen tots els criteris següents: la imatge està centrada a la fòvea (a menys de 100 píxels del centre de la imatge), MAS és 1 o 2, SAS és 1 i l'opacitat del suport és inferior a 1. Present en imatges de mida / 16, i es veuen capil·lars petits en imatges més grans de 15/16.Una imatge té una qualificació de 0 (sense qualificació) si es compleix algun dels criteris següents: la imatge està descentrada, si MAS és 4, si SAS és 2 o l'opacitat mitjana és superior a 1/4 de la imatge i els capil·lars petits no es poden ajustar més d'1 imatge /4 per distingir-los.Totes les altres imatges que no compleixen els criteris de puntuació 0 o 2 es puntuen com a 1 (retall).
A la fig.1 mostra imatges de mostra per a cadascuna de les estimacions escalades i els artefactes d'imatge.La fiabilitat entre evaluadors de les puntuacions individuals es va avaluar mitjançant la ponderació kappa de Cohen8.Les puntuacions individuals de cada valorador es sumen per obtenir una puntuació global per a cada imatge, que va de 0 a 4. Les imatges amb una puntuació total de 4 es consideren bones.Les imatges amb una puntuació total de 0 o 1 es consideren de baixa qualitat.
Es va generar una xarxa neuronal convolucional d'arquitectura ResNet152 (Fig. 3A.i) prèviament entrenada en imatges de la base de dades ImageNet mitjançant fast.ai i el framework PyTorch5, 9, 10, 11. Una xarxa neuronal convolucional és una xarxa que utilitza els coneixements apresos. filtres per escanejar fragments d'imatge per estudiar característiques espacials i locals.La nostra ResNet entrenada és una xarxa neuronal de 152 capes caracteritzada per buits o "connexions residuals" que transmeten informació simultàniament amb múltiples resolucions.En projectar informació a diferents resolucions a través de la xarxa, la plataforma pot conèixer les característiques d'imatges de baixa qualitat a diversos nivells de detall.A més del nostre model ResNet, també vam entrenar AlexNet, una arquitectura de xarxa neuronal ben estudiada, sense que falten connexions per a la comparació (figura 3A.ii)12.Sense les connexions que falten, aquesta xarxa no podrà capturar funcions amb una granularitat més gran.
El conjunt d'imatges OCTA13 original de 8\(\times\)8mm s'ha millorat mitjançant tècniques de reflexió horitzontal i vertical.El conjunt de dades complet es va dividir aleatòriament a nivell d'imatge en conjunts de dades d'entrenament (51,2%), proves (12,8%), ajustament d'hiperparàmetres (16%) i validació (20%) mitjançant la caixa d'eines scikit-learn python14.Es van considerar dos casos, un basat en detectar només les imatges de més alta qualitat (puntuació global 4) i l'altre basat en detectar només les imatges de menor qualitat (puntuació global 0 o 1).Per a cada cas d'ús d'alta qualitat i de baixa qualitat, la xarxa neuronal es torna a entrenar una vegada a les nostres dades d'imatge.En cada cas d'ús, la xarxa neuronal es va entrenar durant 10 èpoques, es van congelar tots els pesos de la capa menys els més alts i els pesos de tots els paràmetres interns es van aprendre durant 40 èpoques mitjançant un mètode de taxa d'aprenentatge discriminatiu amb una funció de pèrdua d'entropia creuada 15, 16..La funció de pèrdua d'entropia creuada és una mesura de l'escala logarítmica de la discrepància entre les etiquetes de xarxa previstes i les dades reals.Durant l'entrenament, es realitza un descens de gradient sobre els paràmetres interns de la xarxa neuronal per minimitzar les pèrdues.La taxa d'aprenentatge, la taxa d'abandonament i els hiperparàmetres de reducció de pes es van ajustar mitjançant l'optimització bayesiana amb 2 punts de partida aleatoris i 10 iteracions, i l'AUC del conjunt de dades es va ajustar utilitzant els hiperparàmetres com a objectiu de 17.
Exemples representatius d'imatges OCTA de 8 × 8 mm de plexes capil·lars superficials van puntuar 2 (A, B), 1 (C, D) i 0 (E, F).Els artefactes de la imatge que es mostren inclouen línies parpellejants (fletxes), artefactes de segmentació (asteriscs) i opacitat dels mitjans (fletxes).La imatge (E) també està descentrada.
A continuació, es generen les corbes de característiques operatives del receptor (ROC) per a tots els models de xarxa neuronal i es generen informes de força del senyal del motor per a cada cas d'ús de baixa qualitat i alta qualitat.L'àrea sota la corba (AUC) es va calcular mitjançant el paquet pROC R, i els intervals de confiança del 95% i els valors p es van calcular mitjançant el mètode DeLong18,19.Les puntuacions acumulades dels qualificadors humans s'utilitzen com a línia de base per a tots els càlculs de ROC.Per a la força del senyal informada per la màquina, l'AUC es va calcular dues vegades: una vegada per al tall de la puntuació d'escalabilitat d'alta qualitat i una altra per al tall de la puntuació d'escalabilitat de baixa qualitat.La xarxa neuronal es compara amb la força del senyal AUC que reflecteix les seves pròpies condicions d'entrenament i avaluació.
Per provar encara més el model d'aprenentatge profund entrenat en un conjunt de dades independent, es van aplicar directament models d'alta qualitat i baixa qualitat a l'avaluació del rendiment de 32 imatges de lloses de superfície de 6\(\times\) de 6 mm de cara completa recollides a la Universitat de Yale.La massa de l'ull es centra al mateix temps que la imatge 8 \(\times \) 8 mm.Les imatges de 6\(\×\) 6 mm van ser avaluades manualment pels mateixos evaluadors (RD i JW) de la mateixa manera que les imatges de 8\(\×\) 8 mm, es va calcular l'AUC, així com la precisió i el kappa de Cohen. .igualment.
La relació de desequilibri de classe és 158:189 (\(\rho = 1,19\)) per al model de baixa qualitat i 80:267 (\(\rho = 3,3\)) per al model d'alta qualitat.Com que la relació de desequilibri de classe és inferior a 1:4, no s'han fet canvis arquitectònics específics per corregir el desequilibri de classe20,21.
Per visualitzar millor el procés d'aprenentatge, es van generar mapes d'activació de classe per als quatre models d'aprenentatge profund entrenats: model ResNet152 d'alta qualitat, model ResNet152 de baixa qualitat, model AlexNet d'alta qualitat i model AlexNet de baixa qualitat.Els mapes d'activació de classes es generen a partir de les capes convolucionals d'entrada d'aquests quatre models, i els mapes de calor es generen superposant mapes d'activació amb imatges font dels conjunts de validació de 8 × 8 mm i 6 × 6 mm22, 23.
Es va utilitzar la versió 4.0.3 de R per a tots els càlculs estadístics i es van crear visualitzacions mitjançant la biblioteca d'eines gràfiques ggplot2.
Vam recollir 347 imatges frontals del plexe capil·lar superficial que mesuraven 8 \(\times \)8 mm de 134 persones.La màquina va informar la força del senyal en una escala de 0 a 10 per a totes les imatges (mitjana = 6,99 ± 2,29).De les 347 imatges adquirides, l'edat mitjana a l'examen va ser de 58,7 ± 14,6 anys i el 39,2% eren de pacients homes.De totes les imatges, el 30,8% eren de caucàsics, el 32,6% de negres, el 30,8% d'hispans, el 4% d'asiàtics i l'1,7% d'altres races (taula 1).).La distribució per edat dels pacients amb OCTA va variar significativament depenent de la qualitat de la imatge (p <0,001).El percentatge d'imatges d'alta qualitat en pacients més joves d'entre 18 i 45 anys va ser del 33,8% en comparació amb el 12,2% d'imatges de baixa qualitat (taula 1).La distribució de l'estat de la retinopatia diabètica també va variar significativament en la qualitat de la imatge (p <0, 017).Entre totes les imatges d'alta qualitat, el percentatge de pacients amb PDR va ser del 18,8% en comparació amb el 38,8% de totes les imatges de baixa qualitat (taula 1).
Les puntuacions individuals de totes les imatges van mostrar una fiabilitat intercalificació moderada a forta entre les persones que llegien les imatges (kappa ponderat de Cohen = 0, 79, IC del 95%: 0, 76-0, 82) i no hi va haver punts d'imatge on els valoradors difereixen en més d'1 (Fig. 2A)..La intensitat del senyal es va correlacionar significativament amb la puntuació manual (correlació del moment del producte Pearson = 0, 58, IC del 95% 0, 51-0, 65, p <0, 001), però es va identificar que moltes imatges tenien una intensitat de senyal alta però una puntuació manual baixa (Fig. 2B).
Durant l'entrenament de les arquitectures ResNet152 i AlexNet, la pèrdua d'entropia creuada en validació i formació cau en 50 èpoques (figura 3B, C).La precisió de la validació a l'època d'entrenament final és superior al 90% tant per als casos d'ús d'alta qualitat com de baixa qualitat.
Les corbes de rendiment del receptor mostren que el model ResNet152 supera significativament la potència del senyal informada per la màquina tant en casos d'ús de baixa com d'alta qualitat (p <0,001).El model ResNet152 també supera significativament l'arquitectura AlexNet (p = 0,005 i p = 0,014 per a casos de baixa qualitat i d'alta qualitat, respectivament).Els models resultants per a cadascuna d'aquestes tasques van poder aconseguir valors AUC de 0,99 i 0,97, respectivament, que és significativament millor que els valors AUC corresponents de 0,82 i 0,78 per a l'índex de força del senyal de la màquina o 0,97 i 0,94 per a AlexNet. ..(Fig. 3).La diferència entre ResNet i AUC en la força del senyal és més gran quan es reconeixen imatges d'alta qualitat, cosa que indica avantatges addicionals d'utilitzar ResNet per a aquesta tasca.
Els gràfics mostren la capacitat de cada evaluador independent per puntuar i comparar amb la força del senyal informada per la màquina.(A) La suma dels punts a avaluar s'utilitza per crear el nombre total de punts a avaluar.Les imatges amb una puntuació d'escalabilitat global de 4 se'ls assigna una qualitat alta, mentre que les imatges amb una puntuació d'escalabilitat global d'1 o menys se'ls assigna una qualitat baixa.(B) La intensitat del senyal es correlaciona amb les estimacions manuals, però les imatges amb una intensitat de senyal alta poden ser de pitjor qualitat.La línia de punts vermella indica el llindar de qualitat recomanat pel fabricant en funció de la força del senyal (intensitat del senyal \(\ge\)6).
L'aprenentatge de transferència ResNet proporciona una millora significativa en la identificació de la qualitat d'imatge tant per als casos d'ús de baixa qualitat com d'alta qualitat en comparació amb els nivells de senyal informats per la màquina.(A) Esquemes d'arquitectura simplificats d'arquitectures (i) ResNet152 i (ii) AlexNet prèviament entrenadas.(B) Historial d'entrenament i corbes de rendiment del receptor per a ResNet152 en comparació amb la força del senyal informada de la màquina i els criteris de baixa qualitat d'AlexNet.(C) Historial d'entrenament del receptor ResNet152 i corbes de rendiment en comparació amb la força del senyal informada de la màquina i els criteris d'alta qualitat d'AlexNet.
Després d'ajustar el llindar del límit de decisió, la precisió màxima de predicció del model ResNet152 és del 95,3% per al cas de baixa qualitat i del 93,5% per al cas d'alta qualitat (taula 2).La precisió màxima de predicció del model AlexNet és del 91,0% per al cas de baixa qualitat i del 90,1% per al cas d'alta qualitat (taula 2).La precisió màxima de predicció de la força del senyal és del 76,1% per al cas d'ús de baixa qualitat i del 77,8% per al cas d'ús d'alta qualitat.Segons el kappa de Cohen (\(\kappa\)), l'acord entre el model ResNet152 i els estimadors és de 0,90 per al cas de baixa qualitat i 0,81 per al cas d'alta qualitat.AlexNet kappa de Cohen és de 0,82 i 0,71 per als casos d'ús de baixa qualitat i d'alta qualitat, respectivament.La força del senyal kappa de Cohen és de 0,52 i 0,27 per als casos d'ús de baixa i alta qualitat, respectivament.
La validació de models de reconeixement d'alta i baixa qualitat en imatges de 6\(\x\) d'una placa plana de 6 mm demostra la capacitat del model entrenat per determinar la qualitat de la imatge a través de diversos paràmetres d'imatge.Quan s'utilitzaven lloses poc profundes de 6\(\x\) 6 mm per a la qualitat de la imatge, el model de baixa qualitat tenia un AUC de 0,83 (IC del 95%: 0,69–0,98) i el model d'alta qualitat tenia un AUC de 0,85.(IC del 95%: 0,55–1,00) (Taula 2).
La inspecció visual dels mapes d'activació de la classe d'entrada va mostrar que totes les xarxes neuronals entrenades utilitzaven característiques de la imatge durant la classificació d'imatges (Fig. 4A, B).Per a imatges de 8 \(\times \) 8 mm i 6 \(\times \) 6 mm, les imatges d'activació de ResNet segueixen de prop la vasculatura de la retina.Els mapes d'activació d'AlexNet també segueixen els vasos de la retina, però amb una resolució més gruixuda.
Els mapes d'activació de classe dels models ResNet152 i AlexNet destaquen característiques relacionades amb la qualitat de la imatge.(A) Mapa d'activació de classe que mostra l'activació coherent després de la vasculatura superficial de la retina en imatges de validació de 8 \(\times \) 8 mm i (B) extensió en imatges de validació més petites de 6 \(\times \) 6 mm.Model LQ entrenat amb criteris de baixa qualitat, model HQ format amb criteris d'alta qualitat.
Anteriorment s'ha demostrat que la qualitat de la imatge pot afectar en gran mesura qualsevol quantificació d'imatges OCTA.A més, la presència de retinopatia augmenta la incidència d'artefactes d'imatge7,26.De fet, a les nostres dades, d'acord amb estudis anteriors, vam trobar una associació significativa entre l'augment de l'edat i la gravetat de la malaltia de la retina i el deteriorament de la qualitat de la imatge (p <0,001, p = 0,017 per a l'edat i l'estat de DR, respectivament; taula 1) 27 Per tant, és fonamental avaluar la qualitat de la imatge abans de realitzar qualsevol anàlisi quantitativa d'imatges OCTA.La majoria dels estudis que analitzen imatges OCTA utilitzen llindars d'intensitat del senyal informats per màquina per descartar imatges de baixa qualitat.Tot i que s'ha demostrat que la intensitat del senyal afecta la quantificació dels paràmetres OCTA, la intensitat del senyal alta pot no ser suficient per descartar imatges amb artefactes d'imatge2,3,28,29.Per tant, és necessari desenvolupar un mètode més fiable de control de qualitat de la imatge.Amb aquesta finalitat, avaluem el rendiment dels mètodes d'aprenentatge profund supervisat en comparació amb la força del senyal informada per la màquina.
Hem desenvolupat diversos models per avaluar la qualitat de la imatge perquè els diferents casos d'ús d'OCTA poden tenir requisits de qualitat d'imatge diferents.Per exemple, les imatges haurien de ser de més qualitat.A més, també són importants els paràmetres quantitatius específics d'interès.Per exemple, l'àrea de la zona avascular foveal no depèn de la terbolesa del medi no central, sinó que afecta la densitat dels vasos.Tot i que la nostra investigació continua centrant-se en un enfocament general de la qualitat de la imatge, no vinculat als requisits de cap prova en particular, sinó que pretén substituir directament la intensitat del senyal informada per la màquina, esperem oferir als usuaris un major grau de control perquè pot seleccionar la mètrica específica d'interès per a l'usuari.triar un model que correspongui al grau màxim d'artefactes d'imatge considerat acceptable.
Per a escenes de baixa qualitat i alta qualitat, mostrem un excel·lent rendiment de les xarxes neuronals convolucionals profundes que falten connexió, amb AUC de 0,97 i 0,99 i models de baixa qualitat, respectivament.També demostrem el rendiment superior del nostre enfocament d'aprenentatge profund en comparació amb els nivells de senyal que només informen les màquines.Les connexions per saltar permeten que les xarxes neuronals aprenguin característiques a múltiples nivells de detall, capturant aspectes més detallats de les imatges (p. ex. contrast), així com característiques generals (p. ex. centratge d'imatges30,31).Atès que probablement els artefactes d'imatge que afecten la qualitat de la imatge s'identifiquen millor en una àmplia gamma, les arquitectures de xarxes neuronals amb connexions que falten poden presentar un millor rendiment que les que no tenen tasques de determinació de la qualitat de la imatge.
Quan vam provar el nostre model amb imatges OCTA de 6\(\×6mm), vam observar una disminució del rendiment de classificació tant per als models d'alta qualitat com per als de baixa qualitat (Fig. 2), en contrast amb la mida del model entrenat per a la classificació.En comparació amb el model ResNet, el model AlexNet té una caiguda més gran.El rendiment relativament millor de ResNet pot ser degut a la capacitat de les connexions residuals de transmetre informació a múltiples escales, cosa que fa que el model sigui més robust per classificar imatges capturades a diferents escales i/o augments.
Algunes diferències entre imatges de 8 \(\×\) 8 mm i imatges de 6 \(\×\) 6 mm poden provocar una mala classificació, inclosa una proporció relativament alta d'imatges que contenen àrees avasculars foveals, canvis en la visibilitat, arcades vasculars i sense nervi òptic a la imatge 6×6 mm.Malgrat això, el nostre model ResNet d'alta qualitat va ser capaç d'aconseguir un AUC del 85% per a imatges de 6 \(\x\) 6 mm, una configuració per a la qual el model no estava entrenat, cosa que suggereix que la informació de qualitat de la imatge es codificava a la xarxa neuronal. és adequat.per a una mida d'imatge o configuració de màquina fora de la seva formació (taula 2).De manera tranquil·litzadora, els mapes d'activació similars a ResNet i AlexNet d'imatges de 8 \(\times \) 8 mm i 6 \(\times \) 6 mm van poder ressaltar els vasos de la retina en ambdós casos, cosa que suggereix que el model té informació important.són aplicables per classificar ambdós tipus d'imatges OCTA (Fig. 4).
Lauerman et al.L'avaluació de la qualitat de la imatge de les imatges OCTA es va realitzar de manera similar mitjançant l'arquitectura Inception, una altra xarxa neuronal convolucional de connexió de saltar6,32 mitjançant tècniques d'aprenentatge profund.També van limitar l'estudi a imatges del plexe capil·lar superficial, però només utilitzant les imatges més petites de 3 × 3 mm d'Optovue AngioVue, tot i que també es van incloure pacients amb diverses malalties corioretinals.El nostre treball es basa en els seus fonaments, inclosos diversos models per abordar diversos llindars de qualitat d'imatge i validar resultats per a imatges de diferents mides.També informem de la mètrica AUC dels models d'aprenentatge automàtic i augmentem la seva precisió ja impressionant (90%)6 tant per als models de baixa qualitat (96%) com d'alta qualitat (95,7%)6.
Aquesta formació té diverses limitacions.Primer, les imatges es van adquirir amb només una màquina OCTA, incloent només imatges del plexe capil·lar superficial a 8\(\times\)8 mm i 6\(\times\)6 mm.El motiu per excloure imatges de capes més profundes és que els artefactes de projecció poden fer que l'avaluació manual de les imatges sigui més difícil i possiblement menys coherent.A més, només s'han adquirit imatges en pacients diabètics, per als quals l'OCTA s'està consolidant com una important eina de diagnòstic i pronòstic33,34.Tot i que vam poder provar el nostre model en imatges de diferents mides per garantir que els resultats fossin robusts, no vam poder identificar conjunts de dades adequats de diferents centres, cosa que va limitar la nostra avaluació de la generalització del model.Tot i que les imatges es van obtenir d'un sol centre, es van obtenir de pacients de diferents orígens ètnics i racials, la qual cosa és una fortalesa única del nostre estudi.En incloure la diversitat en el nostre procés d'entrenament, esperem que els nostres resultats es generalitzin en un sentit més ampli i que evitem codificar el biaix racial en els models que entrenem.
El nostre estudi mostra que les xarxes neuronals que salten la connexió es poden entrenar per aconseguir un alt rendiment en la determinació de la qualitat de la imatge OCTA.Oferim aquests models com a eines per a més investigacions.Com que diferents mètriques poden tenir diferents requisits de qualitat d'imatge, es pot desenvolupar un model de control de qualitat individual per a cada mètrica mitjançant l'estructura establerta aquí.
La investigació futura hauria d'incloure imatges de diferents mides de diferents profunditats i diferents màquines OCTA per obtenir un procés d'avaluació de la qualitat de la imatge d'aprenentatge profund que es pugui generalitzar a les plataformes OCTA i als protocols d'imatge.La investigació actual també es basa en enfocaments d'aprenentatge profund supervisat que requereixen una avaluació humana i l'avaluació d'imatges, que poden ser una feina intensa i que requereixen temps per a grans conjunts de dades.Caldrà veure si els mètodes d'aprenentatge profund no supervisats poden distingir adequadament entre imatges de baixa qualitat i imatges d'alta qualitat.
A mesura que la tecnologia OCTA continua evolucionant i augmenta la velocitat d'escaneig, la incidència d'artefactes d'imatge i imatges de mala qualitat pot disminuir.Les millores al programari, com ara la funció d'eliminació d'artefactes de projecció introduïda recentment, també poden alleujar aquestes limitacions.No obstant això, queden molts problemes, ja que la imatge de pacients amb una fixació deficient o una terbolesa significativa dels mitjans de manera invariable produeix artefactes d'imatge.A mesura que l'OCTA s'utilitza més àmpliament en els assaigs clínics, cal una consideració acurada per establir directrius clares per als nivells d'artefacte d'imatge acceptables per a l'anàlisi d'imatges.L'aplicació de mètodes d'aprenentatge profund a les imatges OCTA és molt prometedora i es necessiten més investigacions en aquesta àrea per desenvolupar un enfocament sòlid del control de la qualitat de la imatge.
El codi utilitzat en la investigació actual està disponible al repositori octa-qc, https://github.com/rahuldhodapkar/octa-qc.Els conjunts de dades generats i/o analitzats durant l'estudi actual estan disponibles als autors respectius a petició raonable.
Spaide, RF, Fujimoto, JG i Waheed, NK Artefactes d'imatge en angiografia de coherència òptica.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Identificació de les característiques d'imatge que determinen la qualitat i la reproductibilitat de les mesures de densitat del plexe capil·lar retinià en angiografia OCT.BR.J. Oftalmol.102, 509–514 (2018).
Lauerman, JL et al.Influència de la tecnologia de seguiment ocular en la qualitat de la imatge de l'angiografia OCT en la degeneració macular relacionada amb l'edat.Arc sepulcral.clínica.Exp.oftalmologia.255, 1535–1542 (2017).
Babyuch AS et al.Les mesures de densitat de perfusió capil·lar OCTA s'utilitzen per detectar i avaluar la isquèmia macular.cirurgia oftàlmica.Imatge làser de retina 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. i Sun, J. Deep Residual Learning for Image Recognition.El 2016 a la Conferència IEEE sobre Visió per Computador i Reconeixement de Patrons (2016).
Lauerman, JL et al.Avaluació automatitzada de la qualitat de la imatge angiogràfica OCT mitjançant algorismes d'aprenentatge profund.Arc sepulcral.clínica.Exp.oftalmologia.257, 1641–1648 (2019).
Lauermann, J. et al.La prevalença d'errors de segmentació i artefactes de moviment en angiografia OCT depèn de la malaltia de la retina.Arc sepulcral.clínica.Exp.oftalmologia.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: una biblioteca d'aprenentatge profund imperatiu i d'alt rendiment.Processament avançat de la informació neuronal.sistema.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: una base de dades d'imatges jeràrquiques a gran escala.2009 Conferència IEEE sobre visió per ordinador i reconeixement de patrons.248–255.(2009).
Krizhevsky A., Sutzkever I. i Hinton GE Classificació d'imatges utilitzant xarxes neuronals convolucionals profundes.Processament avançat de la informació neuronal.sistema.25, 1 (2012).