Dinamikus memória a katasztrofális felejtés enyhítésére a folyamatos tanulás során az orvosi képalkotással

Kapcsolatfelvétel: Audrey Hu Whatsapp/hp: 0086 13880143964 E-mail:audrey.hu@wecistanche.com

Matthias Perkonigg1, Johannes Hofmanninger1, Christian J. Herold1, James A. Brink2, Oleg Pianykh2, Helmut Prosch1 és Georg Langs1✉

Az orvosi képalkotás a klinikai diagnózis és kezelési útmutatás központi része. A gépi tanulás egyre inkább jelentőséggel bír, mivel megragadja a betegségek és a kezelésre adott válaszok jellemzőit, amelyek relevánsak a terápiás döntéshozatal szempontjából. A klinikai gyakorlatban a képrögzítési technológia vagy a diagnosztikai eljárások folyamatos fejlődése, a szkennerek sokfélesége és a fejlődő képalkotó protokollok hátráltatják a gépi tanulás hasznosságát, mivel az új adatok előrejelzési pontossága romlik, vagy a modellek elavulnak a tartományváltások miatt. . Folyamatos tanulási megközelítést javasolunk az ilyen ismeretlen időpontokban előforduló tartományváltások kezelésére. A modelleket a folyamatos adatfolyamban megjelenő változatokhoz igazítjuk, miközben ellensúlyozzuk a katasztrofális felejtést. Egy dinamikusmemórialehetővé teszi a különféle képzési adatok egy részhalmazának próbáját a felejtés csökkentése érdekében, miközben lehetővé teszi a modellek új tartományokra való kiterjesztését. A technika egyensúlyban vanmemóriapszeudodomének észlelésével, amelyek az adatfolyamon belül különböző stílusú klasztereket képviselnek. Két különböző feladat, a mágneses rezonancia képalkotásban végzett szívszegmentáció és a komputertomográfiás tüdőcsomó-detektálás értékelése a módszer következetes előnyét mutatja.

A Cistanche javíthatja a memóriát

A mélytanulási (DL) algoritmusok egyre nagyobb jelentőséget kapnak az orvosi képalkotásban, lehetővé téve az anatómiai struktúrák és anomáliák4 számítási szegmentálását1,2, osztályozását vagy kimutatását3, amelyek fontosak a diagnózis, az előrejelzés vagy a prognózis szempontjából. Bizonyos esetekben képességeik még a humán szakértőkét is felülmúlják5,6, így központi eszközzé válnak a képalkotó adatok diagnosztikai célú felhasználásának és a kezelési döntések támogatásának előmozdításában.

A klinikai képalkotó technológia, a diagnosztikai munkafolyamatok és még a betegségek képalkotó markerei azonban nem statikusak. Ehelyett egy folyamatosan fejlődő környezetnek vannak kitéve, amelyben a DL-algoritmusoknak alkalmazkodniuk kell ahhoz, hogy relevánsak maradjanak. Jelenleg a DL-modelleket egyszer képezik ki, ami lenyűgöző teljesítményt nyújt a képen, összehasonlítva az edzési tapasztalatukkal. Fenntarthatóságuk azonban korlátozott, mivel a technológia fejlődése során elavulttá válnak7. Ez az új adatokhoz való alkalmazkodás képtelensége, amelyek bizonyos szempontból eltérnek a képzési adatoktól (adatkészlet-eltolódások), súlyosan hátráltatja azok hasznosságát és a klinikai gyakorlatban való alkalmazását.

Az adatkészlet-eltolódások akkor következnek be, ha a betanítási adatok eloszlása ​​eltér a modellkövetkeztetésben szereplő adatok eloszlásától8,9. Az ilyen eltolódások egyik fajtája, a tartományeltolódás (vagy beszerzési eltolódás) előfordulhat a szkennertechnológia technikai fejlődése miatt. A klinikai gyakorlatban, és ennek következtében az orvosi képalkotó adatokat tartalmazó vizsgálatokban a beszerzett adatok gyakran különböző szkennerektől, szkennergenerációktól, gyártóktól vagy képalkotó protokolloktól származnak. Ahhoz, hogy az alkalmazott mély tanulási modelleket sikeresen adaptálhassuk a változó környezethez, kulcsfontosságú olyan módszerek kifejlesztése és továbbfejlesztése, amelyek figyelembe veszik ezeket a tartományváltásokat.

Itt az ismeretlen időpontokban bekövetkező tartományeltolódások számbavételére összpontosítunk egy folyamatos adatfolyamban, tükrözve a klinikai gyakorlatot. A DL-modellt egyetlen szkenner által megszerzett képkészletre tanítják (alapképzés), és ezt követően folyamatosan frissítik a képmegjelenésben bekövetkező változásokhoz, amelyek az adatfolyamban új szkennerek hozzáadásakor jelentkeznek. Ugyanakkor nem szabad megfeledkezni a korábban látott tartományokról szóló ismeretekről sem, mivel új tartományinformációkat építenek be a modellbe. Az 1. ábra a munka általános beállítását szemlélteti. A modell a konvergenciára van betanítva az A tartományi adatok alap tanító halmazán; ezt követően folyamatos adatfolyamnak van kitéve, amelyben egy idő után megjelennek a B, C és D tartomány adatai. A modell alapképzés utáni frissítése nélkül (statikus mélytanulás) a későbbi tartományok pontossága sérül, mivel elhagyják a betanítási adatok elosztását. Lásd alább egy példát, ahol az alapmodell nem tudta szegmentálni a következő szkennerekből származó képeket. A folyamatos tanulási módszerek ellensúlyozzák ezt a hatást.

A folyamatos tanulás (más néven egész életen át tartó tanulás) középpontjában a gépi tanulási technikák állnak, amelyek az új feladatok (illetve jelen munka keretében új területek) kezelésének képességét modellben halmozzák fel10,11. A folyamatos tanulási módszerek által ellensúlyozott jelentős nemkívánatos hatás a katasztrofális felejtés, amikor egy modell frissítése egy új feladat megtanulása érdekében a korábbi feladatok teljesítményének romlásához vezet12. Ideális esetben a folyamatos tanulás javíthatja a korábbi feladatok teljesítményét, amikor a következő feladatokra oktat, és ez a kívánatos hatás, amelyet pozitív visszafelé átvitelnek neveznek, amely a modellre vonatkozó képzési példák megnövekedett változatosságából fakad13.

Dinamikusat ajánlunkmemória(DM) folyamatos tanulási módszerként, új adatforrások ismeretlen időpontokban történő megjelenésének kezelésére orvosi képek folyamatos folyamában (1. ábra). A DM egy próbamódszer, amely az adatfolyam egy kis, változatos részhalmazát tartja bentmemóriaa katasztrofális felejtés enyhítésére. A DM diverzifikálja amemóriastílusmetrika használatával a folyamatos adatfolyamban megfigyelhető különféle stílusokkal rendelkező képeket karbantarthatja. Opcionális modulként egy pszeudo-domain (PD) modellt használunk a hasonló stílusú klaszterek észlelésére a folyamatos adatfolyamból. Ezek a pszeudo-domainek az ismeretlen, valós tartományok proxyjainak tekinthetők, és amemóriaés a képzési folyamat (DM-PD). Módszerünk általánosíthatóságának bemutatására két különböző feladatra alkalmazzuk, eltérő képalkotó modalitással. Először szívszegmentációt végzünk mágneses rezonancia képalkotásban (MRI), másodszor pedig a tüdőcsomók kimutatására alkalmazzuk megközelítésünket számítógépes tomográfiában (CT). Megmutatjuk, hogy mindkét feladatban a módszerünk jobban teljesít, mint a folyamatos tanulás alapmódszerei. Megjegyzendő, hogy nem egy új, egyszkenneres korszerű módszer kifejlesztésére összpontosítunk egyik feladathoz sem, hanem azt szeretnénk bemutatni, hogyan lehet egy folyamatos tanulási módszert alkalmazni a modell folyamatos adatfolyamhoz való adaptálására. képadatok, beleértve a tartományeltolódásokat is, explicit tartományismeret nélkül.

cistanche kiegészítő: javítja a memóriát

Eredmények

Adatkészletek

Szívszegmentáció. Kísérleteket végeztek a többközpontú, több gyártótól származó kihívás adatkészletéből14. Az adatkészlet négy különböző gyártó, Siemens, General Electric, Philips és Canon adatait tartalmazta. Ezeket a szállítókat egy domainnek tekintettük. Az adatokat alapképzésre, folyamatos képzésre, validálásra és tesztkészletre osztjuk fel páciens szinten. Az 1a táblázat az egyes tartományokhoz tartozó egyedi szeletek számát mutatja az adatkészlet-felosztásokban.

Tüdőcsomók kimutatása. A tüdőcsomók kimutatásához a LIDC-adatbázisból kinyert adatokat15 használtuk, a LUNA16-kihívás16-nál megadott megjegyzésekkel. Ezenkívül az LNDb kihívás adatkészletét17 használtuk. Az összes tüdőcsomó-annotációhoz határoló dobozokat építettünk a jegyzett elváltozás körül, és 2D szeleteket vontunk ki a léziókkal. A változó tartományokkal való folyamatos tanulásunk demonstrálására elkészítettük a három legelterjedtebb tartomány adatkészletét, a szkenner szállító és a rekonstrukciós kernel tekintetében a LIDC-ben, negyedik tartományként pedig az LNDb adatkészletet. A LIDC esetében a leggyakrabban használt beállítások, beleértve a sérüléseket, a GE Medical Systems alacsony frekvenciájú rekonstrukciós algoritmussal (GE/L, n=527), a GE Medical Systems magas frekvenciájú rekonstrukciós algoritmussal (GE/H, n {{) voltak. 9}}), és a Siemens B30f kernellel (Siemens, n=130). Az IMDb adatkészlet több Siemens szkennert használt. A LIDC adatbázisban található csomók definíciójának megfeleltetése érdekében kizártuk a 3 mm-nél kisebb átmérőjű csomókat, így összesen 625 képet kaptunk. Ezeket a képeket alaptréningre, folyamatos edzésre, validálásra és tesztadatokra bontottuk az 1b. táblázat szerint, a szívszegmentációs kísérlethez hasonlóan.

Dinamikusmemóriaenyhíti a szívszegmentáció katasztrofális felejtését. A dinamikus képesség értékelésérememóriaA katasztrofális felejtés ellensúlyozása mellett jó teljesítmény elérése érdekében szívszegmentációt végeztünk 2D MRI szeleteken, többcímkés szegmentációként három címkével: bal kamra (LV), jobb kamra (RV) és bal kamrai szívizom (MYO). A képeket négy különböző gyártó szkennereivel szereztük be, az adatfolyamban való megjelenésük sorrendjében: Siemens (A), GE (B), Philips (C) és Canon (D). A sorrend megértésének megkönnyítése érdekében A–D szkennerként hivatkozunk rájuk. Az alapképzés csak az A szkenner adatain történt; ezt követően a modellt egy folyamatos adatfolyamon tanítottuk, amelyben a képtartományok fokozatosan A szkennerről D-re változtak (1. ábra). Összehasonlítottuk a különböző folyamatos tanulási stratégiákat: (1) a DM módszert, (2) a DM módszert pszeudo-domain detektálással (DM-PD), (3) egy véletlenszerűmemóriacserestratégia, amelyben minden új minta helyettesít egy véletlenszerűen kiválasztott mintátmemória(Véletlenszerű) és (4) az adatfolyamon való tanulás naiv megközelítése a katasztrofális felejtés ellensúlyozása nélkül (Naiv). Ezenkívül összehasonlítottuk az eredményeket a legmodernebb folyamatos tanulási módszerekkel: (5) Rugalmas súlykonszolidáció (EWC)18, és két olyan módszer, amelyekhez tartományi ismeretek szükségesek (6) Gradient Episodicmemória(GEM)19 és (7) tapasztalati újrajátszás a Maximálisan következtetett lekérdezéssel (ER-MIR)20. Megjegyzendő, hogy a DM és a DM-PD tartományismeret nélkül működik, ami reálisabb feltételezést jelent a klinikai gyakorlatban. Összehasonlításképpen két alapmodellt is betanítottunk: Először egy közös modellt (JModel) az összes betanítási adattal, amely a teljes adatkészletet egyetlen hipotetikus statikus adatkészletként kezelte; és a második, tartomány-specifikus modellek (DSM), amelyek statikus képzési sémában vannak betanítva az egyes tartományokon, külön-külön. Végül közöljük az A szkenneren betanított statikus alapmodell (Base) eredményeit, amelyet az A-tól D-ig terjedő szkennerekre alkalmaztak. Minden módszer ugyanazt a gerinckonvolúciós neurális hálózatot (CNN) használta a szegmentáláshoz, egy FC-ResNet5021-et.

1. ábra Különböző modellképzési és adaptációs stratégiák. 1 A képelemzés folyamatos DL-je alkalmazkodik az új adattulajdonságokhoz, és ugyanakkor megőrzi a képességet a régebbi adatokkal való munkavégzésre. Statikus DL: a DL modell betanítása és telepítése után a technológia megváltozik, és a modell pontossága csökken. b Egy naiv, folyamatos tanulási megközelítés ennek a korlátnak a megoldására, ha folytatjuk a modell képzését egy adatfolyamon. Ez azonban a régi adattulajdonságok elfelejtéséhez, és az adatok teljesítményének megfelelő csökkenéséhez vezet. c Folyamatos tanulási megközelítésként dinamikusmemóriafelismeri az új feltörekvő tartományokat, és ennek megfelelően folyamatos adatfolyamban mintázza az adatokat. Az ML modell alkalmazkodik az új technológiához, de pontos marad a korábban látott változatos szkennereken. Ez azért fontos, hogy biztosítsuk a modell visszamenőleges kompatibilitását, és egy stabilabb modellt hozzunk létre, amely gyorsabban alkalmazkodik az új szkennerekhez. 2 A külön tesztkészleten végzett érvényesítés értékeli a DL-modell teljesítményét az időszak végén.

Összehasonlítottuk az összes megközelítés szegmentálási pontosságát egy külön tesztkészleten, amely mind a négy szkenner adatait tartalmazta a képzés befejezése után. Ezen túlmenően, a visszafelé átvitel (BWT) és az előre átvitel (FWT)19 értékelésével konkrétan felmértük, hogy az egyik szkenner modellpontossága előnyös-e a modell betanításának más szkennereken.

A 2. táblázatban a megközelítéseket az LV, RV és MYO átlagos kockapontszáma alapján hasonlítjuk össze egymemóriamérete M {{0}}. Az LV, RV és MYO szegmentáció külön-külön történő értékelése hasonló tendenciákat mutatott (lásd az 1–3. kiegészítő táblázatokat). A DM és a DM-PD hasonlóan teljesített, és felülmúlta az összes többi olyan folyamatos tanulási stratégiát, amelyhez nincs szükség a tartományi tagságra vonatkozó információkra (Naive, Random és EWC). Az utolsó domain képeinél (D szkenner) az EWC volt a legmagasabb átlagos kockapontszám (0,850 ± {{10}}.003) de magas negatív BWT érték árán (-0,014 ± 0,007), ami azt mutatja, hogy katasztrofális felejtés történt. A DM és a DM-PD nem mutatott feledést, amint azt a semleges BWT 0.{15}} és 0,003 jelzi. A GEM és az ER-MIR hasonló teljesítményt mutatott, mint a DM-PD, de információra volt szükségük az egyes minták doméntagságáról, ami a klinikai gyakorlatban nem kivitelezhető. A véletlenszerű helyettesítési stratégiát alkalmazó memória összehasonlítása a DM-vel és a DM-PD-vel azt mutatta, hogy a DM-hez használt stílusmérők hatékonyak voltak a minták kiválasztásában, hogy változatosságot alkossanak.memória. A véletlenszerű csere azt eredményezte, hogy a korábbi domainek elfelejtésre kerültekfolyamatos képzés során (BWT -0.011), míg a DM és a DM-PD minden szkenneren jó teljesítményt nyújtott.

A Scanner B adatain, amelyeknél viszonylag kis, 720 képből álló mintát használtak a betanításhoz, a DM és a DM-PD jó teljesítményt tudott elérni tartománytagsági információk nélkül. A véletlenszerű cserével, EWC-vel és naiv betanítással végzett tanulás a B szkenner teljesítményének jelentős csökkenését eredményezte. Ez azt mutatta, hogy a Gram-mátrix alapú stílusmérők használatával a DM kevésbé volt érzékeny a szkennergyártónkénti minták számára, mint a többi folyamatos tanulási stratégia. .

A J-modell volt a felső határa annak, amit a képzés el tud érni, különösen a kevés mintát tartalmazó tartományok esetében, azaz a B szkenner esetében a folyamatos tanulás és az összes adatot elérő hipotetikus statikus kötegelt képzés közötti teljesítménykülönbség magas volt ({{0 }},763 ± 0.004 vs. 0,798 ± 0,016). Ennek oka az volt, hogy a folyamatos tanulás során az alulreprezentált mintákat ritkábban látták, mint a statikus képzésben. A 4. kiegészítő táblázatban eltérőmemóriaM=〈64, 128, 256, 512, 1024〉 méreteket hasonlítottunk össze DM és DM-PD esetén. Továbbiak hozzáadásamemóriajobb teljesítményt eredményezett, de a képzési dinamika különbségei miatt (a JModel kötegenként edz, és így több köteget láthat, mint a folyamatos tanulási beállításoknál), a JModel teljesítménye nem volt elérhető. DM egy kisebbmemóriaofM {{0}} nem tudta pontosan megragadni a képzési adatok eloszlásának sokféleségét, és így felejtést eredményezett (BWT=− 0,005).

mire használják a cistanche-t: a memória javítására

A 2. ábra azt mutatja, hogyan változott az átlagos DSC a folyamatos edzés során. Az EWC és a naiv folyamatos tanulás esetében katasztrofális felejtést figyeltek meg, és a korábbi tartományok pontossága csökkent, ahogy új tartományok léptek be a modellképzésbe. A DM és a DM-PD esetében a pontosság stabilabb volt minden területen, ahogy a folyamatos képzés folytatódott.

A szemantikai szegmentáció kvalitatív értékelése a 3. ábrán összehasonlítható teljesítményt mutatott a különböző folyamatos tanulási megközelítéseknél. Míg azonban a naiv folyamatos tanulás jobb eredményeket mutatott a Scanner D esetében, a DM és a DM-PD jól teljesített minden szkenneren, beleértve a korábban látott tartományokat is. Az alapmodellel való összehasonlítás (csak a szkenner A adatai alapján) azt mutatta, hogy folyamatos tanulási módszerre van szükségünk ahhoz, hogy a modellt a változó vizuális megjelenéshez igazítsuk. Az alapmodell nem tudott pontos szegmentálást végezni a B–D szkennereknél, ami nagyszámú hamis negatívot eredményezett.

Dinamikusmemóriaenyhíti a katasztrofális felejtést a tüdőcsomók kimutatásához. A tüdőcsomó-detektálást 2D CT-szeleteken határolódoboz-detektálásként végeztük, és átlagos pontossággal (AP) mértük, az értékelési részben meghatározottak szerint. Négy képtartomány került be az adatfolyamba: GE alacsony frekvenciájú rekonstrukciós algoritmussal (GE/L); GE nagyfrekvenciás rekonstrukciós algoritmussal (GE/H); Siemens; és LNDb (a részletekért lásd az „Adatkészletek” részt), a következő szkennerekben E–H. Az alapképzést a Scanner E adatain végeztük. Az EWC definíciója miatt a közvetlen összehasonlítás nem volt lehetséges az észlelési feladatoknál. A DM-et és a DM-PD-t véletlenszerű helyettesítő memóriával és naiv, folyamatos tanulási megközelítéssel hasonlították össze.

A szegmentációval analóg módon két, a DM és a DM-PD által nem igényelt doméncímkéket igénylő, legkorszerűbb módszert, a GEM19-et és az ER-MIR20-at referenciaként értékeltük. Alapmodellként egy közös modellt (JModel) és tartomány-specifikus modellt (DSM) hasonlítottunk össze, és a statikus alapmodell (Base) eredményeit a szegmentációs kísérlethez hasonlóan értékeltük. Feladathálózatként a Faster R-CNN-t ResNet-50 gerinchálózattal használták22.

Összességében a DM-PD és a DM jobban teljesített az AP tekintetében, mint a naiv megközelítés, amint az a 3. táblázatban látható. Mindkettő felülmúlta a naiv módszert, és hatékonyan ellensúlyozta a katasztrofális felejtést. A LIDC-ből kivont összes tartomány (E, F és G szkennerek) esetében a DM jól teljesített. Mindazonáltal a Scanner H teljesítményének csökkenését tapasztaltuk minden módszernél. Ezt a csökkenést a nagy tartományváltás mellett a népességeltolódás okozta. A LIDC adatokban a tüdőcsomók átlagos átmérője 8,29 mm volt, míg a Scanner H adatai (LNDb-ből kinyerve) kisebb, 5,99 mm-es átlagos átmérőjű elváltozásokat tartalmaztak. Tervezés szerint a DM nem észleli a populációeltolódásokat (azaz a lézió jellemzőinek megváltozását a képalkotó jellemzőkkel szemben), és így nem tudott gyorsan alkalmazkodni a Scanner H adataihoz. A véletlenszerű helyettesítési stratégia küzdött azokkal a tanulási tartományokkal, amelyek ritkábban voltak jelen a képzésben (Scanner F és G), mivel idővel lecserélték őket a Scanner H adataira, ami a szkennerek felejtését eredményezte. Ez a hatás kevésbé volt súlyos az E szkenner adatainál, mivel az alapképzést ennek a szkennernek az adatain hajtották végre. A DM és a DM-PD ellensúlyozta ezt a felejtést, stílusalapú mérőszámot használt a diverzifikálásramemóriaés így minden szkenner mintáját bent tartottamemória. A DM-PD jobban teljesített, mint a DM pszeudodomén-detektálás nélkül, ami azt mutatja, hogy a képzési folyamat kiegyensúlyozása fontos lépés volt a folyamatos tanulási módszerünkben. A DM-PD mutatta a legjobb teljesítményt az AP tekintetében, és körülbelül 0,05 AP-vel felülmúlta a naiv megközelítést az E, F és G szkennereknél. Ezen túlmenően a legjobb vissza és előre átvihetőség a DM-PD/128 esetében volt megfigyelhető. . Így ez volt az előnyben részesített modell a tüdőcsomók kimutatására.

2. ábra Szív MR szegmentáció. Kockapontszám (DSC) az érvényesítési halmazon az M=128 edzés során DM és DM-PD esetén, összehasonlítva a véletlenszerű helyettesítéssel és a naiv folyamatos tanulással. Az alsó idővonal egy folyamatos adatfolyamot és az adatfolyamban lévő tartományok változását jelzi. Az A szkenner DSC-jének csökkenése figyelhető meg, amikor a B szkenner megjelenik az adatfolyamban, a DM és a DM-PD képes volt helyreállítani ezt a csökkenést amemória; b az összes módszer stabil a C szkennerrel végzett edzés során, és c amint beáramlik a D szkenner adatai, a DSC ellenőrzési minták gyors növekedését látjuk. A naiv és véletlenszerű csere néhány DSC pontot veszít ebben az időszakban, míg a DM stabil marad. Ez a jelentős és gyors változás azt mutatja, hogy a D szkenner különbözik a többitől, és nincs olyan szoros kapcsolatban, mint a B és C szkenner.

Az 5. kiegészítő táblázat különböző összehasonlítási eredményeket mutat bememóriaméretek M=〈64, 128, 256, 512, 883〉 (883 a folyamatos adatfolyam összes mintájának a memóriában való tárolásának felel meg). A DM esetében a nagyobb memóriaméret előnyös volt a kisebb memóriamérethez képest. A DM-PD esetében az eredmények azt mutatták, hogy minél kisebb amemória(M=64 és M=128) annál nagyobb teljesítménynövekedést ért el a pszeudodomén (PD) észlelése a puszta DM-hez képest. Nagyobb memóriaméretek esetén a PD-k előnyei eltűntek. A betanítási szekvencia különbségei miatt a teljesítmény DM M=883-vel eltér a JModel teljesítményétől. Míg a DM/883 jobban teljesített az E és F szkennereken, a JModel magasabb AP értékeket mutatott a G és H szkennereknél.

A 4. ábrán az érvényesítési teljesítmény változása a képzés során látható DM és DM-PD esetén, ahol M=128 a véletlenszerű cseréhez képestmemóriaés a naiv folyamatos tanulás. Míg a véletlenszerű csere és a naiv stratégia felejtést mutatott, különösen a Scanner G esetében, a DM és a DM-PD magas szinten tartotta a teljesítményt katasztrofális feledés nélkül.

A DM tüdőcsomó-detektálásban nyújtott teljesítményének részletes elemzéséhez a DM és DM-PD precíziós visszahívási görbéit M=128 esetén összehasonlítottuk a naiv folyamatos tanulással, és egy alapmodellt, amelyet csak az első szkenner E szkenner adataira tanítottak ( 5a. ábra). Az alapmodell rosszabbul teljesített, mint a folyamatos tanulási megközelítések minden tartományban, még azon tartomány tesztadatokon is, amelyre a modellt betanították. Ez azt mutatta, hogy a későbbi szkennerekből származó tudás javíthatja a végső modell teljesítményét a Scanner E-n. Ahogy az várható volt, az alapmodell teljesítménye a következő szkennereknél romlott. A naiv folyamatos tanulási megközelítés precíziós-visszaidézés görbéi javulást mutattak az alapmodellhez képest. A DM-hez és a DM-PD-hez képest rosszabb teljesítményt mutatott az E–G szkennereknél és valamivel jobb teljesítményt a H szkennereknél. Ez azt szemlélteti, hogy a naiv folyamatos tanulás hogyan tudott alkalmazkodni az új szkennerekhez, de – a DM-vel és a DM-PD-vel ellentétben – szenvedett elfelejtve, miközben frissíti a modellt a szkenner H adataira.

Az 5b. ábrán mind a négy tartomány határolódoboz-detektálása látható. Összességében több téves pozitív eredmény fordult elő a naiv megközelítésben, mint a DM és a DM-PD. Tekintettel arra, hogy csak 2D szeleteken végeztünk detektálást, a DM és a DM-PD összességében jó teljesítményt mutatott. A tüdőcsomók kimutatására egyértelmű előnyt mutattunk a DM-módszerrel végzett gyakorlással, folyamatos tanulási körülmények között, ismeretlen tartományváltásokkal.

A pszeudo-domain észlelése kiegyensúlyozottabbmemória.

A tüdőcsomók detektálásához elemeztük a különbségeket a DM pszeudodomén modullal történő betanítása és a pszeudodomén modul nélküli képzés között az M=128 esetében. Először kiértékeltük, hogyan kerültek be a mintákmemóriaA képzés végén a teljes képzési korpuszhoz képest úgy osztották el, hogy az összes képzési minta Gram-mátrixait beágyazták egy beágyazási térbe, t-eloszlású sztochasztikus szomszéd beágyazás (TSNE) segítségével23.

A 6a. ábra világos különbséget mutat az F, a H szkenner, valamint az E és G szkennerek tartományai között. Az E és G szkennerek stílusuk szerint közel álltak egymáshoz az ezekhez a tartományokhoz használt hasonló rekonstrukciós kernel miatt. Az ábrán látható markerek a mintákat jelölikmemóriaa folyamatos képzés végén. A DM-PD esetében ezek egyenletesebben oszlottak el a teljes képzési sorozatban.

Ezt a megfigyelést megerősítették a 6c. ábrán látható adatok, ahol az első tartomány (E szkenner) összességében a következő tartományok egyértelmű felülreprezentációját figyeltük meg a csak DM-rel való képzéshez, összehasonlítva a pszeudodoménekkel (DM-PD) való egyensúlyozással.

3. ábra Kvalitatív példák szívszegmentációra. A DM és a DM-PD eredményei M=128-vel összehasonlítva a naiv folyamatos tanulással és a véletlenszerűséggelmemóriacsere. A rosszul címkézett pixelekre utal, amelyek meg lettek jelölve, de az osztálytagságot megzavarta a modell. Az alapmodellt statikus betanítási megközelítésben képezték, csak az A szkennerből származó adatokon.

A 6b. ábra a pszeudodoménekhez rendelt tartományelemek számának elemzését mutatja. Egyetlen edzési futás példájához öt pszeudodomént észleltünk. A PD-1 az E szkenner valódi tartományát jelentette. A PD-4 és a PD-5 két szkenner, az F és a G mintáit képviselte. A PD-2 és PD{{7} }, a tartományok nem voltak egyértelműen megkülönböztetve. Összességében megfigyeltük

4. ábra Tüdőcsomók kimutatása. Az átlagos precizitást (AP) mértük a validációs készleten a DM és a DM-PD képzés során M=128, valamint véletlenszerű csere során.memóriaés naiv folyamatos tanulási megközelítés. Az alsó idővonal az adatfolyam tartományainak változásait mutatja. Amint az F szkenner adatai megjelentek az adatfolyamban, a Scanner F (és a Scanner G) tartományon végrehajtott érvényesítés minden megközelítésnél megnövekedett. b Egyértelmű teljesítménycsökkenés (AP) következett be az E, F és G szkennerek naiv és véletlenszerű helyettesítése esetén a H szkenner adatainak néhány lépését követően, ami katasztrofális feledést jelez. A DM esetében a teljesítmény először kissé csökkent, de néhány edzési lépés után helyreállt, mivel a memóriából származó mintákat használnak az edzéshez. A DM-PD teljesítménye stabil maradt az E, F és G szkennereknél. c A folyamatos képzés végén az E, F és G szkennerek jobb teljesítményt értek el, ha dinamikus memóriát használtak. A Scanner H esetében mindhárom megközelítés teljesítménye hasonló volt. d Az E szkenner teljesítménye stabil volt a teljes folyamatos betanítási folyamat során minden megközelítésnél, ami azt mutatja, hogy az E szkennernél telített alapképzés volt. A pszeudodomain modul használata előnyös volt a kiegyensúlyozott memória fenntartásához, amely az egészet reprezentálja. edzőkészlet elosztása.

cistanche vélemények: javítja a memóriát

Vita

A gépi tanulás kiterjeszti az orvosi képalkotó adatok felhasználását a diagnózis és a prognózis céljára. A mély tanulásban elért fejlődés lehetővé teszi a betegséggel kapcsolatos entitások számítógépes kimutatását, szegmentálását és osztályozását, így tájékoztatva az egyéni kezelési döntéseket. A statikus DL első iterációja után a modellek hatékonynak bizonyultak, a kihívás most az, hogy fenntarthatóvá tegyük őket a képrögzítési technológia, a protokollok vagy akár a kezelési lehetőségek folyamatos fejlődésének környezetében. Itt megmutatjuk, hogy egy olyan megközelítés, amely változatos dinamikát tart fennmemóriaadaptálni tudta a modelleket a változó képalkotó technológiához, mivel megbirkózott a tartományváltásokkal. Fontos, hogy miközben a modell tanult az új adatokból, megőrizte a próba változatosságátmemória, hogy pontos és megbízható maradjon az általa látott képalkotó források teljes repertoárján. Továbbá megfigyeltük, hogy a modellismereteket sikeresen átadták a szkennerek között. A más lapolvasóktól származó betanítási adatok bevonása előnyökkel járt az egyes szkennerek modellpontossága szempontjából.

A szkenner változékonyságából adódó tartományeltolódásokat és ezeknek a gépi tanulási (ML) algoritmusokra gyakorolt ​​káros hatásait különböző képmódosításoknál figyelték meg, például számítógépes tomográfia (CT) és mágneses rezonancia képalkotás (MRI) esetében. A CT esetében a szkennerek és a rekonstrukciós paraméterek hatását az ML előrejelzésekre, valamint az emberi annotációkra vizsgálták a mellkas CT-vizsgálatok során. Annak bizonyítására, hogy a szkenner változékonysága negatív hatással van a rádiómikrára24,25 és más képalkotási jellemzőkre26, ezt figyelembe kell venni az ML modellek tervezésekor. A ref. A 27. ábrán empirikusan értékelték több MRI-szkenner alkalmazásának hatását az agyi MRI ML-algoritmusaira. A longitudinális, több szkenneres MRI vizsgálatokban a szkenner variabilitás hatásának csökkentése érdekében harmonizációt alkalmaztak28,29. Munkánktól eltérően azonban ezek a módszerek azt feltételezik, hogy minden adat egyszerre elérhető, ami a klinikai gyakorlatban alkalmazott modell esetében nem mondható el.

Korábban különféle módszereket javasoltak a katasztrofális felejtés enyhítésére10,11 folyamatos tanulási körülmények között. Ezek a megközelítések nagyjából három kategóriába sorolhatók: próba- és pszeudo-próbamódszerek19,30–33, regularizáción alapuló megközelítések18,34,35 és paraméter-izolációs módszerek36,37. A részletes áttekintésért lásd a refs. 10,11. E megközelítések többsége növekményes feladat tanulási módszer. Arra koncentrálnak, hogy fokozatosan tanuljanak meg új feladatokat, anélkül, hogy elfelejtenék a korábbi feladatokhoz szükséges ismereteket. Az utóbbi időben olyan módszereket javasoltak, amelyek a tartományváltások figyelembevételére összpontosítottak38–40. A tartományi adaptáció (DA) egy kapcsolódó kutatási terület, amely a tartományváltásokkal foglalkozik41–43. DA összpontosít

5. ábra A tüdőcsomók kimutatásának kvantitatív és kvalitatív eredményei. a végső naiv, DM és DM-PD betanított modell precíziós-visszahívási görbéi egy csak az E szkenner adatain betanított alapmodellhez képest. Az árnyékolt területek n=5 független edzési futás megbízhatósági intervallumait jelentik. b A végső naiv, DM és DM-PD betanított modell tüdőcsomó-detektálási mintái összehasonlítva egy alapmodellel, amelyet csak az E szkenner adatain tanítottak mind a négy tartományon. A zöld dobozok az igaz pozitívakat, a sárga a hamis negatívokat, a piros a hamis pozitívakat jelzik.

az egy vagy több forrásterületen tanult tudás adaptálása egy célterületre. Az orvosi képalkotásban a DA-t a különböző képalkotó módok vagy a különböző képfelvételi beállítások közötti alkalmazkodásra használják44. Egyszerre feltételezi a forrás- és céltartományhoz való hozzáférést, ami nem alkalmazható folyamatos adatfolyamot használó beállítás esetén. Ezenkívül a DA minden mintához megköveteli a tartomány- vagy feladattagság ismeretét. Ez a feltételezés nem reális a valós orvosi képalkotásban. Itt a képszerzési információkat kódoló metaadatok változékonysága nem közvetlenül kapcsolódik a képalkotási jellemzők összehasonlíthatóságához13. Mivel nem feltételezzük, hogy hozzáférünk ehhez a tudáshoz, ezek a módszerek nem alkalmazhatók a klinikai rutinban történő folyamatos tanulásra. Ezért ezeket a gyakorlatban a mai napig nem alkalmazták. A harmadik kapcsolódó terület az átviteli tanulás45. Itt egy meglévő modellt áthelyez egy új feladatba vagy tartományba az új adatok finomhangolásával. Az egyetlen cél az, hogy a modell jól teljesítsen ott, függetlenül attól, hogy képes-e jól működni a kezdeti tartományban. A finomhangolás során nincs szükség a kezdeti tartományból származó adatokra.

Eredményeink azt mutatják, hogy a statikus modellek szegmentálási és észlelési képessége korlátozott, ha az adatgyűjtés a kezdeti képzési eloszláson kívüli képgyűjtő gépekkel történik. Ugyanakkor a naiv megközelítések, amelyek folyamatosan új szkennereken dolgoznak, elfelejtik a régi képalkotási jellemzőket, elveszítve a korábbi adatgyűjtési jellemzőkkel rendelkező adatok feldolgozásának képességét. Az új képzési adatok folyamatos felvételével, miközben változatos próbakészletet tart fenn, a dinamikus memória jó teljesítményt biztosít a megfigyelt szkennerek teljes készletében. A hasonló stílust vagy képalkotási jellemzőket mutató alcsoportokat képviselő pszeudodomének észlelése olyan képcsoportokat eredményez, amelyek megfelelnek a szkennereknek, vagy olyan szkennercsoportokat, amelyek hasonló megjelenési tulajdonságokkal rendelkeznek. Felismerésük és befecskendezésük a képzési folyamatba

6. ábra Javításmemóriasokféleség. A memória összetételének összehasonlítása DM és DM-PD M=128 esetén. a tanítókészlet Gram-mátrixai feletti TSNE a tartományok megkülönböztetését mutatja. A markerek a memóriaelemek helyzetét mutatják az edzés végén egy futásra. A DM-PD egyenlőbb eloszlást mutat a teljes képzési sorozatban. b Öt észlelt pszeudodomént detektáltunk a DM-PD egyetlen betanítási futtatásakor; A sávok a pszeudodoménekhez rendelt tartományelemek számát mutatják. c A tartományelemek mennyiségememóriaDM és DM-PD képzés után. A hibasávok a szórást és az átlagot jelölik (középvonal), n=5 független futás.

A DM tovább javítja a modell teljesítményét. Fontos, hogy ezek a pszeudo-tartományok több szkennerre is kiterjedhetnek, ha közös képalkotási jellemzőkkel rendelkeznek. A stílusalapú mérőszám használata csökkenti a tartománytagsági ismeretek szükségességét, és hasonló teljesítményt mutat, mint az ezeket az információkat használó, legkorszerűbb folyamatos tanulási módszerek.

A megközelítés további előnye a lapolvasó-specifikus modellek betanításával összehasonlítva, hogy a modell teljesítménye egy adott szkenneren általában előnyös a más szkennereken való betanításból. A modell jellemzőreprezentációi jobb általánosíthatóságot kapnak a kapcsolódó, de eltérő adatokra vonatkozó képzésből. Ez új szkenneradatok feldolgozásához vezet, ami a régebbi szkennereken való betanításból profitál (további átvitel), és fordítva (hátra átvitel). Az eredmények konzisztensek voltak a különböző képalkotó eljárások (MRI, CT) és képelemzési feladatok (szegmentálás, detektálás) során.

A szív-MRI szegmentációnk eredményei bebizonyították, hogy a DM előnyös a naiv, folyamatos tanuláshoz képest, kevésbé katasztrofális felejtést mutat, és olyan eredményeket ér el, amelyek összehasonlíthatók a statikus tréningkészleten kiképzett modellekkel, amely minden terület adataiból állt. Hasonló hatások jelentkeztek CT-ben a tüdőcsomók kimutatásában, és az eredmények azt mutatták, hogy a pszeudodomének (DM-PD) használata kevesebb téves pozitív észleléshez vezetett, mint a standard dinamikus módszer.memória.

sivatagi cistanche sárkányfüvek

Megközelítésünk egy lépést jelent egy olyan stratégia kialakítása felé, amely az orvosi képek folyamatos adatfolyamának megismerését szolgálja, amely potenciálisan alkalmazható a klinikai gyakorlatban. Ennek ellenére a módszernek számos korlátja van. Először is több kutatásra van szükség annak bizonyítására, hogy tudunk olyan rendszereket tervezni, amelyek garantálják, hogy a jövőben ne történjen katasztrofális feledés, amikor a szkennerek számát jelentősen megnövelik. Nehéz bizonyítani, hogy a DL-modellek teljesítménye nem fog csökkenni a jövőbeli tartományokkal. Másodszor, a DM megköveteli a képek egy részhalmazának eltárolását az edzés közbeni próbához. Bár ez a próbakészlet lényegesen kisebb, mint a teljes adatkészlet, adatvédelmi aggályok vagy tárolási korlátozások válhatnak relevánssá. Végül nem vesszük figyelembe az esetek megjegyzéseinek költségeit, feltételezve, hogy az adatfolyamban minden egyes mintához rendelkezésre állnak célcímkék vagy határolódobozok a képzéshez. A klinikai gyakorlatban ez a feltevés nem állja meg a helyét, és szükség van egy humán-in-the-loop koncepcióra7, például az aktív tanulásra46, hogy új annotációkat gyűjtsünk ismeretlen tartományokhoz gazdaságilag.