Kettős memória LSTM kettős figyelem neurális hálózattal a tér-idő előrejelzéshez

Kapcsolatba lépni:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791

Absztrakt

A spatiotemporális előrejelzés kihívást jelent a reprezentációk kinyerése nem hatékony és a gazdag kontextuális függőségek hiánya miatt. Egy újszerű megközelítést javasolunk a térbeli időbeli előrejelzéshez duális használatávalmemóriaLSTM kettős figyelmű neurális hálózattal (DMANet). Egy új kettős memóriás LSTM (DMLSTM) egységet javasolnak a reprezentációk kinyerésére az egymást követő képek közötti különbségtételi műveletek kihasználásával és egy kettős kép elfogadásával.memóriaátmeneti mechanizmus. A történelmi reprezentációk teljes körű kihasználása érdekében egy kettős figyelemmechanizmust terveztek a hosszú távú tér-idő-függőségek megragadására azáltal, hogy kiszámítja a korrelációkat a jelenleg rejtett reprezentációk és a történelmi rejtett reprezentációk között időbeli, illetve térbeli dimenziókból. Ezután a kettős figyelem beágyazódik a DMLSTM egységbe, hogy létrehozzon egy DMANetet, amely lehetővé teszi a modell számára, hogy nagyobb modellezési teljesítményt nyújtson a rövid távú dinamikához és a hosszú távú kontextuális reprezentációkhoz. Ebben a cikkben egy látszólagos ellenállástérkép (AR Map) adatkészletet javasolunk. A B-spline interpolációs módszert az AR Map adatkészlet javítására használják, és a látszólagos fajlagos ellenállási trendgörbét az idődimenzióban folyamatos deriválttá alakítják. A kísérleti eredmények azt mutatják, hogy a kifejlesztett módszer kiváló előrejelzési teljesítménnyel rendelkezik néhány korszerű módszerrel való összehasonlítás alapján.

Kulcsszavak: spatiotemporális előrejelzés; duplamemóriaLSTM; kettős figyelem; történelmi ábrázolások

1. Bemutatkozás

A spatiotemporális előrejelzés a reprezentációk felügyelet nélküli tanulása a címkézetlen videoadatokból, és felhasználásuk egy előrejelzési feladat végrehajtására, ami egy tipikus számítógépes látási feladat. Jelenleg a spatiotemporális előrejelzést sikeresen alkalmazzák bizonyos feladatokra, mint például az objektumok helyének jövőbeli előrejelzésére [1, 2], az anomáliák észlelésére [3] és az autonóm vezetésre [4]. A mély tanuláson alapuló modellek ugrást tesznek a hagyományos megközelítésekhez képest, mivel a megfelelő reprezentációkat tanulták meg a magas dimenziós adatokból. A mély tanulási módszerek tökéletesen illeszkednek a spatiotemporális előrejelzési feladathoz, amely a videoadatokból önfelügyelt módon térbeli és időbeli korrelációkat tud kinyerni. A spatiotemporális előrejelzés azonban továbbra is kihívást jelent a reprezentációk nem hatékony kinyerésének problémája és a hosszú távú függőségek hiánya miatt. Például a Convolutional LSTM-et (ConvLSTM) [5] az időbeli reprezentációk további kinyerésére fejlesztették ki, de figyelmen kívül hagyja a térbeli reprezentációkat. Egyes módszerek [6,7] pontos előrejelzési eredményeket értek el, de reprezentációvesztést okoznak. A kontradiktórius módszert az előrejelzési feladatokban alkalmazták [8,9]. Azonban ezek [8,9] jelentősen függenek az instabil képzési folyamattól.

1 School of Communication and Information Engineering, Shanghai University, Shanghai 200444, Kína

2 Fejlett megjelenítési és rendszeralkalmazások kulcslaboratóriuma, Oktatási Minisztérium, Sanghaj 200072, Kína

Újszerű kettősmemóriaEbben a cikkben az LSTM-et kettős figyelmű neurális hálózattal (DMANet) javasoltuk tér-időbeli előrejelzésre az említett problémák megoldására. A ConvLSTM-en [5] alapuló kettős memóriás LSTM (DMLSTM) egységet fejlesztettek ki a DMANet számára a térbeli és időbeli előrejelzés végrehajtására. Alkalmazható mozgásábrázolások készítésére a szomszédos rejtett állapotok vagy nyers képek megfelelő megkülönböztetésével. Emellett kettős memóriastruktúrával rendelkezik a térbeli és időbeli információk tárolására. A DMLSTM egységbe beágyazott kettős figyelemmechanizmust javasoltak, hogy kivonják a hosszú távú jellemzőfüggőségeket az időbeli és a térbeli dimenziókból, ami lehetővé teszi a kifejlesztett modell számára, hogy hosszabb, összetett videódinamikát rögzítsen. A fenti tér-idő-előrejelzési módszerekkel összehasonlítva e cikk főbb hozzájárulásai a következők. Először is, egy új DMLSTM egységet javasoltak kivonatábrázolások elvégzésére, amely alkalmazható tér-időbeli előrejelzésre az egymást követő képek közötti különbségtételi műveletek kihasználásával és egy kettős átvétellel.memóriaátmeneti mechanizmus. Másodszor, egy kettős figyelemmechanizmust fejlesztettek ki a hosszú távú keretkölcsönhatások eléréséhez. A hosszú távú keretinterakciókat úgy rögzítjük, hogy kiszámítjuk a korrelációt a jelenleg rejtett reprezentációk és a történelmi rejtett reprezentációk között az időbeli, illetve a térbeli dimenzióból. Végül fontos hozzájárulás, hogy a DMANet mindkét előnyt egyesíti. Az ilyen építészeti tervezés lehetővé teszi a modell számára, hogy nagyobb modellezési teljesítményt nyújtson a rövid távú dinamika és a hosszú távú kontextuális ábrázolások számára. A javasolt módszert néhány kihívást jelentő adatkészleten különböző módszerekkel értékelik. Kiváló teljesítményt ér el néhány legmodernebb módszerrel összehasonlítva. A kísérleti eredmények azt mutatják, hogy a javasolt módszer kiváló spatiotemporális előrejelzési teljesítménnyel rendelkezik.

cistanche előnyeiban benmemória

A cikk további része a következőképpen épül fel. A kapcsolódó munkákat a 2. fejezet tárgyalja. A kettősmemóriaA kettős figyelemmechanizmussal rendelkező LSTM-et a 3. szakasz ismerteti. A kísérleti eredményeket és elemzéseket a 4. szakasz tárgyalja, majd az 5. részben a következtetéseket.

2. Irodalmi áttekintés

Az elmúlt évtizedben számos módszert javasoltak a spatiotemporális előrejelzésre. Ismétlődő neurális hálózat (RNN) [10] a hosszú rövid távúmemóriaAz (LSTM) [11]-et egyre gyakrabban alkalmazzák előrejelzési feladatokra, mivel képes egy videósorozat reprezentációinak megtanulására. Az elmúlt években a szekvencia-szekvencia modellen [12] alapuló LSTM keretrendszert adaptálták a videó előrejelzésére. Ennek ellenére az előrejelzés pontossága korlátozott, mivel ezek a keretmódszerek [12] csak az időbeli eltéréseket rögzítik. A videoreprezentációk további kinyerése érdekében a ConvLSTM [5] a teljesen összekapcsolt műveleteket konvolúciós műveletekkel helyettesíti az ismétlődő állapotátmenetekben. Egy mély tanuláson alapuló keretrendszert [13] javasolnak a hiányzó adatok rekonstruálására, hogy megkönnyítsék a térbeli és időbeli sorokkal történő elemzést. Ez azonban növeli a többlet számítási költséget és csökkenti az előrejelzés hatékonyságát. A bijektív kapuzott ismétlődő egységet a [14]-ben mutatják be, amely az ismétlődő automatikus kódolókat használja ki a következő képkocka előrejelzésére bizonyos esetekben. Egy több kimenetes és többindexes felügyelt tanulás [15] módszert javasoltak LSTM-mel [11] a spatiotemporális előrejelzéshez, amely képes modellezni a hosszú távú dinamikát. A gradiens eltűnésének enyhítése érdekében a konvolúciós LSTM [6,7]-vel kiterjesztve cikkcakk memóriafolyamot és gradiens autópálya egységet (GHU) vezet be. Egy frissített mély tanuláson alapuló módszert alkalmaztak az előrejelzési képesség javítására. Az ASAP „ASAP mélyrendszernek” nevezett változatát a [16] javasolja. Az optikai áramlás vetemítését és az RGB pixel szintetizáló algoritmusokat [17] kihasználták a térbeli és időbeli előrejelzés végrehajtására. Memória a memóriában hálózatot (MIM) javasolja az előrejelzési feladatokhoz [18]. Különbsége a fent említett ismétlődő modellektől, hogy a MIM [18] a memóriaátmenetek különbségére vonatkozik, hogy az időben változó polinomot konstanssá alakítsa, ami lehetővé teszi a determinisztikus komponens előrejelzését. Ezek a módszerek [14–18] azonban továbbra is kihívást jelentenek a hosszú távú előrejelzés végrehajtásában, mivel a túlzott kapuátmenetek a reprezentációk elvesztését okozzák.

a cistanche deserticola előnyeiban benmemória

A visszatérő modelleken kívül más modelleket is alkalmaznak a tér-idő előrejelzésére. A [19]-ben egy retrospekciós hálózatot javasolnak, amely visszatekintési veszteséget vezet be, hogy a retrospektív kereteket konzisztenssé tegye a megfigyelt keretekkel. Az adatok kiegyensúlyozatlanságának kezelésére a [20]-ban egy környéktisztító algoritmust fejlesztettek ki. Egy véletlenszerű erdőalgoritmus kivonja az optimális jellemzőket az előrejelzési feladat végrehajtásához. A [21]-ben egy variációs autoencodert alkalmaznak a nemlineáris dinamikus jellemzők kinyerésére. Ez a modell a változók közötti összefüggéseket, valamint a múltbeli minták és a jelenlegi minták közötti kapcsolatokat elemzi. A [22]-ben egy széles figyelmű modult és egy mélykompozit modult használnak a globális kulcsfontosságú jellemzők és a helyi kulcsjellemzők kinyerésére. Ezek a módszerek [19–22] azonban bizonyos mértékig a lokális reprezentációktól függenek, amelyek nem tudnak kiváló teljesítményt nyújtani az előrejelzési feladatokban. Egy mesterséges neurális hálózatot [23] javasoltak a spatiotemporális adatok egyedi tulajdonságainak modellezésére, és hatékonyabb modellezési képességet vezet le a spatiotemporális adatokhoz. Egy tér-időbeli előrejelző rendszert [24] fejlesztettek ki, hogy a térbeli modellezésre és a teljes tér-időbeli jel rekonstrukciójára összpontosítson. Ez a módszer a koherens tér-idő mezők modellezésének hatékonyságát mutatja be. A vegyes neurális hálózatot a dinamikus mintázat modellezésére és a megjelenési reprezentációk megtanulására javasolták adott videokockák alapján [25]-ben. A [26]-ban egy 3D CNN-t használnak az RNN-ben, ami kiterjeszti a reprezentációkat az időbeli dimenzióban, ésmemóriaegység tárolja a jobb hosszú távú reprezentációkat. A konvolúciós műveletek [24–26] azonban rövid hatótávolságú kereten belüli függőségeket magyaráznak korlátozott befogadó mezőik és az explicit keretek közötti modellezési képességek hiánya miatt. A generatív ellenséges hálózatok [8] a tér-időbeli előrejelzés másik megközelítése. Egy feltételes variációs autoencoder módszert javasoltak [9]-ben, amely jövőbeli emberi pályákat állít elő korábbi megfigyelések és jövőbeli robottevékenységek függvényében. A predikciós módszerek [8,9] kevésbé homályos képkockákat kívánnak generálni, de teljesítményük jelentősen függ az instabil képzési folyamattól.

A [27] egy önfigyelem mechanizmust javasol, amely alkalmazható a hosszú távú függőségek megragadására, és hatékonynak bizonyult a kiugró jellemzők összesítésében az összes térbeli pozíció között a számítógépes látási feladatokban [28–30]. A [28]-ban egy kettős figyelemblokkot javasol, amely a teljes tér jellemzőit egy kompakt halmazba egyesíti, majd adaptív módon választja ki és rendeli hozzá az egyes helyekhez jellemzőket. A kontextuális információk hatékonyabb kiaknázása érdekében egy keresztező hálózat [29] bevezetett egy keresztirányú figyelem modult, amely az összes pixel kontextuális információit kapja, ami segít a vizuális megértési problémákban. Ezen túlmenően, a többléptékű jellemzőfúziós módszerekkel ellentétben, egy kettős figyelem-hálózatot [30] javasolnak a lokális jellemzők és a globális függőségek adaptív kombinálására. Előrejelzési feladatok megoldására azonban nem használhatók a térbeli és időbeli függőségek hiánya miatt.

Összefoglalva, a korábbi előrejelzési modellek különböző hátrányokkal járnak. A korábbi munkáktól eltérően a ConvLSTM [5] új változatát terveztük az állapotreprezentációk tárolására és a figyelemmechanizmus kiterjesztésére a tér- és időbeli előrejelzés feladatában. Ez az architektúra gazdag kontextuális kapcsolatokat rögzít a jobb jellemzők megjelenítéséhez, osztályon belüli tömörséggel.

Az 1. táblázat bemutatja a dolgozatban használt rövidítéseket a fogalom meghatározásával.

3. DMA neurális hálózat

A DMANet folyamatábrája az 1. ábrán látható. A reprezentációk a DMANetből származnak a bemeneti keretek alapján. A reprezentációk az előrejelzési eredményeket jelzik, és felhasználhatók a következő reprezentációk előrejelzésére.

Ebben a részben a DMANet részleteit ismertetjük. Először egy új DMLSTM egységet mutatunk be a 3.1. szakaszban. Ezt követően a 3.2. szakaszban egy kettős figyelem mechanizmust javasolunk, amely lehetővé teszi, hogy a modell hasznot húzzon a korábbi releváns reprezentációkból. Végül összevonják őket, hogy létrehozzák a DMANetet a spatiotemporális előrejelzéshez, amelyet a 3.3. szakasz részletez.

3.1. Kettős memória LSTM

Megvilágítja a PredRNN plus plus [7], amely több nemlineáris réteget ad hozzá a hálózat mélységének növeléséhez és a térbeli korrelációk és az időbeli dinamika modellezési képességének megerősítéséhez. A gradiens terjedés problémája azonban a hálózatmélység növekedésével egyre nehezebbé válik, még akkor is, ha a GHU [7] ezt korlátozottan enyhíti. Egyes munkák [6,7,14] nem teljesítenek jól a tér-időbeli szekvenciák reprezentációinak kinyerésében a túlzott kapuátmeneteken keresztül, mivel elkerülhetetlenül a reprezentációk elvesztését okozhatják. Ezért a hosszú távú térbeli függőségek halmozott konvolúciós rétegekkel rögzíthetők. A térbeli és időbeli dinamika modellezési képességének hatékonysága azonban korlátozott a komplex lavór-réteg átmenet miatt.

Egy új, DMLSTM nevű visszatérő egységet fejlesztettek ki, hogy időbeli térbeli előrejelzést hajtson végre a fent említett korlátok leküzdése érdekében, amint az a 2. ábrán látható. Először is, egy további memóriaegységet adnak hozzá a ConvLSTM[5] alapján; ez az egység térbeli állapotok tárolására szolgál, ami lehetővé teszi az egység számára, hogy több térbeli és időbeli reprezentációt tanuljon meg. Az új átmeneti mechanizmust a redundáns kapuszerkezetek, például a bemeneti kapuk eldobásával tervezték. A különféle nemlineáris szerkezetek elveszítenék az erőteljes belső reprezentációkat a pixelszintű előrejelzésben. Másrészt az ábrázolások megkülönböztető műveleteit hatékonyan alkalmazták mozgó objektumok reprezentációinak rögzítésére. Ezért a differenciálás felhasználható előrejelzési feladatokhoz a mozgó objektumok ábrázolási részleteinek kiegészítésére. A DMLSTM egységben a differenciálási műveletet úgy fejlesztették ki, hogy a szomszédos rejtett állapotok vagy nyers képek megkülönböztetésével mozgásábrázolásokat kapjon, ami az egységet erőteljesebb térbeli és időbeli dinamika modellezési képességével teszi lehetővé.

3.2. Kettős figyelemmechanizmus

A spatiotemporális előrejelzés a korábbi reprezentációk megfigyelésével megjósolhatja a jövőbeli kereteket. Az előrejelzési modellnek azonban inkább az előrejelzett tartalomhoz kapcsolódó történelmi reprezentációkra kell összpontosítania. A figyelemmechanizmus [27] bizonyos gyakorlati feladatok során képes megragadni a lokális és globális reprezentációk közötti hosszú távú függőséget [32,33]. Ezenkívül a spatiotemporális előrejelzés kihívást jelent az összetett dinamika és megjelenési változások miatt, amelyek mind az időbeli, mind a térbeli tartományoktól függenek. Javasoljuk a figyelem mechanizmusának egy új változatát, a kettős figyelem mechanizmust. Ez az architektúra rögzíti a hosszú távú spatiotemporális interakciókat időbeli és térbeli dimenziókból, majd a kapott reprezentációkat összesíti a jövőbeli előrejelzéshez.

cistanche eladóemlékül

A kettős figyelem modul a 3. ábrán látható, beleértve az aktuális időbélyegző rejtett Ht ∈ RH × W × C állapotokat és a történelmieket {H1 . . . Ht−1} ∈ Rn × H × W × C, ahol H és W a térbeli méretek, C a csatornák száma, és n jelöli az időbeli dimenzió mentén összefűzött rejtett reprezentációk számát.

4. Konklúziók

Ebben a cikkben egy DMANet-et javasoltak a spatiotemporális előrejelzéshez. Egy DML-STM egységet használnak a reprezentációk hatékony kinyerésére az egymást követő képek közötti különbségtételi műveletek kihasználásával és egy kettős memóriaátmeneti mechanizmus alkalmazásával. A kettős figyelemmechanizmus célja a hosszú távú tér-idő-függőségek rögzítése azáltal, hogy kiszámítja a korrelációkat a jelenleg rejtett reprezentációk és a történelmi rejtett reprezentációk között időbeli és térbeli dimenziókból. A DMANet egyesíti az előnyöket, és az ilyen építészeti tervezés lehetővé teszi a modell számára, hogy nagyobb modellezési teljesítményt nyújtson a rövid távú dinamika és a hosszú távú kontextuális ábrázolások számára. A kísérleti eredmények azt mutatják, hogy módszerünk kiváló teljesítménnyel rendelkezik a spatiotemporális előrejelzésben.

hol lehet vásárolni a memóriában lévő cistanche-t

A spatiotemporális előrejelzés ígéretes út a gazdag téridőbeli összefüggések önfelügyelt tanulásához. A jövőbeni munkák során megvizsgáljuk, hogyan lehet elkülöníteni a mozgó objektumokat a háttértől, és hogyan fordítsunk nagyobb figyelmet a mozgó tárgyakra. Megpróbálunk egy látszólagos ellenállás-kibocsátó rendszert is felépíteni, amely megvédi a kínai barlangokat a víztől.

Hivatkozások

1. Yao, Y.; Atkins, E.; Johnson-Roberson, M.; Vasudevan, R.; Du, X. Bitrap: Kétirányú gyalogos pálya előrejelzése multimodális célbecsléssel. IEEE robot. Autom. Lett. 2021, 2, 1463–1470. [CrossRef]

2. Dal, Z.; Sui, H.; Li, H. Egy hierarchikus objektum-észlelési módszer nagyméretű optikai távérzékelési műholdképekben, kiemelés-detektálás és CNN segítségével. Int. J. Remote Sens. 2021, 42, 2827–2847. [CrossRef]

3. Li, Y.; Cai, Y.; Li, J.; Lang, S.; Zhang, X. Tér-időbeli egységhálózat a videó anomáliák észleléséhez. IEEE Access 2019, 1, 172425–172432. [CrossRef]

4. Yurtsever, E.; Lambert, J.; Carballo, A.; Takeda, K. Az autonóm vezetés felmérése: Közös gyakorlatok és feltörekvő technológiák. IEEE Access 2020, 8, 58443–58469. [CrossRef]

5. Shi, X.; Chen, Z.; Wang, H.; Yeung, DY Konvolúciós LSTM-hálózat: Gépi tanulási megközelítés a csapadékmosás mérésére. In Proceedings of the 29th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 2015. június 7–12.; 802–810.

6. Wang, Y.; Li, M.; Wang, J.; Gao, Z.; Yu, P. PredRNN: Ismétlődő neurális hálózatok prediktív tanuláshoz spatiotemporális LSTM-ek segítségével. In Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 2017. december 4–9.; 879–888.

7. Wang, Y.; Gao, Z.; Long, M.; Wang, J.; Yu, P. PredRNN plus plus: A térbeli és időbeli prediktív tanulás mély-időbeli dilemmájának megoldása felé. In Proceedings of the 35th International Conference on Machine Learning, Stockholm, Svédország, 2019. április 10–15.; 5123–5132.

8. Goodfellow, IJ; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D. Generatív ellenséges hálózatok. In Proceedings of the 28th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 2014. december 8–13.; 2672–2680.

9. Ivanovic, B.; Karen, L.; Edward, S.; Pavone, M. Multimodális mélygeneratív modellek a pálya előrejelzéséhez: A feltételes variációs autoencoder megközelítés. IEEE robot. Autom. Lett. 2021, 2, 295–302. [CrossRef]

10. Rumelhart, D.; Hinton, G.; Williams, R. Reprezentációk tanulása visszaterjesztési hibákkal. Nature 1986, 1, 533–536. [CrossRef]

11. Hochreiter, S.; Schmidhuber, J. Hosszú rövid távú memória. Neurális számítás. 1997, 8, 1735–1780. [CrossRef]

12. Sutskever, I.; Vinyals, O.; Le, Q. Sorozat a szekvencia tanuláshoz neurális hálózatokkal. In Proceedings of the Advances in Neural Information Processing Systems, Montreal, QC, Kanada, 2014. december 8–13.; 3104–3112.

13. Das, M.; Ghosh, S. Egy mély tanuláson alapuló előrejelző együttes a hiányzó adatok előrejelzésére a távérzékelési elemzéshez. IEEE J. Sel. Top. Appl. Földfigyelés. Remote Sens. 2017, 12, 5228–5236. [CrossRef]

14. Oliu, M.; Selva, J.; Escalera, S. Hajtogatott visszatérő neurális hálózatok jövőbeli videó előrejelzéséhez. In Proceedings of the 15th European Conference on Computer Vision, München, Németország, 2018. december 8–14.; 716–731.

15. Seng, D.; Zhang, Q.; Zhang, X.; Chen, G.; Chen, X. A levegőminőség tér-időbeli előrejelzése LSTM neurális hálózat alapján. Alex. Eng. J. 2021, 60, 2021–2032. [CrossRef]

16. Abed, A.; Ramin, Q.; Abed, A. A napkitörések automatizált előrejelzése SDO-képekből mély tanulással. Adv. Space Res. 2021, 67, 2544–2557. [CrossRef]

17. Li, S.; Fang, J.; Xu, H.; Xue, J. Videokocka előrejelzése mély többágú maszkhálózat segítségével. IEEE Trans. Áramkörök Syst. Video Technol. 2020, 4, 1–12. [CrossRef]

18. Wang, Y.; Zhang, J.; Zhu, H.; Long, M.; Wang, J.; Yu, P. Memória a memóriában: Prediktív neurális hálózat a magasabb rendű nem-stacionaritás térbeli és időbeli dinamikából való tanulására. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 2020. június 16–20.; 9146–9154.

19. Chen, X.; Xu, C.; Yang, X.; Yang, X.; Tao, D. Hosszú távú videó előrejelzés kritikával és visszatekintéssel. IEEE Trans. Képfeldolgozás. 2020, 29, 7090–7103. [CrossRef]

20. Neda, E.; Reza, F. Az AptaNet mint mély tanulási megközelítés az aptamer-fehérje kölcsönhatás előrejelzésére. Sci. Újra. 2021, 11, 6074–6093.

21. Shen, B.; Ge, Z. Súlyozott nemlineáris dinamikus rendszer nemlineáris dinamikus látens változók mély kivonásához és ipari alkalmazáshoz. IEEE Trans. Ind. Inform. 2021, 5, 3090–3098. [CrossRef]

22. Zhou, J.; Dai, H.; Wang, H.; Wang, T. Széleskörű és mély-kompozit modell a közlekedési kiberfizikai rendszerek forgalmi áramlásának előrejelzéséhez. IEEE Trans. Ind. Inform. 2021, 17, 3431–3440. [CrossRef]

23. Patil, K.; Deo, M. A tengerfelszín hőmérsékletének medenceléptékű előrejelzése mesterséges neurális hálózatokkal. J. Atmos. Óceán. Technol. 2018, 7, 1441–1455. [CrossRef]

24. Amato, F.; Guinard, F.; Robert, S.; Kanevski, M. Egy új keretrendszer a környezeti adatok tér-időbeli előrejelzéséhez mély tanulással. Sci. Rep. 2020, 10, 22243–22254. [CrossRef]

25. Yan, J.; Qin, G.; Zhao, R.; Liang, Y.; Xu, Q. Mixpred: Videó előrejelzése az optikai áramláson túl. IEEE Access 2019, 1, 185654–185665. [CrossRef]

26. Wang, Y.; Jiang, L.; Yang, M.; Li, L.; Long, M.; Li, F. Eidetic 3D LSTM: Modell a video-előrejelzéshez és azon túl. In Proceedings of the International Conference on Learning Representations, New Orleans, LA, USA, 2019. május 6–9.; 1–14.

27. Vaswani, A.; Shazier, N.; Parmar, N.; Uszkoreit, J.; Jones, L. Csak a figyelem kell. In Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 2017. december 4–9.; 5998–6008.

28. Chen, Y.; Kalantidis, Y.; Li, J.; Feng, J. A2 hálók: Dupla figyelem hálózatok. In Proceedings of the 32nd Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 2018. december 2–8.; 352–361.

29. Huang, Z.; Wang, X.; Wei, Y.; Huang, L.; Shi, H. Ccnet: Cross-cross figyelem a szemantikai szegmentációhoz. IEEE Trans. Pattern Anal. Mach. Intell. 2020, 1, 1–11. [CrossRef]

30. Fu, J.; Liu, J.; Tian, ​​H.; Li, Y. Kettős figyelemhálózat a jelenetek szegmentálásához. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 2019. június 16–20.; 3146–3154.

31. Wang, Z.; Bovik, A.; Sheikh, H. Képminőség-értékelés: A hiba láthatóságától a szerkezeti hasonlóságig. IEEE Trans. Képfeldolgozás. 2004, 4, 600–612. [CrossRef]

32. Liu, Q.; Lu, S.; Lan, L. Yolov3 figyelemfelkeltő arcdetektor nagy pontossággal és hatékonysággal. Összeg. Syst. Sci. Eng. 2021, 37, 283–295.

33. Li, X.; Xu, F.; Xin, L. Kettős figyelemfelkeltő mélyfúziós szemantikai szegmentációs hálózatok nagyméretű műholdas távérzékelési képeken. Int. J. Remote Sens. 2021, 42, 3583–3610. [CrossRef]

34. Srivastava, N.; Mansimov, E.; Salakhutdinov, R. A videoreprezentációk felügyelet nélküli tanulása LSTM-ek segítségével. In Proceedings of the 32nd International Conference on Machine Learning, Lille, Franciaország, 2015. június 6–11.; 843–852.

35. Geiger, A.; Lenz, P.; Stiller, C.; Urtasun, R. A Vision találkozik a robotikával: A KITTI adatkészlet. Int. J. Robot. Res. 2013, 32, 1231–1237. [CrossRef]

36. Dollár, P.; Wojek, C.; Schiele, B.; Perona, P. Gyalogos észlelés: benchmark. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, USA, 2009. június 20–25.; 304–311.

37. Liu, J.; Jin, B.; Yang, J.; Xu, L. Tengerfelszíni hőmérséklet előrejelzése köbös B-spline interpoláció és spatiotemporális figyelemmechanizmus segítségével. Remote Sens. Lett. 2021, 12, 12478–12487. [CrossRef]