Közlekedési tábla felismerés a YOLOv3 algoritmus 3. része alapján
Jan 19, 2024
3.3. Priori keretek generálása a K-Means klaszterezési algoritmus alapján
A rögzítési mechanizmust a YOLOv2-ben implementálták, és a horgonyok számát kilencre növelték a YOLOv3-ban, hogy a generált jelölt régiók jobban hasonlítsanak az eredeti címkézett keretekhez, és fokozzák az észlelési hálózat visszahívását.
Erős kapcsolat van a megjelölt keretek és a memória között. A keretek megjelölése segíthet egy rögzített, szabályos és rendezett memóriakeret kialakításában, ami megkönnyíti a nagy mennyiségű információ memorizálását. Például nyelvtanuláskor megjelölt kereteket használhatunk új szavak és nyelvtani szabályok memorizálására. Az előzmények áttekintése során megjelölt kereteket használhatunk a történelmi események és idővonalak memorizálására. Így az elvont tudást konkrétabbá, érthetőbbé tehetjük.
Ugyanakkor a keretek megjelölése serkentheti agyunk asszociációs képességét is, ezáltal javítva a memóriánkat. Mivel emlékezetünk asszociáción és kapcsolódáson alapul, markáns keretek kialakításával az új ismereteket természetesebben tudjuk összekapcsolni a meglévő tudással, elmélyítve az emlékezetet és a megértést.
Az emberi memória képessége edzhető és fejleszthető. Folyamatos gyakorlással és az olyan memóriatechnikák használatával, mint a keretek jelölése, javíthatjuk memóriánkat, és jobban megbirkózhatunk a komplex információkkal és feladatokkal az életben és a munkában.
Röviden, a keretek megjelölése nagyon hatékony memóriatechnika. Segítségével gyorsabban és pontosabban megjegyezhetjük a fontos információkat. Serkentheti asszociációs képességünket és javíthatja a memóriánkat is. Használjuk aktívan a megjelölt kereteket memóriakészségeink folyamatos fejlesztésére! Látható, hogy javítanunk kell a memórián, és a Cistanche deserticola jelentősen javíthatja a memóriát, mert a Cistanche deserticola egy hagyományos kínai gyógyászati anyag, amelynek számos egyedi hatása van, amelyek közül az egyik a memória javítása. A darált hús hatékonyságát a benne található különféle hatóanyagok jelentik, beleértve a savakat, poliszacharidokat, flavonoidokat stb. Ezek az összetevők különféle módon elősegíthetik az agy egészségét.
Kattintson a Tudás gombra a rövid távú memória javításához
Nem volt helyénvaló az eredeti horgonyt használni, mivel a közlekedési táblák elsősorban kis és közepes célpontok, a TT100K adatkészletben kevesebb nagy célpont található. Egy adott adatkészlet esetében a megfelelő kezdeti horgony kiválasztása javíthatja az észlelési hatást, megkönnyítheti a hálózat megtanulását, és növelheti a határolókeret észlelési arányát.
A K-közép klaszterezési algoritmus folyama a jelöltdobozok megszerzéséhez a 7. ábrán látható.
A TT100K adatkészletben a továbbfejlesztett YOLOv3 hálózati struktúra tartalmazott egy jellemző előrejelzési skálát, amely négy skálát és tizenkét horgonyt eredményezett: (4, 5), (5, 6), (7, 7), (7, 13), (8, 8), (9, 10), (11, 12), (13, 14), (16, 17), (20, 22), (27, 29) és (41, 44).
4. Kísérletek és az eredmények elemzése
4.1. Adatkészlet és értékelési mutatók
Van néhány nagy, nyilvánosan elérhető közlekedési tábla adatkészlet, amelyek többsége a GTSDB-t használja, de a GTSDB nem azonos a kínai közlekedési táblákkal. Többek között a CTSDB, a CCTSDB és a TT100K kínai közlekedési táblák adatkészletei.
A CCTSDB a CTSDB alapján bővült, kategóriáit figyelmeztető táblákra, irányjelző táblákra és tiltó táblákra osztották, a közlekedési táblák részletes osztályozása nélkül.
A TT100K közlekedési tábla kollekciót a Tencent és a Tsinghua Egyetem együttműködésével hozták létre. Lehetővé tette a közlekedési táblák alapos kategorizálását és azonosítását, lefedte a különböző éghajlati és fényviszonyokat, és pontosabb volt a tényleges vezetési helyzetekre.
Ezért ebben a cikkben a TT100K közlekedési táblák adatkészletét használtuk, és néhány közlekedési tábla és a kategóriainformáció a 8. ábrán látható.
A TT100K adatkészlet 100,000 fotót tartalmaz 2048 x 2048 pixeles felbontással, bár vannak címkézetlen közlekedési táblák, és egyes kategóriákban csak néhány kép vagy ismétlődő kép található, ami csökkenti az észlelési hatást.
Ezért ez a cikk eltávolította az adathalmazból a címkézetlen és ismétlődő közlekedési táblák képeit, és kiválasztott 45 kategóriát nagy számú közlekedési táblával, ahol a 45 közlekedési tábla kategória a következő volt: pn, pne, i5, pll, pl40, po,pl50, pl80 , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, w59, p12, p3, w55. pm20, pl20, pg, pl70, pm55, il100, p27, w13, p19, ph4, ph5, wo, p6.pm30 és w32, az egyes közlekedési táblakategóriák száma pedig a 9. ábrán látható.
A 9. ábra azt mutatja, hogy még ha 45 kategóriát választottak is ki nagy számú közlekedési táblával, az egyes kategóriák közötti adatmennyiségben továbbra is jelentős egyensúlyhiány mutatkozott, ami rossz modell-előrejelzési pontosságot eredményezett. Ennek eredményeként, amint azt a 10. ábra szemlélteti, ez a munka kiegyensúlyozta és kibővítette az adatkészletet olyan taktikák alkalmazásával, mint a színeltérés, a Gauss-zaj és a képforgatás, hogy biztosítsa, hogy az egyes kategóriák mennyisége a lehető legnagyobb mértékben egyenlő legyen.
A mozaik megközelítés egyszerre négy képet olvas be, méretezi és módosítja az egyes képek színskáláját, négy irányba rendezi őket, majd összefűzi a képeket, hogy létrehozza a cél valódi képkockáját.
A javítási módszer négy képet fűz össze, ami egyenértékű négy kép paramétereinek egy bemenettel történő kiszámításával. Ez csökkentheti a kötegelt bevitelhez szükséges képek számát, csökkentheti a képzési nehézségeket és a képzési költségeket, javíthatja a képzési sebességet, és nagymértékben gazdagítja az adatkészletben lévő minták számát, ami elősegíti a tanulást.
ebben a cikkben a COCO-adatkészlet értékelési mérőszámait, köztük a mAPou - 050AP-kat, APM-et, AP-t és számos más mérőszámot használták a modell teljesítményének értékelésére. Különösen a TT100K közlekedési táblák adatállományában szereplő közlekedési táblák többsége kis célpontokhoz tartozott, ezért különös figyelmet kellett fordítani a kis célpontok észlelési pontosságára. Az értékelési mutatók konkrét jelentései a következők:
AP: A PR-görbe alatti terület, ahol a PR a pontosság, illetve a visszahívás:
API {{0}}.50: Ha az IoU küszöbértéke 0,50, akkor ez az adatkészletben lévő összes hozzáférési pont kategóriájának átlaga, amely a PASCAL VOC adatkészlet kiértékelési indexe, és megfelel APIoU=0.50-hez a COCO kiértékelési indexmAPloU= 0.50-ben: Ha a loU küszöbérték 0,50-re van állítva, akkor ez az adatkészletben lévő összes hozzáférési pont kategóriájának átlaga, amely a a PASCAL VOC adatkészlet, és megfelel az AploU=0.5-nek a COCO értékelési indexében.
AP-k: a mAP átlagos értéke kis objektumokhoz: terület < 322, és loU=tartomány (0.5, 1.{5}}, 0.05) összesen 10 oU-ból.
APm: közepes objektumok: 322 < terület < 962, és loU=tartomány (0.5, 1.00, 0.05) a mAP átlagos értéke egy összesen 10 IoU.
AP: a mAP átlagos értéke nagy objektumok esetén: terület > 962, és loU=tartomány (0.5, 1.00, 0.05, összesen 10 IoUs.
4.2. Kísérleti eredmények és elemzések
4.2.1. Továbbfejlesztett YOLOv3 összehasonlítási kísérlet
Ebben a tanulmányban három továbbfejlesztett módszerekkel rendelkező YOLOv3 hálózatot hasonlítottak össze és teszteltek, felhasználva a TT100K közlekedési táblák adatkészletét és a 608 × 608 pixel méretű bemeneti képeket. A 11. ábra a TT100 adatkészleten betanított M-YOLOv3 térképét és AR-ját mutatja.
A különböző méretű célpontok észlelési eredményeit a 12. ábra és az 1. táblázat mutatja. Ezek közül a YOLOv3-DK elfogadta a DIoU veszteségvesztési függvény és az újracsoportosítási horgony javításának stratégiáját; YOLOv3-Az SPP elfogadta a piramispoolos szerkezet fúziós térstratégiáját; YOLOv3-4l azt a stratégiát alkalmazta, hogy hozzáadta a negyedik előrejelzési jellemzőréteget 152 × 152 skálával; és az M-YOLOv3 volt a YOLOv3 hálózati struktúra, amely az összes továbbfejlesztett stratégiát alkalmazta.
Az 1. táblázat és a 12. ábra azt mutatja, hogy az eredeti YOLOv3 átlagos átlagos pontossága bármilyen stratégia alkalmazása nélkül 68,9% volt. Ezzel szemben a frissített YOLOv3 térképe az összes módszerrel 77,3%, ami 8,4%-os észlelési javulást jelent.
A DIoU veszteség funkció és az újracsoportosítási horgony technika 1,3%-kal javította az észlelési pontosságot; azonban a javulás a veszteségfüggvény gyorsabb konvergenciájának volt köszönhető az edzés során, ami stabilabbá tette a céldoboz regressziót és javította a visszahívási arányt. A mAP kifejezettebb javulása a YOLOv3-ban volt megfigyelhető, amely SPP-struktúrát tartalmazott, és 73,2%-ot ért el.
Az SPP struktúra egyesítette a lokális és a globális jellemzőket, javítva a tereptérkép kifejezőképességét, és jelentősen növelve az észlelési pontosságot. A negyedik, 152 × 152 léptékű predikciós jellemzőréteg hozzáadásával a theAP is jelentősen javult.
Az apró célpontok észlelésének pontossága 10,5%-kal nőtt a YOLOv3-hoz képest, amely teljes mértékben kihasználta a hálózat sekély funkcióit a kis célpontok előrejelzésére, ami jelentősen javította az észlelési hatást, de a hálózat bonyolultságának és feldolgozásának növekedése árán. . A legjobb fejlesztés az M-YOLOv3 volt, amely a három javítási eljárást kombinálva 77,3%-os mAP-t ért el, ami 8,4%-kal magasabb, mint az eredeti YOLOv30 átlagos átlagos pontossága. A 13. ábra az M-YOLOv3 teszteredményeit mutatja TT100K-n.
4.2.2. A továbbfejlesztett YOLOv3 algoritmus összehasonlítása más algoritmusokkal
Az M-YOLOv3-at számos más klasszikus célfelismerési algoritmussal hasonlították össze, hogy tovább validálják a továbbfejlesztett hálózat észlelési felismerését, és az eredményeket a 2. táblázat mutatja be.
A 2. táblázat azt mutatja, hogy az M-YOLOv3 a legmagasabb, 77,3%-os maAP-val, az SSD pedig a legjobb valós idejű teljesítménnyel, 42-es FPS-sel. Az eredeti YOLOv3 algoritmushoz képest az átlagos precíziós átlag jelentősen javult, bár a valós idejű teljesítménye csökkent. Az egyfokozatú SSD algoritmushoz képest a mAP 12%-kal javult, de a valós idejű teljesítményben még mindig volt hiányosság. A kétlépcsős Faster-RCNN célfelderítési algoritmushoz képest az FPS 22-re javult, és a mAP is javult 1,7%-kal, ami javította az észlelési sebességet, valamint az észlelési pontosságot. A kísérletek kimutatták, hogy az M-YOLOv3 jobban teljesített az észlelési pontosság és sebesség tekintetében.
4.2.3. A YOLOv3 továbbfejlesztett felismerő hatása a közlekedési táblákra speciális környezetben
A valós vezetési forgatókönyvekben a közlekedési táblák észlelését és felismerését befolyásoló különböző tényezők, mint például az erős fénysugárzás, az éjszakai idő és a közlekedési táblák elzárásának speciális környezete miatt szükséges volt a modell felismerési hatását is figyelembe venni a speciális környezetekben lévő közlekedési táblákra. Különleges körülmények között a továbbfejlesztett YOLOv3 modellt használták a közlekedési táblák felismerésére, amint azt a 13. ábra mutatja.
A 14. ábrán a YOLOv3 detektálási hatását hasonlítjuk össze az M-YOLOv3-éval egy speciális környezetben. Amint a 14(b1,c1) ábrán látható, a YOLOv3 algoritmus nem észlelte a kitakart közlekedési táblát egy kitakarott közlekedési tábla esetén, míg a továbbfejlesztett YOLOv3 algoritmus pontosan azonosította a kitakart közlekedési táblát; Amint a 14(b2,c2) ábrán látható, a YOLOv3 algoritmusnak problémái voltak a téves észleléssel és a közlekedési tábla felismerésének elmulasztásával erős fénysugárzás mellett, míg a továbbfejlesztett YOLOv3 algoritmus minden közlekedési táblát pontosan felismert.
A továbbfejlesztett YOLOv3 algoritmus megnövelte a negyedik jellemző előrejelzési skálát kis célpontok esetén, javítva a kis célpontok észlelési hatását, míg a YOLOv3 algoritmusnak problémái voltak az észlelés hiányával és a kis célpontok alacsony megbízhatóságával, amint az a 14(b3,c3) ábrán látható; gyengén megvilágított környezetben, például éjszaka, a továbbfejlesztett YOLOv3 algoritmus felismerte a közlekedési táblákat, amint azt a 14. ábra mutatja (b4, c4); azonban a YOLOv3 módszer nem észlelt célpontokat. Ennek eredményeként bizonyos helyzetekben a frissített YOLOv3 algoritmus még mindig jobb észlelési eredményeket hozott.
5. Következtetések
Ebben a kutatásban egy módosított YOLOv3-on alapuló közlekedési tábla-észlelő és -felismerő hálózatot javasoltak a kis célpontok nehezen észlelhető nehézségeinek, valamint a közlekedési tábla-észlelési és azonosítási feladatok alacsony észlelési pontosságának kezelésére.
Az új, térbeli piramisos összevonási struktúra lehetővé tette a lokális és globális jellemzők fúzióját ebben a tanulmányban, valamint megnövelte a negyedik jellemző előrejelzési skálát a kis célpontok számára, hogy javítsa a kis célpontok észlelési hatását. A célkeret regressziójának stabilabbá tétele érdekében a DIoU veszteséget használták fel, amely gyorsabb konvergenciát mutatott, és jobban konzisztens volt a célkeret regressziójával.
Az észlelési hálózat pontossága jelentősen javult azáltal, hogy a valós idejű hálózatot a lehető legkisebb mértékben károsították. A mAP 8,4 ponttal nőtt. A továbbfejlesztett YOLOv3 algoritmus növelte a hálózat összetettségét és csökkentette az észlelési sebességet. A valós idejű észlelés azonban még messze van; ezért a következő kutatási terület az észlelési sebesség növelése lesz a valós idejű észlelés hatásának elérése érdekében.
A szerző közreműködése: Módszertan és írás-eredeti tervezet elkészítése, AL és CG; formalanalízis és vizsgálat, YS; adatkezelés, NX; források, AL; validálás, WH Minden szerző elolvasta és beleegyezett a kézirat közzétett változatába.
Finanszírozás: Ezt a projektet a Shandong tartományi felsőoktatási ifjúsági innovációs tudományos és technológiai program (2019KJB019 támogatás), a kínai Shandong tartományi természettudományi alapítvány (ZR2021MF131, ZR2015EL019, valamint a ZR2020ME126 Természettudományi Alapítvány) támogatta. Kína (61601265 és 51505258 sz. támogatás). Ezt a projektet a Kínai Posztdoktori Tudományos Alapítvány (2021M701405 sz. támogatás), a forgalomtechnikai szerkezetek mechanikai viselkedésének és rendszerbiztonságának állami kulcslaboratóriumának nyílt projektje (1903. számú támogatás), a Hebei Forgalombiztonsági és -szabályozási nyílt projektje finanszírozta. Key Laboratory, Kína (JTKY2019002 sz. támogatás) és a Shandong tartomány jelentős tudományos és technológiai innovációs projektje (2022CXGC020706. sz. támogatás).
Az intézményi felülvizsgálati bizottság nyilatkozata: Nem alkalmazható.
Tájékozott hozzájárulási nyilatkozat: Nem alkalmazható.
Adatelérhetőségi nyilatkozat: Nem alkalmazható.
Köszönetnyilvánítás: Köszönjük minden szerzőnek, hogy hozzájárult a cikk megírásához.
Összeférhetetlenség: A szerzők nem nyilatkoznak összeférhetetlenségről.
Hivatkozások
1. De la Escalera, A.; Armingol, JM; Mata, M. Közlekedési táblák felismerése és elemzése intelligens járművekhez. Kép Vis. Comput. 2003,21, 247–258. [CrossRef]
2. Saadna, Y.; Behloul, A. A közlekedési táblák észlelési és osztályozási módszereinek áttekintése. Int. J. Multimed. Információ. Retr. 2017, 6,193–210. [CrossRef]
3. Boumediene, M.; Cudel, C.; Basset, M.; Ouamri, A. Háromszög alakú közlekedési táblák észlelése RSLD algoritmus alapján. Mach. Vis. Appl.2013, 24, 1721–1732. [CrossRef]
4. Maldonado-Bascón, S.; Lafuente-Arroyo, S.; Gil-Jimenez, P.; Gomez-Moreno, H.; Lopez-Ferreras, F. Útjelzések észlelése és felismerése támogató vektorgépeken. IEEE Trans. Intell. Transp. Syst. 2007, 8, 264–278. [CrossRef]
5. Bahlmann, C.; Zhu, Y.; Ramesh, V.; Pellkofer, M.; Koehler, T. Egy rendszer közlekedési táblák észlelésére, nyomon követésére és felismerésére szín-, forma- és mozgásinformációk felhasználásával. In Proceedings of the IEEE Proceedings. Intelligent Vehicles Symposium, 2005, Las Vegas, NV, USA, 2005. június 6–8.; 255–260.
6. Ren, S.; Ő, K.; Girshick, R.; Sun, J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.Adv. Neurális információ. Folyamat. Syst. 2015, 28, 91–99. [CrossRef] [PubMed]
7. Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C.-Y.; Berg, AC SSD: Single Shot MultiBox detektor. Európai Konferencia a Számítógépes Látásról; Springer: Cham, Svájc, 2016; 21–37.
8. Redmon, J.; Divvala, S.; Girshick, R.; Farhadi, A. Csak egyszer kell megnézni: Egységes, valós idejű objektumészlelés. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016. június 27–30.; IEEE: Piscataway, NJ, USA, 2016; 779–788.
9. Wang, Z.; Guo, H. Konvolúciós neurális hálózaton alapuló közlekedési táblák észlelésének kutatása. In Proceedings of the 12th InternationalSymposium on Visual Information Communication and Interaction, Sanghaj, Kína, 2019. szeptember 20–22.; 1–5.
10. Han, C.; Gao, G.; Zhang, Y. Valós idejű kis közlekedési táblák észlelése felülvizsgált gyorsabb RCNN-nel. Multimédia. Eszközök Alk. 2019, 78,13263–13278. [CrossRef]
11. Zhang, J.; Huang, M.; Jin, X.; Li, X. Valós idejű kínai közlekedési tábla-észlelő algoritmus, amely módosított YOLOv2-n alapul. Algorithms2017, 10, 127. [CrossRef]
12. Zhu, Z.; Liang, D.; Zhang, S.; Huang, X.; Li, B.; Hu, S. Traffic-sign detection and classification in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2016, Las Vegas, NV, USA, 2016. június 27–30.; 2110–2118.o.
For more information:1950477648nn@gmail.com
