Közlekedési tábla felismerés a YOLOv3 algoritmus 1. része alapján

Absztrakt:

A közlekedési táblák észlelése az intelligens közlekedési rendszer alapvető eleme, mivel kritikus közúti forgalmi adatokat szolgáltat a járművek döntéshozatalához és ellenőrzéséhez.

Az urbanizáció felgyorsulásával a lakosság és a járművek száma tovább növekszik, és az olyan problémák, mint a forgalmi torlódások és a biztonsági balesetek egyre súlyosabbá válnak, és nagy kényelmetlenséget és nyomást jelentenek az emberek életére és munkájára. Ezért az intelligens közlekedési rendszerek megjelenése nagy kényelmet hozott életünkbe, és a közlekedés biztonságát is javíthatja. Az intelligens közlekedési rendszerek szintén elválaszthatatlanok az emberi emlékezettől.

Mindenekelőtt az intelligens közlekedési rendszerek csúcstechnológiás eszközöket használhatnak a forgalmi információk összegyűjtésére és elemzésére, valamint részletes és pontos forgalmi feltételeket biztosítanak az embereknek, ami megkönnyíti az emberek utazását és elkerülheti a pontatlan közlekedési információk, például a közlekedési lámpák miatti késéseket. A járművezetők számára az intelligens közlekedési rendszer valós idejű elemzést és nyomon követést végezhet vezetési útvonalaikról, emlékezteti a járművezetőket, hogy speciális időszakokban haladéktalanul módosítsák vezetési útvonalukat, és csökkenti a forgalmi dugók, késések stb. előfordulását. Ily módon segíti a vezető figyelmét, csökkenti a vezetés közbeni fáradtságot, és ezáltal javítja a vezetés biztonságát.

Másodszor, az intelligens közlekedési rendszer a sofőr mobiltelefonjához, járműnavigációjához és egyéb rendszerekhez is csatlakoztatható olyan technikai eszközökön keresztül, mint például a járművek internete. Ily módon az emberek bármikor hozzájuthatnak a legfrissebb közlekedési információkhoz, megismerhetik aktuális forgalmi környezetüket, és azonnal módosíthatják utazási terveiket. Ugyanakkor együttműködhet a jármű biztonsági vezérlő és vezetést segítő rendszereivel is a biztonságos vezetés érdekében. Például miután a sofőrök elsajátítják az intelligens közlekedési rendszer által biztosított vezetési útvonalakat, forgalmi információkat stb., koncentráltabban és stabilabban vezetik a járművet, nem esnek zavarba az útvonalak hirtelen változásai miatt stb., valamint gyorsan tudjon cselekedni vészhelyzetekben. reagál.

Végül az intelligens közlekedési rendszer a különböző városi forgalmi helyzeteknek megfelelő forgalomirányítási szabályokat is beállíthat a járművek és a gyalogosok biztonságos közlekedésének és a közlekedési balesetek elkerülésének érdekében. Például a közlekedési lámpák idejének és gyakoriságának forgalmi torlódások alapján történő megváltoztatása, sebességkorlátozási figyelmeztetések az útszakaszokon stb. lehetővé teszik a járművezetők számára, hogy megfelelően reagáljanak összetett útviszonyok esetén, ezáltal biztosítva a forgalom zavartalanságát. és a biztonság.

Összefoglalva, szoros kapcsolat van az intelligens közlekedési rendszerek és az emberi memória között. Az intelligens közlekedési rendszerek jobb vezetési környezetet biztosítanak számunkra, csökkentik az emberek vezetési terheit, és ezáltal javítják az emberek memóriáját. Az intelligens közlekedési rendszerek fejlesztése elkerülhetetlen trend modern városaink építésében. Látható, hogy javítanunk kell a memórián, és a Cistanche deserticola jelentősen javíthatja a memóriát, mert a Cistanche deserticola egy hagyományos kínai gyógyászati ​​anyag, amelynek számos egyedi hatása van, amelyek közül az egyik a memória javítása. A darált hús hatékonyságát a benne található különféle hatóanyagok jelentik, beleértve a savakat, poliszacharidokat, flavonoidokat stb. Ezek az összetevők számos módon elősegíthetik az agy egészségét.

Kattintson a Tudjon meg 10 módszerre a memória javítására

A kis közlekedési táblák, a nem feltűnő jellemzők és az alacsony észlelési pontosság kihívásainak megoldására egy továbbfejlesztett (Csak egyszer nézd meg v3) YOLOv3-on alapuló közlekedési tábla felismerési módszert javasoltak.

A térbeli piramisösszevonási struktúrát a YOLOv3 hálózati struktúrába olvasztották be, hogy elérjék a helyi jellemzők és a globális jellemzők fúzióját, és a negyedik, 152 × 152 méretű jellemző-előrejelzési skála bevezetésre kerül a hálózat sekély jellemzőinek teljes kihasználása érdekében a kis célpontok előrejelzésére.

Ezenkívül a boundingbox regresszió stabilabb, ha a távolság-IoU (DIoU) veszteséget használjuk, amely figyelembe veszi a cél és a horgony közötti távolságot, az átfedési arányt és a skálát.

A Tsinghua–Tencent 100K(TT100K) közlekedési táblák adatkészletének 12 horgonyát a K-means klaszterezési algoritmus segítségével újraszámítják, miközben az adatkészletet kiegyensúlyozzák és kibővítik a TT100K adatkészletben lévő célosztályok páratlan száma miatt.

Az algoritmust összehasonlítják a YOLOv3-mal és más általánosan használt célfelderítési algoritmusokkal, és az eredmények azt mutatják, hogy a továbbfejlesztett YOLOv3 algoritmus 77,3%-os átlagos pontosságot (mAP) ér el, ami 8,4%-kal magasabb, mint a YOLOv3, különösen kis célpont-észlelésnél, ahol a mAP 10,5%-kal javult, nagymértékben javítva az észlelési hálózat pontosságát, miközben a valós idejű teljesítményt a lehető legmagasabb szinten tartotta.

Az észlelési hálózat pontossága jelentősen megnövekedett, miközben a hálózat valós idejű teljesítménye a lehető legmagasabb szinten marad.

Kulcsszavak:

Közlekedési tábla felismerés; YOLOv3; térbeli piramis pooling szerkezet.

1. Bemutatkozás

Jelenleg az automatizált vezetési és intelligens közlekedési rendszerek (ITS) jelentik a közlekedési jelzőtáblák észlelési és azonosítási technológiák fő alkalmazási területét.

Kulcsfontosságú közlekedési információkat tud adni a vezetőknek és az autonóm járműveknek, hogy az utóbbiak a közúti szabályok alapján döntést hozhassanak, vagy időben figyelmeztessenek és irányítsák a járművezetők viselkedését a közlekedési balesetek csökkentése érdekében.

A közlekedési táblák nagyjából három kategóriába sorolhatók: irányjelző táblák, figyelmeztető táblák és tiltó táblák. Ezek a táblák kerek vagy háromszög alakúak, piros, sárga és kék színűek.

Ezért a klasszikus közlekedési táblafelismerés általában gépi tanulási technikákat használ a közlekedési táblák felismerésére, vagy olyan információk kinyerésére, mint a szín és a forma a közlekedési táblákból.

A színalapú közlekedési jelzőtábla-észlelésben a színalapú szegmentálást használják a jellemzők kinyerésére az osztályozás azonosítása előtt, amelyet könnyen befolyásolnak a világítás változásai. A színszegmentációt a korábbi irodalom szerint [1] nem befolyásolják a fényerő változásai, és a HIS teret csak a színárnyalat és a telítettség vizsgálatára használja.

A színfelismerés olyan változókkal szembeni magas követelményei miatt, mint az időjárás és az észlelési távolság, a színjellemzőkre épülő észlelési megközelítés alkalmazható nagy felbontású képfelismerésre, de szürkeárnyalatos képfelismerésre nem [2].

Egy másik irodalomban javasoltak egy forma alapú közlekedési tábla azonosítási megközelítést szürkeárnyalatos képeken [3], amely a háromszög jelzőtáblák észlelését egyszerű vonalszakasz-detektálássá alakítja, amely képes megfelelően felismerni a közlekedési táblákat, és nem befolyásolja a távolság.

Egy másik irodalomban [4] javasoltak egy támogató vektor gép alapú közlekedési tábla észlelési és felismerési rendszert, amely egy lineáris támasz vektorgép általánosító tulajdonságát használja fel a közlekedési táblák színének szegmentálására, majd az űrlap osztályozására.

A szín- és alakjellemzők külön-külön történő észlelésének módszere először színszegmentációt hajt végre, hogy megkapja a kívánt régiót, és ha a kívánt régiót nem észleli a rendszer, akkor az alakalapú észlelés többé nem történik meg; másodszor, a színszegmentáláshoz rögzített küszöbértéket kell beállítani. manuálisan, bonyolulttá és időigényessé téve a közlekedési táblák észlelését.

E problémák megoldása és az észlelési teljesítmény növelése érdekében egy tanulmány [5] az AdaBoost keretrendszert használta a szín- és alakmodellezés egyidejű detektálására.

A külső körülmények változásai, mint például a fény, a közlekedési táblák színének változása és így tovább, hatással lehetnek a szín- és alakalapú közlekedési táblák észlelésére.

Az észlelési hatás instabil, rontja a közlekedési táblafelismerő rendszer teljesítményét, és sebezhetővé teszi a közlekedési táblák szivárgásával és hamis észleléssel szemben. A mély tanulási technológia fejlődésével a neurális hálózatokat gyakrabban használják a célpontok észlelésére; ezekre az algoritmusokra példa a Faster R-CNN [6], az SSD [7] és a YOLO [8] stb., amelyek elsősorban egy- és kétlépcsős észlelési megközelítésekre különíthetők el.

Egy korábbi tanulmány [9] a YOLOv1-en alapuló továbbfejlesztett észlelési hálózatot mutatott be a szabványos közlekedési tábla-észlelési módszerek alacsony pontosságának és lassú észlelési sebességének problémáinak megoldására.

Ez a hálózat megnövelte a közlekedési táblák észlelésének sebességét és csökkentette az észlelőrendszer hardverkövetelményeit. Egy másik tanulmány [10] a továbbfejlesztett FasterRCNN-en alapuló közlekedési tábla-észlelési megközelítést javasolt, amely 12,1%-os mAP-javulást eredményezett, és sikeresen kezelte az olyan problémákat, mint például az alacsony felismerési hatékonyság, és a közlekedési táblák észlelésének és felismerésének pontossága.

A [11]-ben a CCTSDB adatkészletet a kínai közlekedési táblák adatkészletének (CTSD) bővítésével és a jelzőinformációk frissítésével kapták meg a továbbfejlesztett YOLOv2 célfelismerő algoritmus alapján. A CCTSDB adatkészlet csak három kategóriájú közlekedési táblát tartalmazott, ami nem elegendő a közlekedési tábla felismerés kihívást jelentő feladatának elvégzéséhez.

A Tsinghua Egyetem és a Tencent együttműködésében létrehozott TT100K [12] adatkészletet a kínai Utcakép panorámájából nyerték ki, és a világítási és időjárási körülmények széles skáláját fedi le, így jobban reprezentálja a tényleges vezetési környezetet. A [13] tanulmány DenseNet-et használt a helyett. A ResNet a YOLOv3 gerinchálózatában, és kísérletileg érvényesítette a TT100K adatkészleten.

Az algoritmus javítja az észlelési modell valós idejű teljesítményét, de a pontosság és a visszahívás általában alacsony, ha kis célpontokról, például közlekedési táblákról van szó, ami súlyos téves észlelést jelent.

Az észlelési feladat gyakran nagyobb kihívást jelent a célfelderítési feladatokban, mivel az észlelni kívánt cél jellemzően nagy, jellemzői pedig könnyen kinyerhetők.

A YOLOv3 által bevezetett FPN-struktúrának köszönhetően ma már képes felismerni a célpontokat különböző léptékben a többléptékű jellemző-fúzió segítségével, amely alkalmas bonyolult közlekedési jelenetekhez, és ígéretesnek bizonyult a kis célpontok észlelésében. Van azonban még mit javítani a TT100K közlekedési tábla adatkészlet nagy felbontású képén.

Összefoglalva, a neurális hálózat alapú megközelítés sikeresen kezelheti az alacsony felismerési hatékonysággal, a kihagyott észleléssel és a téves észleléssel járó problémákat, miközben javítja a közlekedési táblák észlelésének és felismerésének pontosságát.

A neurális hálózaton alapuló módszerek nagyobb pontossággal vagy gyorsabban érzékelik, mint a hagyományos módszerek, de nem tudják elérni az észlelési sebességet és az észlelési pontosságot. Ezenkívül a legtöbb közlekedési tábla észlelése a német közlekedési táblák adatkészletét (GTSDB) használja, és a németországi közlekedési táblák eltérnek a kínaiaktól; Kínában kevesebb tanulmány készült a közlekedési táblák észleléséről és felismeréséről.

Ezért a fenti módszerek problémáinak megoldása érdekében ez a cikk a TT100K adatkészletet használja a kínai közlekedési táblák betanításához és észleléséhez, valamint a YOLOv3 hálózat fejlesztéséhez és beállításához, főként a következő fejlesztésekkel:

(1) Adjon hozzá egy negyedik, 152 × 152 méretű jellemző-előrejelzési skálát a YOLOv3 hálózati struktúrájához, hogy teljes mértékben kihasználja a hálózat sekély jellemzőit a kis célpontok megelőzésére. A lokális és globális jellemzők egyesítésének elérése érdekében a térbeli piramispoolos szerkezetet összeolvasztják.

(2) A cél és a horgony közötti távolságot, az átfedési arányt és a léptéket mind figyelembe veszik, amikor DIoU veszteséget használunk a gyorsabb konvergencia és a következetesebb célkeret regresszió érdekében. Ez stabilabbá teszi a célkeret regresszióját.

(3) A TT100K adatkészletben található közlekedési táblák többsége kis- és közepes méretű célpont, csak néhány nagy célponttal.

Ennek eredményeként az eredeti horgony használata nem lehetséges. A K-means klaszterezési algoritmust a TT100K adatkészlet 12 horgonyjának újraszámítására használják, az adatkiegészítési stratégiát pedig az adatkészlet célkategóriáinak kiegyensúlyozatlan számának kiegyensúlyozására és növelésére.

For more information:1950477648nn@gmail.com