Kuvien luokittelumallit, joita olemme tähän mennessä käsitelleet, ottavat kuvan ja tuottavat kategorisen tuloksen, kuten luokan 'numero' MNIST-ongelmassa. Monissa tapauksissa emme kuitenkaan halua vain tietää, että kuva esittää objekteja – haluamme pystyä määrittämään niiden tarkka sijainti. Juuri tähän objektien tunnistus keskittyy.
Oletetaan, että haluaisimme löytää kissan kuvasta. Hyvin yksinkertainen lähestymistapa objektien tunnistukseen voisi olla seuraava:
- Pilko kuva useiksi ruuduiksi.
- Suorita kuvien luokittelu jokaiselle ruudulle.
- Ruudut, jotka tuottavat riittävän korkean aktivoinnin, voidaan katsoa sisältävän kyseisen objektin.
Kuva harjoitusmuistiosta
Tämä lähestymistapa on kuitenkin kaukana ihanteellisesta, koska se sallii algoritmin määrittää objektin rajauslaatikon sijainnin vain hyvin epätarkasti. Tarkempaa sijaintia varten meidän täytyy käyttää jonkinlaista regressiota ennustamaan rajauslaatikoiden koordinaatit – ja tätä varten tarvitsemme erityisiä tietoaineistoja.
Tämä blogikirjoitus tarjoaa hyvän johdannon muotojen tunnistukseen.
Tässä tehtävässä saatat törmätä seuraaviin tietoaineistoihin:
- PASCAL VOC – 20 luokkaa
- COCO – Common Objects in Context. 80 luokkaa, rajauslaatikot ja segmentointimaskit
Kuvien luokittelussa algoritmin suorituskyvyn mittaaminen on helppoa, mutta objektien tunnistuksessa meidän täytyy mitata sekä luokan oikeellisuus että ennustetun rajauslaatikon sijainnin tarkkuus. Jälkimmäistä varten käytämme niin kutsuttua Intersection over Union (IoU) -mittaria, joka mittaa, kuinka hyvin kaksi laatikkoa (tai kaksi satunnaista aluetta) menevät päällekkäin.
Idea on yksinkertainen – jaamme kahden kuvion leikkausalueen pinta-alan niiden yhdistymisalueen pinta-alalla. Kahdelle identtiselle alueelle IoU olisi 1, kun taas täysin erillisille alueille se olisi 0. Muuten se vaihtelee välillä 0–1. Tyypillisesti otamme huomioon vain ne rajauslaatikot, joiden IoU ylittää tietyn arvon.
Oletetaan, että haluamme mitata, kuinka hyvin tietty objektiluokka
- Tarkastellaan tarkkuus-kutsukäyrää, joka näyttää tarkkuuden tunnistuskynnyksen arvon (0–1) mukaan.
- Kynnyksen mukaan saamme enemmän tai vähemmän objekteja tunnistettua kuvasta, ja tarkkuuden ja kutsun arvot vaihtelevat.
- Käyrä näyttää tältä:
Kuva NeuroWorkshopista
Keskiarvoinen tarkkuus tietylle luokalle
Otamme huomioon vain ne tunnistukset, joiden IoU ylittää tietyn arvon. Esimerkiksi PASCAL VOC -tietoaineistossa tyypillisesti
Kuva NeuroWorkshopista
Objektien tunnistuksen päämittari on keskiarvoinen tarkkuus, eli mAP. Se on keskiarvoisen tarkkuuden arvo, keskiarvoistettuna kaikkien objektiluokkien yli, ja joskus myös
Objektien tunnistusalgoritmit voidaan jakaa kahteen pääluokkaan:
- Alue-ehdotusverkot (R-CNN, Fast R-CNN, Faster R-CNN). Pääidea on luoda kiinnostusalueita (ROI) ja ajaa CNN niiden yli, etsien maksimaalista aktivointia. Tämä on hieman samanlainen kuin naiivi lähestymistapa, mutta ROI:t luodaan älykkäämmin. Yksi suurimmista haittapuolista tällaisissa menetelmissä on niiden hitaus, koska CNN-luokittelijaa täytyy ajaa kuvan yli monta kertaa.
- Yhden passin (YOLO, SSD, RetinaNet) menetelmät. Näissä arkkitehtuureissa verkko suunnitellaan ennustamaan sekä luokat että ROI:t yhdellä passilla.
R-CNN käyttää Selective Search -menetelmää luomaan hierarkkisen rakenteen ROI-alueista, jotka sitten syötetään CNN-ominaisuuksien erottimiin ja SVM-luokittelijoihin objektin luokan määrittämiseksi, sekä lineaariseen regressioon rajauslaatikon koordinaattien määrittämiseksi. Virallinen artikkeli
Kuva van de Sande et al. ICCV’11
Kuvat tästä blogista
Tämä lähestymistapa on samanlainen kuin R-CNN, mutta alueet määritellään vasta konvoluutiokerrosten soveltamisen jälkeen.
Kuva virallisesta artikkelista, arXiv, 2015
Tämän lähestymistavan pääidea on käyttää neuroverkkoa ennustamaan ROI:t – niin kutsuttu Region Proposal Network. Artikkeli, 2016
Tämä algoritmi on jopa nopeampi kuin Faster R-CNN. Pääidea on seuraava:
- Ominaisuudet erotetaan ResNet-101:llä.
- Ominaisuudet käsitellään Position-Sensitive Score Map -kartalla. Jokainen objekti luokasta
$C$ jaetaan$k\times k$ alueisiin, ja verkkoa koulutetaan ennustamaan objektien osia. - Jokaiselle osalle
$k\times k$ alueista kaikki verkot äänestävät objektin luokista, ja eniten ääniä saanut luokka valitaan.
YOLO on reaaliaikainen yhden passin algoritmi. Pääidea on seuraava:
- Kuva jaetaan
$S\times S$ alueisiin. - Jokaiselle alueelle CNN ennustaa
$n$ mahdollista objektia, rajauslaatikon koordinaatit ja luottamus=todennäköisyys * IoU.
- RetinaNet: virallinen artikkeli
- PyTorch-toteutus Torchvisionissa
- Keras-toteutus
- Objektien tunnistus RetinaNetillä Keras-esimerkeissä
- SSD (Single Shot Detector): virallinen artikkeli
Jatka oppimista seuraavassa muistiossa:
Tässä oppitunnissa tutustuit moniin eri tapoihin, joilla objektien tunnistus voidaan toteuttaa!
Lue nämä artikkelit ja muistiot YOLO:sta ja kokeile niitä itse:
- Hyvä blogikirjoitus YOLO:sta
- Virallinen sivusto
- Yolo: Keras-toteutus, askel-askeleelta muistio
- Yolo v2: Keras-toteutus, askel-askeleelta muistio
- Objektien tunnistus kirjoittanut Nikhil Sardana
- Hyvä vertailu objektien tunnistusalgoritmeista
- Katsaus syväoppimisalgoritmeihin objektien tunnistuksessa
- Perusteellinen johdanto objektien tunnistusalgoritmeihin askel askeleelta
- Faster R-CNN:n toteutus Pythonilla objektien tunnistukseen