Oma igapäevaelus oleme harjunud nägema erksaid, detailseid pilte. Siiski on olemas varjatud saladus: kaameraandurid on oma olemuselt värvivahendid. Iga pikslit saab tuvastada ainult heleduse, mitte värvi. Selle mustvalge andmete värvimiseks muutmine nõuab keerulist süsteemi. Selle süsteemi keskmes on Bayeri mustr (Bayeri filter) ja pildisignaaliprotsessor (ISP). Need kaks elementi toimivad nagu kaamera aju ja silmad, töötades koos protsessi kujundamiseks toorest valgust signaalidest lõpppildile.
Kaameramoodulitele spetsialiseerunud konsultandina pakub see artikkel põhjalikku analüüsi Bayeri mustri kohta, tutvustab Interneti-teenuse pakkuja töötlemisvoogu ja uurib, kuidas need põhitehnoloogiad mõjutavad otseselt rakendusi, näiteks objektide tuvastamist manustatud nägemissüsteemides. Pakume asjatundlikke teadmisi inseneri vaatenurgast, aidates teil mõista iga pildi ahela peamist linki.
Mis on Bayer?
Bayeri mustri mõistmiseks peate kõigepealt mõistma, kuidas digitaalkaamerad töötavad. Kaameraandur koosneb miljonitest valgustundlikest dioodidest (pikslid). Kui footonid need pikslid löövad, genereerivad nad elektrilaengu, mille suurus on võrdeline valguse intensiivsusega. Need pikslid ei suuda aga eristada valguse värve; Nad registreerivad ainult selle heleduse.
Bayeri muster, mida sageli nimetatakse Bayeri filteriks, on uudne lahendus. See koosneb pisikesest filtritepunase (R), rohelise (g) ja sinisest (b)-iga piksli kohale. See filtrimassiiv võimaldab igal pikslil vastu võtta ja salvestada ainult selle all oleva valguse konkreetse värvi intensiivsus. Näiteks punase filtriga kaetud pikslit salvestab ainult punase tule heleduse.
Seega ei ole anduri töötlemata andmete väljund avärvi RGB pilt, kuid ühevärviline mosaiikmuster, mida tuntakse kui "Bayeri töötlemata andmeid". Iga selle andmete pikslid sisaldab teavet ainult ühest värvikanalist.
Miks on roheline kaks korda Bayeri mustris
Kui vaatate lähemalt tüüpilist Bayeri mustrit, märkate, et rohelisi piksleid on kaks korda rohkem kui punased ja sinised pikslid. Seda nimetatakse RGGB (või GRBG, BGGR jne) korralduseks.
See disain pole juhus; See põhineb inimsilma füsioloogilistel omadustel. Inimese võrkkesta on kõige tundlikum rohelise valguse suhtes, põhjustades meie ettekujutuse heledusest (või "halltoonist") peamiselt rohelisest kanalist. Eraldades rohkem piksleid rohelisele, on kaamera võimeline jäädvustama rikkalikumat heleduse teavet, mille tulemuseks on pildi rekonstrueerimisel suurem selgus ja vähem müra, muutes pildi lõpuks loomulikumaks ja teravamaks.
GGB vs BGGR erinevus
Bayeri mustrikokkuleppeid on mitmesuguseid, kusjuures RGGB ja BGGR on kaks kõige levinumat. Ehkki mõlemad järgivad põhimõtet "topeltroheline", erineb konkreetne paigutus.
RGGB -paigutuses asetatakse punased ja sinised pikslid diagonaalselt roheliste pikslite vastas. BGGR -paigutuses asetatakse rohelised pikslid diagonaalselt punaste ja siniste pikslite vahel. Nende kokkulepete valik mõjutab järgnevat Interneti -teenuse pakkuja töötlemist, eriti demosatsiooni algoritmi.
Näiteks mõjutavad erinevad paigutused külgnevate pikslite kombinatsiooni interpolatsiooni arvutuste ajal. Manustatud nägemissüsteemide puhul sõltub Bayeri mustri valik sageli Interneti -teenuse pakkuja kiibikujundusest ja nõuab lõpliku pildikvaliteedi tagamiseks riist- ja tarkvara koordineerimist.
Mis on Interneti -teenuse pakkuja (pildisignaali protsessor)?
SelleKujutise signaaliprotsessor (ISP)on kaamerasüsteemi ajud. Selle peamine ülesanne on saada andurilt töötlemata Bayeri töötlemata andmeid ja keeruka töötlemisjuhe kaudu teisendada see standardseks pildi vorminguks, mida näeme, kuvamiseks või analüüsiks valmis. ISP võib olla eraldiseisev kiip või integreeritud peamisse juhtimiskiipi.
Tõhus Interneti-teenuse pakkuja on suure jõudlusega kaameramooduli võti. Iga samm, mida see käsitseb, on ülioluline ja määrab otseselt lõpliku pildikvaliteedi.
Interneti -teenuse pakkuja töötlemisjuhe
Täielik Interneti -teenuse pakkuja torustik sisaldab tavaliselt kümneid töötlemise samme. Toome siin esile mitu peamist sammu:
1. halb piksli korrigeerimine
Tootmisprotsessi käigus võivad andurid tekitada üksikuid halbu piksleid, mis on kas helendavad või püsivalt heitlikud. ISP esimene samm on nende halbade pikslite tuvastamine ja parandamine, asendades nende andmed ümbritsevatest pikslitest.
2. musta taseme korrigeerimine
Isegi täielikus pimeduses annab andur "tumeda voolu" tõttu endiselt nõrga elektrisignaali. ISP lahutab selle fikseeritud "musta taseme", et tagada mustade pikslite tõeliselt null, parandades seeläbi pildi dünaamilist ulatust.
3. Denoising
Kui andur on hämaras, tekitab see suures koguses juhuslikku elektroonilist müra. ISP kasutab keerulisi algoritme, et eristada piltide detaili mürast ja rakendab seejärel müra vähendamist. See võib oluliselt parandada pildi puhtust, kuid liiga suur müra vähendamine võib ka detaile kustutada.
4. demosatsioon
See on ISP üks põhifunktsioone. Demosatsiooni algoritm interpoleerib iga piksli naabruses oleva punase, rohelise ja sinise piksli teabe, et järeldada selle piksli täielikku RGB väärtust. Demosaedu algoritmi kvaliteet määrab otseselt lõpliku pildi värvide paljunemise ja detaili.
5. automaatne valge tasakaal
Erinevad valgusallikad (näiteks päikesevalgus, fluorestsentsvalgustus ja hõõguv valgustus) eraldavad valgust erineva värvitemperatuuriga. Automaatse valge tasakaalu funktsioon analüüsib pildi värvijaotust ja reguleerib automaatselt punase, rohelise ja sinise kanalite võimendust, et tagada valgete objektide muudetud valgustusallika all täpselt valged. See dünaamiline ja keeruline protsess on ISP üks peamisi müügipunkte.
6. värviparandus (CCM)
Isegi pärast valge tasakaalustamist ei pruugi kaamera värvide paljunemine olla täpne. ISP kasutab värvi maatriksit värvi parendamiseks, kaardistades kaameraanduri loodusliku värviruumi tavapärase värviruumi (näiteks SRGB), et tagada värvikonsidentsus erinevates seadmetes.
7. Gamma korrigeerimine
Gamma korrigeerimine on mittelineaarne protsess pildi heleduse jaoks, et see vastaks inimese silma mittelineaarsele visuaalsele tajumisele, muutes erksad ja tumedad alad loomulikumaks ja sügavamaks.
8. teritamine ja serva suurendamine
ISP täiustab servasid piltidel, muutes need selgemaks ja teravamaks. See nõuab aga täpset kontrolli, kuna ülehädastamine võib viia ebaloomulike sakilised esemed.
Interneti -teenuse pakkuja mõju arvutinägemisele
Manustatud nägemisinseneride jaoks on Interneti -teenuse pakkuja midagi enamat kui lihtsalt pilt pildi kaunistamiseks. ISP iga töötlemise etapp mõjutab otseselt arvutivägemise algoritmide jõudlust. ISP rolli eiramine võib põhjustada surmavaid vigu sellistes rakendustes nagu objektide tuvastamine.
ISP "must kast" efekt
Paljud insenerid peavad Interneti-teenuse pakkumist ekslikult "musta kasti", eeldusel, et see vastutab ainuisikuliselt "hea väljanägemisega" pildi tootmise eest. Ehkki mõni Interneti -teenuse pakkuja töötlemine võib visuaalset kvaliteeti parandada, võib see häirida ka arvutinägemise algoritme.
Näiteks võib liiga agressiivne Interneti -teenuse pakkuja müra vähendamine pildi peeneid tekstuure ja üksikasju siluda, mis on objektide tuvastamise algoritmide jaoks üliolulised.
Autovalge tasakaalu väljakutse
Ebastabiilne automaatne valge tasakaal on arvutinägemise peamine valupunkt. Valgustingimuste muutmisel, kui automaatne valge tasakaal ei suuda värvitemperatuuri täpselt reguleerida, võib see põhjustada pildil valatud värvi. See võib muuta väljaõppinud objektide tuvastamise mudelid reaalsetes rakendustes ebaefektiivseks, kuna need ei pruugi tuvastada valatud objekte.
Kuidas sellega tegeleda
Arvutinägemise algoritmide vastupidavuse tagamiseks vajavad insenerid nägemisrakenduste jaoks optimeeritud Interneti -teenuse pakkujat. See tähendab, et Interneti-teenuse pakkuja parameetrid peavad olema kontrollitavad ja reguleeritavad, võimaldades inseneridel täpsustada pilditöötluse torustikku konkreetsete rakendusstsenaariumide jaoks (näiteks öösel eredad välivalgustused või hämaras tingimused). Lisaks on see üliolulineValige kaameramoodulSee annab välja toores Bayeri andmed. See võimaldab inseneridel teha Interneti -teenuse pakkuja töötlemist taustaprogrammi tarkvaras, pakkudes maksimaalset paindlikkust ja juhtimist.
Kokkuvõte
Bayeri mustri- ja pildisignaaliprotsessor on digitaalse kujutise ahela nurgakivid, mis töötavad koos toores valguse signaalide muutmiseks kasulikuks pilditeabeks. ISP iga töötlemisetapi mõistmine ja selle otsese mõju tuvastamine arvutinägemise algoritmidele on oluline iga manustatud nägemisinseneri jaoks. ISP mitte ainult ei aita kaasa piltide esteetikale, vaid määrab ka AI -rakenduste, näiteks objektide tuvastamise ja pildituvastuse õnnestumise.
MuchVision aitab ISP optimeerimisel
Kas olete oma projekti jaoks hädas kaameramooduli ISP optimeerimisega?Võtke ühendust meie asjatundliku meeskonnaga tänaJa pakume teile professionaalse pildisignaali protsessori valiku ja kohandamisteenuseid, mis aitavad teie manustatud visiooniprojekti õnnestuda!
