3D matymas yra daugiadisciplinė sritis, apimanti kompiuterinę grafiką, kompiuterinį regėjimą ir dirbtinį intelektą. Juo siekiama, kad mašinos galėtų suprasti ir apdoroti informaciją trimatėje erdvėje, kad būtų galima geriau suvokti, atpažinti ir suprasti objektus bei scenas.
Pagrindinės užduotys
3D rekonstrukcija
3D scenų gylio įvertinimas arba skaitmeninis objektų paviršių mėginių ėmimas, taip pat 3D duomenų apdorojimas ir atvaizdavimas; monokuliarinė rekonstrukcija, žiūrono rekonstrukcija, struktūrizuota šviesa{2}}pagrįsta rekonstrukcija, rekonstrukcija lazeriu-; didelio-masto 3D rekonstrukcija, mobilioji 3D rekonstrukcija.
Pozos įvertinimas
Kamerų ar objektų padėties ir orientacijos apskaičiavimas trimatėje fizinėje erdvėje{0}}ir stebėjimas realiuoju laiku.
3D supratimas
Objektų aptikimas, atpažinimas ir paieška, taip pat scenų ar objektų segmentavimas ir semantinis žymėjimas.
Darbo principai
3D matymas yra vienas iš svarbiausių informacijos suvokimo metodų pramoniniuose robotuose ir gali būti suskirstytas į optinius ir ne{1}}optinius vaizdavimo metodus. Šiuo metu optiniai metodai yra plačiausiai naudojami.
Laikas-of-Skrydžio (TOF) metodas
Šis metodas apskaičiuoja atstumą iki objekto matuodamas laiko skirtumą tarp šviesos spinduliavimo ir priėmimo. Pavyzdžiui, TOF kamera, kiekvienas pikselis naudoja šviesos skrydžio laiko skirtumą, kad gautų objekto gylį. Taikant klasikinius matavimo metodus, detektoriaus sistema pradeda skaičiuoti laiką, kai skleidžia šviesos impulsą, išsaugo kelionės atgalinį -laiką, kai gauna tikslinės šviesos aidą, ir apskaičiuoja taikinio atstumą pagal formulę.
Jis skirstomas į tiesioginį TOF (DTOF) ir netiesioginį TOF (I-TOF). DTOF paprastai naudojamas vieno-taško diapazono sistemose, o norint pasiekti ploto-platų 3D vaizdą, dažnai reikia nuskaitymo technologijos; I-TOF netiesiogiai ekstrapoliuoja kelionės pirmyn ir atgal laiką iš šviesos intensyvumo matavimų,{6}}pagal tam tikrą laiką, todėl nereikia nustatyti tikslaus laiko, ir šiuo metu yra komercinis sprendimas, skirtas elektroniniams ir optiniams maišytuvams, pagrįstiems TOF kameromis. TOF vaizdavimas gali būti naudojamas dideliam matymo laukui, dideliam{8}}atstumui, mažo-tikslumo ir nebrangių
Struktūrinės šviesos projekcijos 3D vaizdavimas
Struktūrinė šviesos projekcija 3D vaizdavimas šiuo metu yra pagrindinis robotų 3D regėjimo suvokimo metodas. Projektorius ant tikslinio objekto projektuoja specifinį struktūrinį šviesos apšvietimo modelį, pvz., juosteles arba pilkojo kodo raštus, o fotoaparatas užfiksuoja taikinio moduliuojamą vaizdą. Dėl objekto paviršiaus banguotumo objekto paviršiuje deformuojamas struktūrinis šviesos raštas. Apdorojant vaizdus ir naudojant vaizdinius modelius, kad būtų galima palyginti modelius prieš ir po deformacijos, ir analizuojant modelio iškraipymą, galima apskaičiuoti kiekvieno tikslinio objekto paviršiaus taško trimatę koordinačių informaciją.
Robotų rankų{0}}akių sistemose tais atvejais, kai nereikia didelio 3D matavimo tikslumo (pavyzdžiui, išėmimas ant padėklų, išėmimas iš padėklų ir 3D suvokimas), pseudo-atsitiktinių dėmių modelių projektavimo metodas, siekiant gauti tikslinės 3D informacijos, yra gana populiarus. Šis metodas dažniausiai naudojamas pramoninėje apžiūroje ir 3D modeliavime, juo galima greitai gauti 3D objekto paviršiaus duomenis. Struktūrinė šviesos vaizdo sistema susideda iš kelių projektorių ir kamerų. Įprastos struktūrinės formos: vieno projektoriaus{10}}viena kamera, vieno projektoriaus-dvi kameros, vieno projektoriaus-kelios kameros, vienos kameros{13}}dviejų projektorių ir vienos kameros{14}}keli projektoriai.
Pagrindinis struktūrinės šviesos projekcijos 3D vaizdavimo veikimo principas yra toks: projektorius ant tikslinio objekto projektuoja specifinį struktūrinį šviesos apšvietimą, kamera užfiksuoja taikinio moduliuotą vaizdą, o tada apdorojant vaizdą ir vizualinius modelius gaunama tikslinio objekto 3D informacija. Įprasti projektorių tipai: skystųjų kristalų ekranas (LCD), skaitmeninė šviesos moduliavimo projekcija (DLP: pvz., skaitmeniniai mikroveidrodiniai įrenginiai (DMD)) ir lazerinė LED modelio tiesioginė projekcija.
Remiantis struktūrizuotų šviesos projekcijų skaičiumi, struktūrinės šviesos projekcijos 3D vaizdavimą galima suskirstyti į vieno-kadro 3D ir kelių{3}}kadrų 3D metodus. Vieno kadro struktūrizuota šviesa daugiausia naudoja erdvinio tankinimo kodavimą ir dažnio tankinimo kodavimą. Įprastos kodavimo formos yra: spalvų kodavimas, pilkos spalvos indeksavimas, geometrinių formų kodavimas ir atsitiktiniai dėmių raštai. Šiuo metu robotizuotose-akių sistemose scenarijuose, kai nereikia didelio 3D matavimo tikslumo, pvz., išėmimas ant padėklų, išėmimas iš padėklų ir 3D suvokimas, pseudo{12}}atsitiktinių dėmių modelių projektavimo metodas, siekiant gauti tikslinę 3D informaciją, yra plačiai naudojamas.
Kelių kadrų 3D metodai daugiausia naudoja laiko-multipleksavimo kodavimą. Įprastos šablonų kodavimo formos: dvejetainis kodavimas, kelių -dažnių fazių- keitimo kodavimas ir hibridiniai kodavimo metodai (pvz., pilkasis kodas ir fazių -pakeitimo pakraščiai). Pagrindinis struktūrinio šviesos 3D vaizdavimo principas parodytas paveikslėlyje žemiau. Kompiuteriu arba specialiu optiniu įrenginiu sukuriamas struktūrinis šviesos raštas, o po to optinės projekcijos sistema projektuojamas ant tiriamo objekto paviršiaus. Vaizdo gavimo įrenginys (pvz., CCD arba CMOS kamera) naudojamas struktūrizuotam šviesos vaizdui, kurį moduliuoja ir deformuoja objekto paviršius, užfiksuoti. Tada vaizdo apdorojimo algoritmai naudojami kiekvieno vaizdo pikselio ir objekto kontūro taškų atitikčiai apskaičiuoti. Galiausiai, naudojant sistemos struktūros modelį ir jo kalibravimo technologiją, apskaičiuojama trimatė objekto kontūro informacija. Praktikoje dažniausiai naudojama pilkojo kodo projekcija, sinusoidinės fazės{15}}perkeltos pakraščio projekcija arba hibridinė pilkojo kodo ir sinusoidinės fazės{16}}perslinkimo 3D technologija.
Nelygiems paviršiams struktūrinė šviesa gali būti tiesiogiai projektuojama ant objekto paviršiaus, kad būtų galima matuoti vizualinį vaizdą; tačiau matuojant 3D labai atspindinčius lygius paviršius ir veidrodinius objektus, struktūrinė šviesos projekcija negali būti tiesiogiai projektuojama ant bandomojo paviršiaus, o 3D matavimui reikia naudoti veidrodinio atspindžio metodus.
Pagal šią schemą pakraščiai nėra tiesiogiai projektuojami ant bandomojo objekto kontūro, o į sklaidos ekraną arba skystųjų kristalų ekranas (LCD) naudojamas tiesiogiai rodyti kraštelius. Fotoaparatas įgyja pakraščio informaciją, kurią moduliuoja šviesaus paviršiaus kreivumo pokyčiai per atspindėtą šviesos kelią, ir tada apskaičiuoja trimačio kontūro morfologiją.
3D vaizdų nuskaitymas
Nuskaitymo 3D vaizdavimo metodus galima suskirstyti į nuskaitymo diapazono nustatymo, aktyviosios trianguliacijos ir chromatinio konfokalinio nustatymo metodus. Nuskaitant atstumą, naudojamas kolimuotas šviesos spindulys, kad būtų nuskaitytas visas tikslinis paviršius, kad būtų galima atlikti 3D matavimus. Įprasti nuskaitymo diapazono nustatymo metodai apima: vieno-taško laiko--skrydžio metodus, tokius kaip nuolatinės bangos dažnio moduliavimas (FM-CW) ir impulsų diapazono nustatymas (LiDAR); lazerio sklaidos interferometrija, pvz., interferometrai, pagrįsti kelių bangos ilgių trukdžiais, holografiniais trukdžiais, baltos šviesos trukdžiais ir taškelių trukdžių principais; ir konfokaliniai metodai, tokie kaip chromatinis konfokalinis ir automatinis fokusavimas.
Taikant vieno-taško nuskaitymo 3D metodus, vieno-taško laiko-skrydžio-metodas yra tinkamas tolimam-nuskaitymui, tačiau matavimo tikslumas yra palyginti mažas, paprastai milimetrų diapazone. Kiti vieno-taško skenavimo metodai apima vieno-taško lazerinę interferometriją, konfokalinę mikroskopiją ir vieno Šie metodai užtikrina didelį matavimo tikslumą, tačiau pirmiesiems reikia kontroliuojamos aplinkos. Linijinis nuskaitymas užtikrina vidutinį tikslumą ir didelį efektyvumą. Aktyvus lazerinis trianguliavimas ir chromatinė konfokalinė mikroskopija yra ypač tinkami 3D matavimui roboto rankos galiniame efektoriuje. Aktyvus trianguliavimas grindžiamas trianguliacijos principu, naudojant kolimuotą pluoštą arba vieną ar daugiau plokščių pluoštų, kad būtų galima nuskaityti tikslinį paviršių 3D matavimui.
Šviesos spindulys paprastai gaunamas šiais būdais: lazerio kolimacija, cilindrinio arba kvadratinio paviršiaus prizminio pluošto išplėtimas, ne{0}}koherentinė šviesa (pvz., balta šviesa, LED šviesos šaltinis), projektuojama per mažas skylutes, plyšius (gardeles) arba koherentinė šviesos difrakcija. Aktyvų trianguliaciją galima suskirstyti į tris tipus: vieno-taško nuskaitymą, vienos-linijos nuskaitymą ir kelių-linijų nuskaitymą. Šiuo metu dauguma parduodamų produktų, skirtų robotų rankų galams, yra vieno{6}}taško ir{7}}vienos linijos skaitytuvai.
Naudojant kelių eilučių nuskaitymo metodus, patikimas kraštinių skaičių identifikavimas yra iššūkis. Norint tiksliai identifikuoti pakraščius, du statmenų šviesos plokštumų rinkiniai paprastai vaizduojami dideliu greičiu pakaitomis. Tai taip pat įgalina „Skraidančios trianguliacijos“ nuskaitymą, kurio nuskaitymo ir 3D atkūrimo procesas parodytas toliau pateiktame paveikslėlyje. Kelių-linijų projekcija ir vienos-blykstės vaizdavimas sukuria nedidelį 3D vaizdą. Nuskaitant išilginę ir skersinę pakraščio projekciją sukuriamos kelios 3D vaizdų sekos, o tada registruojant 3D vaizdą sukuriamas didelės raiškos, užbaigtas ir tankus 3D paviršiaus modelis.
Atrodo, kad chromatinė konfokalinė mikroskopija gali nuskaityti ir išmatuoti grubius ir lygius nepermatomus ir skaidrius objektus, tokius kaip atspindintys paviršiai ir skaidrūs stiklo paviršiai, ir šiuo metu plačiai naudojama tokiose srityse kaip mobiliųjų telefonų dangtelių 3D tikrinimas. Chromatinis konfokalinis nuskaitymas yra trijų tipų: vieno-vieno taško-matmens absoliutaus atstumo matavimo nuskaitymas, kelių-taškų masyvo nuskaitymas ir nuolatinis linijų nuskaitymas. Žemiau esančiame paveikslėlyje pateikti absoliutaus atstumo matavimo ir nenutrūkstamo linijų nuskaitymo pavyzdžiai. Nuolatinis linijų nuskaitymas taip pat yra masyvo nuskaitymo tipas, tačiau naudojant didesnį ir tankesnį taškų masyvą.
Stereo Vision 3D vaizdas
Stereo matymas paprastai reiškia tikslinio objekto 3D struktūros ar gylio informacijos atkūrimą, gaudami du ar daugiau vaizdų iš skirtingų požiūrių. Giluminio suvokimo vizualinius signalus galima suskirstyti į akies signalus ir žiūronus (žiūronų skirtumai). Šiuo metu stereofoninį 3D vaizdą galima pasiekti naudojant monokulinį, binokulinį, kelių-vaizdų vaizdą ir šviesos lauko 3D vaizdą (elektroninė sudėtinė akis arba masyvo kamera). Monokuliarinio matymo gylio suvokimo signalai paprastai apima: perspektyvą, židinio nuotolio skirtumus, kelių vaizdų vaizdavimą, okliuziją, šešėlius, judesio paralaksą ir kt.
Robotinio regėjimo atveju tai taip pat galima pasiekti naudojant veidrodinį vaizdą ir kitas formas{0}}iš-X metodais. Binokulinio matymo gylio suvokimo vaizdiniai ženklai yra: akių konvergencijos padėtis ir binokulinis skirtumas. Mašininio matymo atveju dvi kameros naudojamos dviem tos pačios tikslinės scenos vaizdams gauti iš dviejų požiūrio taškų, o tada apskaičiuojamas atitinkamų taškų skirtumas dviejuose vaizdo taškuose, kad būtų gauta tikslinės scenos 3D gylio informacija. Įprastas žiūroninio stereovizinio vaizdo skaičiavimo procesas apima šiuos keturis veiksmus: vaizdo iškraipymo korekciją, stereo vaizdo poros ištaisymą, vaizdo registravimą ir trikampio atkūrimo skirtumų žemėlapio apskaičiavimą.
Kelių-vaizdų vizualizavimas arba kelių-vaizdų stereovaizdas naudoja vieną ar kelias kameras, kad iš kelių taškų gautų kelis tos pačios tikslinės scenos vaizdus, kad būtų galima atkurti trimatę tikslinės scenos informaciją.
Kelių-vaizdų stereofoninis vaizdas daugiausia naudojamas šiais atvejais: naudojant kelias kameras iš skirtingų požiūrių, norint gauti kelis tos pačios tikslinės scenos vaizdus, o tada naudojant funkcijomis{1}}pagrįstą stereorekonstrukciją ir kitus algoritmus, kad būtų gauta scenos gylio ir erdvinės struktūros informacija; naudojant struktūros -iš-judesio (SFM) techniką, naudojant tą pačią kamerą, kurios vidiniai parametrai nepakeisti, norint gauti kelis vaizdus iš skirtingų požiūrių, kad būtų galima atkurti trimatę tikslinės scenos informaciją. Ši technologija dažniausiai naudojama norint sekti daug valdymo taškų tikslinėje scenoje, nuolat atkuriant 3D struktūrinę scenos informaciją, taip pat fotoaparato pozą ir padėtį. Šviesos lauko vaizdavimas skiriasi nuo tradicinių fotoaparato vaizdo principų. Tradiciniai fotoaparatai formuoja 2D vaizdą tiesiai vaizdo plokštumoje, kai šviesa praeina pro objektyvą.
Šviesos lauko kameros prideda mikrolęšių masyvą prieš jutiklio plokštumą. Šviesa, krintanti pro pagrindinį lęšį, vėl praeina pro kiekvieną mikrolęšį ir yra priimama šviesai jautrios matricos, taip gaudama informaciją apie šviesos spindulių kryptį ir padėtį. Tai leidžia vėliau apdoroti vaizdo gavimo rezultatus ir pasiekti efektą „pirmiausia fotografuoti, vėliau sufokusuoti“ ir naudojant šią informaciją atkurti trimatę scenos struktūrą. Tokiose srityse, kaip virtuali realybė ir papildyta realybė, šviesos lauko vaizdavimo technologija padeda užtikrinti tikroviškesnę vizualinę patirtį ir įgalina tikslesnį trimatį-matmenų suvokimą ir sąveiką su scena.
Šviesos lauko 3D vaizdavimo principas struktūriškai skiriasi nuo tradicinių CCD ir CMOS kamerų vaizdavimo principų. Tradiciniai fotoaparatai vaizduoja šviesą tiesiai į vaizdo plokštumą, kai ji praeina pro objektyvą, ir paprastai sukuria 2D vaizdą. Šviesos lauko kameros prideda mikrolęšių matricą prieš jutiklio plokštumą, todėl pro pagrindinį lęšį krintanti šviesa vėl praeina pro kiekvieną mikrolęšį ir ją priima šviesai jautri matrica, taip gaunant informaciją apie šviesos spindulių kryptį ir padėtį. Tai leidžia vėliau{5}}apdoroti vaizdo gavimo rezultatus ir pasiekti efektą „Pirmiausia fotografuoti, sufokusuoti vėliau“.