1 UVOD Ko vstopamo v nadzorovana območja, se običajno preveri naša identiteta. Identifikacijske dokumente lahko izgubimo oziroma so nam ukradeni, zato obstaja velik interes za zanesljivo in varno identifikacijo. Avtomatizirani sistemi nadzora dostopa, ki temeljijo na analizi vzorca očesne šarenice, spadajo med najzanesljivejše neinvazivne sisteme biometrične identifikacije [1]. Biometrija je veda, ki se ukvarja z merjenjem fizičnih ali vedenjskih značilnosti oseb. Biometrični sistemi uporabljajo biometrijo kot orodje za razpoznavanje oseb. Prednosti uporabe očesne šarenice za identifikacijo oseb je veliko. Prvi članek na to temo je bil objavljen že leta 1885 [2]. Strukture šarenice (pege, brazde, proge, kolobarji) naključno nastajajo v več plasteh in se pri človeku začnejo razvijati, ko je plod star tri mesece. Vzorec se dokončno formira leto dni po rojstvu in ostane vse življenje osebe tako rekoč nespremenjen. Strukture v šarenici nastajajo naključno in niso genetsko pogojene, zato niti enojajčna dvojčka nimata enakih vzorcev struktur v šarenici. Verjetnost, da se dve šarenici ujemata za 70 % ali več, je enaka 1 proti 7 milijardam. Šarenica je edini človeški notranji organ, ki je dobro viden od zunaj, kar omogoča neinvazivno zajemanje njene slike. Zelo dobro je zaščitena pred okoljskimi vplivi. Nemogoče jo je kirurško spremeniti. Spreminjanje velikosti šarenice s spreminjanjem intenzitete osvetlitve, omogoča zaznavanje živega očesa [3], [4], [5]. 2 ZNANSTVENO PODROČJE AVTOMATIZIRANEGA RAZPOZNAVANJA ŠARENICE 2.1 Širše znanstveno področje Znanstveno področje avtomatiziranega razpoznavanja oseb na podlagi očesne šarenice je razmeroma novo. Leta 1987 sta Floom in Safir [6] patentirala teorijo delovanja prvega tovrstnega sistema, ki pa ni bil nikoli Prejet 16. julij, 2018 Odobren 25. september, 2018 mailto:damjan.zadnik@iretec.eu 38 ZADNIK, ŽEMVA implementiran. Prvi dejansko implementiran algoritem je bil objavljen šele leta 1993 [3]. Daugmanov algoritem zakodira sliko očesne šarenice v niz 2048 bitov. Kratka in učinkovita koda omogoča hitro in zanesljivo iskanje po velikih bazah slik šarenic. Slika 1 prikazuje osnovno zasnovo avtomatiziranega zaznavanja očesne šarenice. Preverjana oseba se postavi pred avtomatiziran sistem, ki zajame ostro sliko očesa. Številne raziskovalne skupine so se ukvarjale z doseganjem zadostne ostrine slike. Najbolj razširjen je Daugmanov pristop analiziranja energije visokofrekvenčnih komponent v frekvenčnem spektru slike [3]. Preostali algoritmi s področja preverjanja ostrine slike, kot npr. Kanga in Parka [7] ali Wei et al. [9], so v osnovi zelo podobni Daugmanovemi pristopu. Danes so raziskave usmerjene v zajemanje slike šarenice med hojo. Eden pomembnejših projektov s tega področja je projekt »Iris on the move« [9]. Zajemanje ostre slike šarenice Segmentiranje slike šarenice Kodiranje slike šarenice Iskanje kode po bazi Slika 1: Osnovna zasnova avtomatiziranega sistema razpoznavanja šarenice Sledi segmentiranje slike šarenice. Znanstveni prispevki s tega področja so pomemben delež prispevkov s področja razpoznavanja šarenice. Najpomembnejši deli s tega področja sta prispevka Daugmana [3] in Wildesa [10]. Novejše raziskave na tem področju potekajo v smeri predpostavk, da kolobar šarenice ni sestavljen iz popolnih krožnic, in se upoštevajo vse nepravilnosti šarenice pri določanju roba, npr. Chen et al. [11] ali He et al. [12]. Tudi na znanstvenem področju kodiranja slike šarenice je eno najpomembnejših del Daugmanov prispevek [3], ki poišče značilke slike s pomočjo dvo- dimenzonalnih Gaborjevih valjčnih funkcij, ki imajo značilnost dobre lokalizacije podrobnosti tako v prostorski kot frekvenčni domeni. Dekompoziciji sledi kodiranje frekvenčnih komponent v 0 ali 1, glede na kot fazne komponente. Pozneje sta Thepade in Bidwai s pomočjo programskega paketa Matlab primerjala uporabo Kosinusne, Walsheve, Harrove, Slantove, Kekregove in Hartleyeve valjčne preslikave pri kodiranju slike šarenice. Ugotovila sta, da se različne preslikave bolje ali slabše odrežejo glede na kakovost slike in nastavitev parametrov preslikave [13]. V zadnjem koraku se dobljena koda, ki jo dobimo kot rezultat predhodnih korakov obdelave slike šarenice, uporabi za iskanje najbolj podobne kode po bazi prej shranjenih kod. V tem koraku Daugman kot mero podobnosti uporabi Hammingovo razdaljo, ki se izračuna kot XOR bitna operacija med dvema 2048- bitnima kodama in prešteje število enic v XOR rezultatu [3]. Zanesljivost delovanja algoritmov za nadzor dostopa lahko tudi izmerimo. Pri tem se največkrat uporabljata metriki FAR (angl. False Accept Rate) in FRR (angl. False Reject Rate). Pri FAR (napaka tipa 2) gre za delež potrjenih napačnih testnih vzorcev glede na število vseh poskusov. Pri FRR (napaka tipa 1) gre za delež zavrnjenih pravilnih testnih vzorcev glede na število vseh poskusov [14]. Npr. na primerjalnih testih leta 2005 so najboljši algoritmi v povprečju dosegali FRR=0,014 pri FAR=0,001 [15]. 2.2 Znanstveno področje implementacije algoritmov za razpoznavanje šarenice na vgrajenem sistemu V zadnjem desetletju in pol se je veliko raziskovalcev ukvarjalo z možnostjo implementacije algoritmov za razpoznavanje šarenice na vgrajenih sistemih. Namen raziskav je največkrat povezan s pohitritvami izvajanja določenih delov kode. Pohitritev se lahko doseže z vzporednim izvajanjem, za kar raziskovalci največkrat uporabljajo FPGA-vezja. Grabowski in Napieralski predstavita arhitekturo vgrajenega sistema, na katerem so uspešno in učinkovito implementirali prepoznavanje šarenice po Daugmanovem principu. Sistem je sestavljen iz dveh elektronskih tiskanin, ki temeljita na dveh FPGA-vezjih in štirih DSP-procesorjih [16]. Zgrajen sistem je prikazan na sliki 2. Slika 2: Primer vgrajenega sistema za avtomatizirano razpoznavanje šarenice poljskih raziskovalcev [16] Hematian et al. pokažejo prednosti FPGA-vezja v smislu vzporednega izvajanja proti sekvenčnemu izvajanju pri klasičnih procesorskih arhitekturah. Raziskovalna skupina je uspešno implementirala Daugmanov algoritem v vezju FPGA [17]. Liu-Jimenez et al. predstavijo FPGA-implementacijo le določenih korakov Daugmanovega algoritma. Implementirajo kodiranje šarenice in iskanje najbolj podobne kode v bazi [18]. Tudi Mitello et al. implementirajo celoten Daugmanov algoritem na vezju FPGA. Podrobneje analizirajo izvajanje posameznih delov algoritma v RAZVOJ APARATURNE OPREME ZA KOMPAKTEN SISTEM NADZORA DOSTOPA NA PODLAGI RAZPOZNAVANJA… 39 primerjavi z izvajanjem na osebnem računalniku. V povprečju znaša faktor pohitritve med 7 in 8 [19]. Yoo et al. uporabijo ARM9-mikrokrmilnik v povezavi s FPGA-vezjem. Povežejo dve razvojni tiskanini z namenom optimizacije izvajanja posameznih delov algoritma za prepoznavanje šarenice. Očesno šarenico prepoznajo v eni sekundi [20]. 3 TRG AVTOMATIZIRANIH SISTEMOV NADZORA DOSTOPA NA PODLAGI RAZPOZNAVANJA ŠARENICE 3.1 Opis problema Daugmanovi algoritmi za avtomatizirano prepoznavanje šarenice iz leta 1993 še danes veljajo za najpomembnejše delo na tem področju. Večina danes instaliranih sistemov za nadzor dostopa na podlagi razpoznavanja šarenice temelji na tem principu. Gre za kompleksne in drage sisteme, ki so lahko med seboj povezani prek baz standardno zakodiranih šarenic. Seveda takšen koncept sistema ni primeren za trg za široko porabo, kjer imajo lahko izdelki nestandardno in lokalno bazo shranjenih kod šarenic, saj povezljivost sistemov v takšnih aplikacijah ni pomembna. Trenutno nobeden od evropskih izdelovalcev vhodnih vrat še ne ponuja modula za razpoznavanje šarenice, ki bi bil vgrajen v vrata, ker ta tehnologija v obliki modula, ki bi bil primeren za vgradnjo, še ni na voljo po sprejemljivi ceni. Cenovno dostopni čitalniki prstnih odtisov, namenjeni vgradnji, obstajajo, zato jih izdelovalci vhodnih vrat že vsaj štiri leta vgrajujejo in ponujajo svojim kupcem [21]. 3.2 Priložnost na trgu in potencialni kupci V moderni družbi postaja varnost vse bolj pomembna. V letih od 2005 do 2014 se je v Nemčiji število vlomov povečalo za 12,6 % in za 6,7 % v Franciji. Nizozemska je po številu vlomov na prebivalca vodilna država v svetu s 1.508 vlomi na 100.000 prebivalcev. Sledijo ji Grenada, Danska, Švedska in Belgija [21]. Pričakovati je, da bo svetovni trg elektronskih ključavnic naraščal povprečno za 30,8 % na leto in bo do konca leta 2025 narasel na 15 mrd USD, z 1,1 mrd USD v letu 2016. Rast bo posledica naraščanja števila majhnih in srednje velikih podjetij in naraščanja povpraševanja po domačih varnostnih sistemih. Na svetovnem trgu elektronskih ključavnic bodo prevladovali biometrični sistemi, in sicer bo teh do leta 2025 že 73 % [21]. Velikost trga elektronskih ključavnic je v Evropi v letih 2016 in 2017 znašala 334,5 mio USD in 414,4 mio USD, kar pomeni 23,8 odstotno povečanje prodaje v enem samem letu. Evropski trg elektronskih ključavnic je leta 2017 pomenil 35 % svetovnega trga. Do leta 2026 bo ta delež padel na 30 %, predvsem na račun povečanega povpraševanja azijsko-pacifiške regije [21]. Glede na način dostopa je trg elektronskih ključavnic razdeljen na dva segmenta: elektronske ključavnice s tipkovnico in elektronske ključavnice z biometričnim vmesnikom. Zadnje danes pomenijo dve tretjini svetovnega trga elektronskih ključavnic, predvsem zaradi dobre razširjenosti in uveljavljenosti tehnologije razpoznavanja prstnega odtisa. Prevladujoča uporaba tehnologije prstnih odtisov bo začela upadati, predvsem zaradi vrste načinov možnih zlorab takšnih sistemov. Posledično bo povpraševanje po sistemih za razpoznavanje šarenice naraščalo z ocenjeno letno stopnjo rasti 41,3 % v obdobju od leta 2017 do leta 2026 [21]. Danes izdelovalci vhodnih vrat v izdelke najdražjega cenovnega segmenta vgrajujejo čitalnke prstnih odtisov. Trenutno gre za najbolj razširjeno biometrično tehnologijo, ki se uporablja pri nadzoru dostopa na podlagi biometrične identifikacije. Ocenjen svetovni trg biometrične tehnologije bo v letu 2018 znašal 23,2 mrd USD. Delež svetovnega trga biometrične tehnologije na podlagi prstnega odtisa znaša 66 %, delež svetovnega trga biometrične tehnologije na podlagi razpoznavanja obraza znaša 12 % in delež svetovnega trga biometrične tehnologije na podlagi razpoznavanja šarenice znaša 7 %. Delež preostalih biometričnih tehnologij je 15- odstoten [21]. 3.3 Izdelki konkurence Izdelki za nadzor dostopa na podlagi razpoznavanja šarenice Nano NXT, iCAM7000, EyeScreen, KEES, Iris IM, IrisOne in Door Bird podjetij eyeLock, IrisID, UBKEY, SRI International, iDLink systems, Bioenable in Bird Home Automation so samostojni izdelki, namenjeni končnemu uporabniku, ki se namestijo na steno poleg vhodnih vrat. Vgradnja v vrata pri vseh teh izdelkih ni predvidena. Izdelki so mišljeni kot nadgradnja obstoječih vrat z elektronsko ključavnico. Gre za kompleksne izdelke, nerodne za montažo, njihova cena pa je od 1.500 do 3.000 evrov [21]. Slika 3: Izdelka Iris IM, UBKEY in podjetij iDLink systems in EyeScreen [21] 40 ZADNIK, ŽEMVA 4 RAZVITA APARATURNA OPREMA IZDELKA ZA NADZOR DOSTOPA NA PODLAGI RAZPOZNAVANJA ŠARENICE Po pregledu del raziskovalcev s področja implementacije algoritmov razpoznavanja šarenice na vgrajenem sistemu, smo prišli do unikatne arhitekture, zgrajene iz najsodobnejših komponent, ki omogoča implementacijo kompleksnih algoritmov na podlagi razpoznavanja šarenice. Predstavljeni vgrajeni sistem bo sliko šarenice zajel in obdelal v času do 1500 ms. Poleg tega je arhitektura vgrajenega sistema zasnovana tako, da je mogoče vso elektroniko vgraditi v ohišje, ki omogoča preprosto vgradnjo v izdelke kupcev. Programska oprema sistema oziroma algoritmi za zajemanje ostre slike in razpoznavanje šarenice, ki so še v fazi razvoja, so popolnoma prilagojeni arhitekturi predstavljenega vgrajenega sistema. Na tem mestu omenimo le, da algoritmi delujejo na principu korelacijskih filtrov, ki jih je mogoče zelo učinkovito implementirati v vezju FPGA. 4.1 Blokovni diagram izdelka Blokovni diagram razvitega izdelka prikazuje slika 4. Razen slikovnega tipala je vse uporabljene mogoče kupiti pri spletnih prodajalcih elektronskih komponent, kot sta Farnell ali DigiKey. Osrednja komponenta sistema je mikrokrmilnik SAM E70, ki krmili infrardeči merilnik razdalje, infrardeči izvor svetlobe, slikovno tipalo C-MOS, pomnilnik SDRAM, vezje FPGA MAX10 in vhodni vmesnik. Infrardeči merilnik razdalje se najprej uporabi kot tipalo prisotnosti osebe pred napravo. Ko je oko na razdalji med 50 mm in 80 mm, se sproži proces zajemanja ostre slike. Področje očesa, katerega sliko zajema slikovno tipalo, osvetlimo z infrardečo svetlobo. S tem se izognemo motečemu slepljenju uporabnika. V kombinaciji s svetlobnim sitom, ki prepušča pas infrardeče svetlobe, dosežemo, da je oko enako osvetljeno pri različnih pogojih zunanje osvetlitve. Slikovno tipalo ima vgrajeno motorizirano lečo. S pomikanjem leče lahko zajamemo različno ostre slike, pri čemer se upošteva tudi trenutna izmerjena razdalja do očesa. Mikrokrmilnik zajame serijo slik z različnimi goriščnimi razdaljami leče in jih shrani v zunanji pomnilnik SDRAM. Ob matematično ko-procesorski podpori vezja FPGA nato poišče najostrejšo sliko očesa. Le-ta se nato uporabi v nadaljnjih korakih razpoznavanja šarenice, katerih izračun tudi poteka ob podpori vezja FPGA. Pomnilnik DDR2 SDRAM je zunanji delovni pomnilnik vezja FPGA. Tu je uporabljena tehnologija DDR2, ki omogoča dvakrat večjo količino prenosa podatkov pri enakem taktu ure kot klasična tehnologija SDRAM. Kodirana slika šarenice, ki jo dobimo kot rezultat obdelave ostre slike očesa, se lahko uporabi na dva načina. Lahko jo dodamo v bazo shranjenih kod, ki se nahaja v pomnilniku FLASH, ali jo primerjamo z obstoječimi kodami v bazi, za identifikacijo osebe, ki želi dostop. Pomnilnik FLASH je vezan kot zunanji pomnilnik na vezje FPGA, saj algoritem primerjave dveh slik dela ob močni matematični podpori vezja FPGA. Prek vhodnega vmesnika vgrajeni sistem komunicira s programsko enoto v vratih. Protokol komunikacije je odvisen od izdelovalca programske enote in elektronske ključavnice, ki sta največkrat napajana z enosmernim napajanjem 24 V. Enako napajanje je pripeljano tudi v naš vgrajeni sistem, kjer se nato pretvori v različne napajalne napetosti med 1.8 V in 12 V, glede na potrebe podsklopov, ki jih napajamo. Mikrokrmilnik SAM E70 C-MOS slikovno tipalo FPGA vezje MAX10 Pomnilnik SDRAM 32M x 16 bit DDR2 SDRAM 16M x 16 bit Pomnilnik FLASH 64M x 16 bit Infrardeči merilnik razdalje Prepustno sito infrardeče svetlobe LED izvor infrardeče svetlobe Vhodni vmesnik in napajanjalni podsklopi Elektronska ključavnica Programska enota Vhodna vrata 24 VDC Napajanje Slika 4: Blokovni diagram razvitega izdelka RAZVOJ APARATURNE OPREME ZA KOMPAKTEN SISTEM NADZORA DOSTOPA NA PODLAGI RAZPOZNAVANJA… 41 4.2 Ohišje izdelka Na podlagi rezultatov analize trženja smo razvili ohišje, ki omogoča preprosto integracijo sistema za razpoznavanje šarenice neposredno v vhodna vrata. Ohišje razvitega izdelka je iz aluminija in je prikazano na sliki 5. Slika 5: Ohišje razvitega izdelka Prevodno, kovinsko ohišje, v obliki tulca, veliko 40 mm x 40 mm, izdelku zagotavlja mehansko zaščito in skladnost EMC. Izdelek se vstavi v okroglo odprtino v vratih. Utora na obeh straneh ohišja izdelku zagotavljata pravo orientacijo. Ohišje omogoča preprosto popravilo ali menjavo celotnega izdelka. Na prednji strani ohišja je pokrov z vgrajenim prepustnim infrardečim sitom svetlobe. Povezovalni kabel se namesti skozi uvodnico na pokrovu na zadnji strani. 4.3 Osvetlitev očesa in merjenje razdalje do očesa Slika 6 prikazuje za ta izdelek razvit inovativen koncept enakomerne osvetlitve očesa z infrardečo (IR) svetlobo, ki se obenem uporablja tudi kot sistem za IR merjenje razdalje med očesom in slikovnim tipalom. C-MOS slikovno tipalo IR sprejemniki PH1, PH2, PH3 in PH4 LED IR osvetlitveni kolobarji LD1, LD2, LD3 PH1 P H 4 P H 2 LD1 LD2 LD3 PH3 Slika 6: Koncept osvetlitve in merjenja razdalje IR osvetlitev je postavljena krožno-simetrično glede na slikovno tipalo C-MOS. Zgrajena je iz diod SMD LED z valovno dolžino 940 nm, ki so postavljene v treh kolobarjih LD1, LD2 in LD3 okrog slikovnega tipala. Okrog slikovnega tipala so postavljeni tudi štirje IR sprejemniki PH1, PH2, PH3 in PH4 (IR fotodiode), ki sprejemajo odbito IR valovanje. Razdalja do očesa je izračunana iz jakosti sprejetega signala. Ko je sistem uporabljen kot merilnik razdalje, je aktiven le kolobar LD2, ki se prižiga in ugaša s frekvenco 10 KHz. Ojačevalniki sprejemnih fotodiod so uglašeni na frekvenco 10 KHz. S tem bistveno zmanjšamo zunanje vplive na meritev. Ko vse štiri fotodiode zaznajo signal približno enake jakosti, ki obenem govori o ustrezni razdalji med očesom in slikovnim tipalom, se za čas zajemanja slik aktivirajo vsi trije osvetlitveni kolobarji, ki osvetlijo oko med zajemanjem slike. 4.4 Zajemanje slike Osnova razvitega sistema je modul C-MOS slikovnega tipala JAL-OV5640, ki ima vgrajeno barvno slikovno tipalo OV5640 izdelovalca OmniVision in motorizirano lečo. Modul je prikazan na sliki 7. Vgrajeno slikovno tipalo je veliko ¼ palca in ima 5 Mpikslov. Nadzor nad tipalom in pomikanjem leče poteka preko vmesnika I2C, branje slike pa preko vzporednega vmesnika. Pri polni ločljivosti 2592 x 1944 pikslov lahko preberemo 15 slik na sekundo. Piksli tipala so razporejeni v obliki Bayer, kjer se izmenično izmenjujejo modro-zeleni ter zeleno-rdeči piksli. Globina vsakega piksla je 10 bitov, lahko pa iz tipala dobimo tudi že interpolirane 8-bitne sivinske piksle. Slika 7: Modul slikovnega tipala C-MOS (levo) in razpored pikslov v obliki Bayer (desno) Podobna tipala, ki omogočajo zajemanje ostre slike s pomikanjem vgrajene leče, so danes vgrajena v večini pametnih telefonov, zato je cena te komponente smešno nizka. Bolj problematična sta nakup le-te in pridobivanje ustrezne tehnične dokumentacije. 4.5 Obdelava zajete slike Osnovna procesna enota vgrajenega sistema je mikrokrmilnik izdelovalca Microchip, družine SAM E70, z zmogljivim procesorskim jedrom ARM Cortex- M7, ki deluje na osnovni frekvenci do 300 MHz. Mikrokrmilnik ima 384 KB vgrajenega delovnega SRAM pomnilnika, 2 MB vgrajenega programskega pomnilnika in celo vrsto standardnih perifernih 42 ZADNIK, ŽEMVA vmesnikov, med katerimi je najbolj dobrodošel vmesnik za slikovno tipalo C-MOS. Zunanji delovni pomnilnik SDRAM v velikosti 64 MB je priključen neposredno na periferni vmesnik mikrokrmilnika za zunanji pomnilnik. Računsko zahtevni deli algoritmov za obdelavo slike so implementirani na vezju FPGA MAX10 izdelovalca Intel. Glavna prednost vezja je, da ne potrebuje zunanjega serijskega pomnilnika za nalaganje kode, saj je le-ta že vgrajen. Vezje FPGA nima vgrajenih perifernih vmesnikov za neposreden priklop zunanjih pomnilnih enot, zato smo tako vmesnik za pomnilnik DDR2 SDRAM, kot tudi vmesnik za pomnilnik FLASH, morali razviti sami. 5 SKLEP Predstavljen je bil razvoj aparaturne opreme visokotehnološkega izdelka, ki precej obeta, saj trenutno na trgu še ni podobnega izdelka. S tržno raziskavo, ki smo jo opravili v podjetju Iretec, d.o.o., smo potrdili, da povpraševanje po izdelku obstaja. V prihajajočih mesecih bomo na razviti aparaturni opremi razvijali in testirali algoritme zajemanja ostre slike in razpoznavanja šarenice. Testiranje izdelka bo potekalo v obliki znanstvene raziskave, v okviru katere bomo z uporabo sto slik šarenic petdesetih anonimnih prostovoljcev določili zanesljivost delovanja celotnega izdelka v obliki metrik FAR in FRR. Rezultate raziskave bomo uporabili predvsem pri trženju izdelka. ZAHVALA Delo je bilo opravljeno v okviru doktorskega študija na Fakulteti za elektrotehniko, ki ga v okviru programa »Javni razpis za sofinanciranje doktorskih študentov – generacija 2016« sofinancira Univerza v Ljubljani.