1 UVOD Lokalni opisniki slik so pomembno področje raziskav računalniškega vida. Zanesljivo ujemanje lokalnih značilnic je potrebno v številnih aplikacijah, na primer pri mobilnem vizualnem iskanju (MVS) [7], združevanju Prejet 7. avgust, 2019 Odobren 22. avgust, 2019 slik v panoramo [8], pri klasifikaciji teksturnih regij [23] in razpoznavanju predmetov [26], [17] in obrazov [13]. Raziskovalci računalniškega vida so predlagali številne vrste opisnikov, ki jih lahko razdelimo na ročno izdelane (SIFT [12], GLOH [18], SURF [6], BRIEF [9], KAZE [2], AG [15], Max-SIFT [25]) in tiste, ki temeljijo na učenju (BestDaisy [22], DeepCompare [24], DeepDesc [21], TFeat [5]). Za ovrednotenje lokalnega opisnika slik so na voljo različna merila uspešnosti in različni protokoli [18], [11], [19], [14], [1], [20]. Nedavno je Balntas s soav- torji [4] predstavil HPatches, novo javno dostopno bazo slikovnih zaplat, in protokole za ocenjevanje lokalnih opisnikov. Baza vključuje več kot 2,5 milijona zaplat, pridobljenih na zaporedju slik različnih prizorov, pos- netih v različnih svetlobnih razmerah in z velikimi spre- membami v lokaciji in orientaciji kamere pri zajemanju slik. Na voljo je odprtokodna implementacija protokolov za ocenjevanje lokalnih opisnikov za tri različne naloge: verifikacijo zaplat, ujemanje slik in poizvedovanje po zaplatah. V istem prispevku avtorji pokažejo, da ra- zličica, ki vključuje naknadno normalizacijo ZCA opis- nika RootSIFT [3], znatno izboljša rezultate. To spoz- nanje nas je spodbudilo k proučevanju uporabe parcial- nih odvodov prvega in drugega reda dvodimenzionalne Gaussove funkcije pri določanju lokalnega opisnika. V članku [16] predlagamo tri različne opisnike E, L in EL. Opisnik E je zasnovan na parcialnih odvodih prvega reda, L na parcialnih odvodih drugega reda, EL pa združi opisnika E in L v skupni vektor. Izkazalo se RAZLIČICE OPISNIKA EL 249 je, da sta E in EL zelo dobra opisnika, predvsem pri nalogah ujemanja slik in poizvedovanju po zaplatah. V tem članku želimo preveriti, ali je pri opisniku E, bolje uporabiti parcialne odvode Gaussovega filtra ali je boljša alternativa slikovni gradient, izračunan na način, ki ga uporabljajo številni priljubljanii opisniki, med njimi tudi SIFT oz. RootSIFT. Druga naloga je ugotoviti, ali filtriranje zaplat na večjem številu merskih lestvic pripomore k izboljšavi opisnika EL. V drugem poglavju predstavimo opisnik EL, v tretjem poglavju njegove različice. V poglavju Eksperimen- talni rezultati predstavimo podatkovno bazo HPatches in rezultate, dosežene z različicami opisnika E oz. EL za tri naloge. V sklepu povzamemo glavne ugotovitve, ki sledijo iz eksperimentov. 2 OPISNIK EL Opisnik EL [16] uporablja parcialne odvode prvega in drugega reda dvodimenzionalne Gaussove funkcije g(x, y) = 1 2πσ2 exp(−( x2 2σ2 + y2 2σ2 )) (1) in teorijo krmilnih filtrov [10]. Slika 1: Gaussov filter in pet izbranih bazičnih filtrov g0 ◦ x in g90 ◦ x ter g 0◦ xx, g 60◦ xx in g 120◦ xx 2.1 Pet bazičnih filtrov in optimalni odziv Slika 1 prikazuje Gaussov filter (1) in pet bazičnih filtrov, ki jih uporablja algoritem opisnika EL. Prvi bazični filter g0 ◦ x = ∂ ∂x g(x, y) = − x σ2 g(x, y) je parcialni odvod Gaussove funkcije prvega reda v smeri x osi, drugi bazični filter g90 ◦ x je njegova rotacija za 90◦ okrog koordinatnega izhodišča v nasprotni smeri urnega kazalca. Tretji bazični filter, g0 ◦ xx = ∂2 ∂x2 g(x, y) = (− 1 σ2 + x2 σ4 ) g(x, y), je parcialni odvod Gaussove funkcije drugega reda v smeri osi x. Filtra g60 ◦ xx in g 120◦ xx sta rotaciji filtra g 0◦ xx za 60◦ oziroma 120◦. Naj bo (...)θ operator rotacije. Poljubno funkcijo f(x, y), rotirano za kot θ okoli izhodišča v nasprotni smeri urnega kazalca, označimo kot fθ(x, y). Teorija krmilnih filtrov pravi, da lahko filter gθx določimo z linearno kombinacijo dveh bazičnih filtrov gθx = cos(θ)g 0◦ x + sin(θ)g 90◦ x , filter gθxx pa z linearno kombinacijo treh bazičnih filtrov gθxx = k1g 0◦ xx + k2g 60◦ xx + k3g 120◦ xx z interpolacijskimi funkcijami kj = 1 3 [1 + 2(cos(2(θ − θj))], j = 1, 2, 3 in z vrednostmi kotov θ1 = 0◦, θ2 = 60◦ in θ3 = 120 ◦. Naj velja G0 ◦ x = g 0◦ x ∗I , G90 ◦ x = g 90◦ x ∗I , G0 ◦ xx = g 0◦ xx∗ I , G60 ◦ xx = g 60◦ xx ∗I in G120 ◦ xx = g 120◦ xx ∗I . Tu je ∗ operator, ki označuje filtriranje slike I z izbranim filtrom. V skladu s teorijo krmilnih filtrov [10] izračunamo odziv slike I na filter gθx po enačbi Gθx = g θ x ∗ I = cos(θ)G 0◦ x + sin(θ)G 90◦ x , (2) odziv slike I na filter gθxx pa po enačbi Gθxx = k1G 0◦ xx + k2G 60◦ xx + k3G 120◦ xx . (3) Na poljubni lokaciji na sliki je najboljša orientacija filtra tista, ki ima maksimalni odziv. Opisnik EL je za- snovan na takšnih maksimalnih odzivih. Pri parcialnem odvodu prvega reda je najboljša orientacija filtra [16] θE = atan2( G 90◦ x , G 0◦ x ) . (4) Magnitudo filtra GE = GθEx določimo z enačbo 2: GE = cos(θE)G 0◦ x + sin(θ)G 90◦ x . (5) Pri parcialnem odvodu drugega reda pa želimo izbrati odziv, ki ima največjo vrednost v absolutnem smislu. V tem primeru izračunamo orientaciji filtra, ki imata minimalni in maksimalni odziv. Naj označuje A =√ 3(G120 ◦ xx −G60 ◦ xx ) in B = G 120◦ xx −G60 ◦ xx −2G0 ◦ xx. Iskani orientaciji filtra sta [16]: θLmin = 1 2 atan2(A,B) in θLmax = 1 2 atan2(−A,−B) . Minimalni odziv ustreza detekciji svetle črte, maksi- malni pa detekciji temne črte. Za izračunani vrednosti kotov izračunamo z enačbo 3 odziva slike −GθLminxx in G θLmax xx . Odziva primerjamo in ohranimo večjo vrednost: GL = max(−G θLmin xx , G θLmax xx ). (6) Prav tako zabeležimo le orientacijo, ki ustreza večji vrednosti. θL = { θLmin if −G θLmin xx > G θLmax xx , θLmax otherwise. (7) Torej, GL je vedno pozitiven ali enak nič. 2.2 Gradnja opisnika EL Opisnik EL je sestavljen iz dveh delov. Del E (angl. Edges) uporablja θE in GE , del L (angl. Lines) pa θL in GL. Konstrukcija opisnika zahteva naslednje tri korake: kvantizacijo orientacije, združevanje magnitud maksimalnih odzivov filtrov v histogram v skladu s kvantizirano orientacijo in lokacijo ter normalizacijo histograma. 250 MAVER 2.2.1 Kvantizacija orientacije: Za del E opisnika je kvantizacija orientacije povsem enaka tisti, ki jo uporablja priljubljeni opisnik SIFT [12]. Orientacijo θE kvantiziramo v osem razredov, ki ustrezajo vrednostim θ = −180◦, −135◦, −90◦, −45◦, 0◦, 45◦, 90◦ in 135◦. Za del L opisnika uporabimo zaradi simetrije filtra g0 ◦ xx = g 180◦ xx le štiri kvantizacijske vrednosti θ = −90◦, −45◦, 0◦ in 45◦, vendar pa kvantiziramo ločeno vred- nosti, kjer θL pomeni θLmin in θL pomeni θLmax . Za vsako lokacijo na sliki imamo tako 16 kvantiziranih vrednosti. 2.2.2 Združevanje magnitud v histogram: Združevanje magnitud maksimalnih odzivov se izračuna za 17 združevalnih centrov. Vrednost magnitude se uteži z Gaussovo funkcijo v skladu z oddaljenostjo točke do združevalnega centra. Uporabljajo se tri različne Gaussove funkcije [22]. Slika 2 prikazuje razporeditev združevalnih centrov z ustrezno Gaussovo utežitveno funkcijo. Po združevanju uteženih magnitud Slika 2: Polarna razporeditev sedemnajstih združevalnih centrov z ustrezno Gaussovo utežitveno funkcijo. Krogi označujejo eno standardno deviacijo. Za zaplato z dimenzijami 65 × 65 so standardne deviacije Gaussovih filtrov σ0 = 3, σ1 = 5.5 in σ2 = 9.75. Združevalni centri ležijo na krožnicah s polmerom r0 = 0, r1 = 14.5 in r2 = 31.5. Vse mere so v pikslih. v združevalne centre v skladu s kvantizirano orientacijo je vsak združevalni center predstavljen z osmimi vrednostmi, ki pomenijo odzive GE , in osmimi vrednostmi, ki pomenijo odzive GL. Vrednosti iz vseh centrov se združijo v skupni vektor oz. histogram, ki je opisnik EL: D = [d1, d2, ..., dn] , (8) z n = 272. 2.2.3 Normalizacija opisnika: Z normalizacijo opis- nika dosežemo robustnost opisnika na velikost spre- membe v kontrastu, ki je posledica linearnih in ne- linearnih sprememb v osvetlitvi. Opisnik EL pri tem uporablja adaptivno iterativno določanje praga [16]: 1) izračuna se povprečna vrednost histograma, d =∑n i=1 di/n; 2) izračuna se prag, T = Tc · d; 3) komponente opisnika, ki presegajo prag, se postavijo na vrednost T . Vrednost konstante, Tc = 2, 6, je določena eksperimen- talno. Nato sledi normalizacija, ki jo uporablja RootSIFT [3]: 4) opisnik je normaliziran tako, da ima norma L1 vrednost ena; 5) vsaka komponenta opisnika je predstavljena z njenim kvadratnim korenom. 3 RAZLIČICE OZIROMA NADGRADNJA OPISNIKA EL 3.1 Slikovni gradient Veliko opisnikov, med njimi tudi SIFT [12], uporablja za opisovanje lokalne strukture na sliki slikovni gradient. Slikovni gradient, ki ga uporablja SIFT, zahteva eno filtriranje slike manj, kot ga zahtevata parcialna odvoda prvega reda dvodimenzionalne Gaussove funkcije. Sliko I(x, y) najprej filtriramo z Gaussovim filtrom g(x, y) (1): L(x, y) = I(x, y) ∗ g(x, y). (9) Standardna deviacija Gaussovega filtra je tu enaka stan- dardni deviaciji Gaussovega filtra, ki ga uporabljata parcialna odvoda prvega reda v pri opisniku E. Na filtri- rani sliki L(x, y) izračunamo magnitudo in orientacijo slikovnega gradienta z naslednjimi enačbami: Dx = L(x+ 1, y)− L(x− 1, y), Dy = L(x, y + 1)− L(x, y − 1), m(x, y) = √ D2x +D 2 y, (10) θg(x, y) = atan2(Dy, Dy). (11) Nova različica opisnika uporablja isti postopek gradnje opisnika, kot je razložen v poglavju 2.2. V novi različici opisnika nadomestimo vrednosti GE (5) in θE (4) z vrednostima m (10) in θg (11). Dimenzija nove različice opisnika je enaka dimenziji opisnika E; n = 136. 3.2 Večločljivostna metoda S filtriranjem slike le na eni merski lestvici zajamemo le del informacije na sliki. Zato je smiselno, da sliko filtriramo na različnih merskih lestvicah. Dodatno filtri- ranje zahteva dodatnen čas. Zato bomo v našem primeru filtrirali le na dveh merskih lestvicah. Mersko lestvico določimo s standardno deviacijo Gaussovega filtra, v našem primeru s σ1 in σ2. Z dodatnim filtriranjem pa ne želimo povečevati dimenzije opisnika. Najprej zgradimo ločena histograma (8) za vrednosti GE(σ1), θE(σ1) in GL(σ1), θL(σ1) ter vrednosti GE(σ2), θE(σ2) in GL(σ2), θL(σ2): D(σ1) = [d1(σ1), d2(σ1), ..., dn(σ1)] in D(σ2) = [d1(σ2), d2(σ2), ..., dn(σ2)] , z n = 272. Histograma nato seštejemo v skupen his- togram D = D(σ1) +D(σ2) (12) in šele nato normaliziramo s postopkom, predstavljenim s koraki od 1 do 5 v podpoglavju 2.2.3. Tako ohranimo isto dimenzijo opisnika EL. RAZLIČICE OPISNIKA EL 251 Tabela 1: Rezultati za naloge verifikacija zaplat, ujemanje slik in poizvedovanje po zaplatah, izračunani za opisnika E in Eg. Vse vrednosti so podane v mAP[%] (angl. mean Average Precision). Doseženi rezultati so podani v parih. Prva vrednost je rezultat, dobljen z osnovno metodo, druga z normalizirano različico ZCA [4]. Opisnik, ki uporablja slikovni gradient, je označen kot Eg. Najboljši rezultat v stolpcu je poudarjen. Op. Verifikacija Ujemanje sl. Poizved. osn. , ZCA osn. , ZCA osn. , ZCA E 72,39 , 77,84 35,35 , 39,41 37,81 , 43,64 Eg 72,59 , 77,75 35,21 , 39,21 37,55 , 43,16 4 EKSPERIMENTALNI REZULTATI Za eksperimentiranje uporabimo slikovno bazo HPatches*, ki je podrobno predstavljena v [4]. HPatches vključuje več kot 2,5 milijona zaplat velikosti (65×65) pikslov, zajetih na 116 različnih prizorih. Vsak prizor predstavlja zaporedje šestih slik. Spremembe na slikah so posledica spremenjenih razmer osvetlitve prizora in različnih pogledov (različne lokacije in orientacije kamere, s katero so bile slike zajete). Na voljo sta tudi evalvacijski protokol in prosto dostopna programska oprema za nepristransko primerjavo opisnikov na treh nalogah: verifikaciji zaplat, ujemanju slik in poizvedovanju po zaplatah. Zaplate v slikovni bazi so po težavnosti razvrščene v tri skupine: enostavno, zahtevno in zelo zahtevno. S protokolom je mogoče ovrednotiti običajno obliko opisnika in njegovo normalizirano različico ZCA. V eksperimentu dosledno sledimo predlaganemu protokolu. Opraviti želimo dva eksperimenta. S prvim prever- jamo, ali je za predstavitev lokalne regije bolje uporabl- jati vrednosti GE in θE , določene z enačbama 5 in 4, kjer uporabljamo parcialne odvode prvega reda Gaussove funkcije, ali vrednosti m in θg , določene z enačbama 10 in 11. Standardna deviacija Gaussove funkcije je za obe različici opisnika enaka 2,4 piksla. Rezultate eksperimenta prikazujeta slika 3 in tabela 1. Rezultati so boljši za opisnik, kjer uporabljamo parcialne odvode prvega reda Gaussove funkcije. Izjema je naloga verifikacije zaplat, kjer dobi osnovna oblika opisnika boljši rezultat za slikovni gradient. Kot je navedeno v članku [16], sta opisnika E in EL manj primerna za nalogo verfkacije zaplat, zelo uspešna pa za nalogo ujemanja slik in poizvedovanja po zaplatah. Z drugim eksperimentom želimo ugotoviti, ali večkratno filtriranje zaplat na različnih merskih lestvicah pripomore k izboljšavi opisnika EL. Opisnik, ki uporablja dvakratno filtriranje, označimo z EL2. Opisnik uporablja dve množici filtrov (Slika 1), v prvem primeru velja σ1 = 2, 4 piksla, v drugem pa σ2 = 4, 2 piksla. Tabela 2 in slika 3 prikazujeta rezultate eksperimenta. ∗https://github.com/hpatches/hpatches-dataset Slika 3: Rezultati, dobljeni za različice opisnika E in EL za tri različne naloge: verifikacija zaplat, ujemanje slik in poizvedovanje po zaplatah. Zaplate so po težavnosti razvrščene v tri skupine: enostavna, zahtevna in zelo zahtevna. Rezultati predstavljajo mAP (angl. mean Average Precision), kot je podano v članku [4]. Opisnik, ki uporablja slikovni gradient, je označen kot Eg. Opisnik, ki uporablja dvakratno filtriranje, je označen kot EL2. Znak + pred imenom opisnika in črtkan okvir označujeta rezulte, dosežene z normalizirano različico ZCA [4]. 252 MAVER Dodatno filtriranje izboljša rezultate na nalogi veri- fikacije zaplat in na nalogi ujemanja slik, vendar tu le za osnovno verzijo opisnika, za normalizirano različico ZCA rezultati niso izboljšani. Na sliki 3 opazimo, da se v primeru opisnika EL2 izboljšajo rezultati za spre- membe v pogledu, predvsem na enostavni skupini zaplat, poslabšajo pa se rezultati na zaplatah, kjer se spreminja osvetlitev. Iz razultatov prav tako sledi, da se dvakratno filtriranje ne splača za nalogo poizvedovanja po zaplatah. Tabela 2: Rezultati za naloge verifikacija zaplat, ujemanje slik in poizvedovanje po zaplatah, izračunani za opisnika EL in EL2. Vse vrednosti so podane v mAP[%] (angl. mean Average Precision). Doseženi rezultati so podani v parih. Prva vrednost je rezultat, dobljen z osnovno metodo, druga z normalizirano različico ZCA [4]. Opisnik, ki uporablja dvakratno filtriranje, je označen kot EL2. Najboljši rezultat v stolpcu je poudarjen. Op. Verifikacija Ujemanje sl. Poizved. osn. , ZCA osn. , ZCA osn. , ZCA EL 73,36 , 79,99 36,92, 43,00 40,68 , 48,12 EL2 74,07 , 80,04 37,24 , 42,75 40,26 , 47,11 5 SKLEP V delu raziskujemo različice opisnika EL. Izkazalo se je, da so za različne naloge primerne različne različice opisnika EL. Za nalogi ujemanje slik in poizvedovanje po zaplatah je bolje uporabiti odzive slike na parcialne odvode prvega reda Gaussove funkcije kot pa slikovni gradient, ki ga računa opisnik SIFT. Filtriranje zaplat na različnih merskih lestvicah je dobrodošlo za nalogo verifikacije zaplat. Za nalogo ujemanja slik izboljša rezultate, ko v prizoru ni sprememb v osvetlitvi, za nalogo poizvedovanja po zaplatah pa je manj primerno. ZAHVALA Raziskavo je omogočilo Ministrstvo za izobraževanje, znanost in šport Republike Slovenije v okviru programa P2-0214-Računalniški vid. REFERENCES [1] H. Aanæs, A. L. Dahl, and K. S. Pedersen. Interesting interest- points. Int. J. Comput. Vis., 97, pp. 18–35, 2012. [2] P. Alcantarilla, A. Fernandez Bartoli, and A. J. Davison. KAZE features. In Proc. 12th ECCV, pp. 214–227, 2012. [3] R. Arandjelović and A. Zisserman. Three things everyone should know to improve object retrieval. In Proc. IEEE Conf. CVPR, pp. 2911–2918, 2012. [4] V. Balntas, K. Lenc, A. Vedaldi, and K. Mikolajczyk. Hpatches: A benchmark and evaluation of handcrafted and learned local descriptors. In Proc. IEEE Conf. CVPR, 2017. [5] V. Balntas, E. Riba, D. Ponsa, and K. Mikolajczyk. Learning local feature descriptors with triplets and shallow convolutional neural networks. In Proc. British Machine Vision Conf., pp. 119.1–119.11, 2016. [6] H. Bay, A. Ess, T. Tuytelaars, L. van Gool. Speeded-up robust features (SURF). Comput. Vis. Image Understanding, vol. 110, pp. 346–359, 2008. [7] S. Biancoa, D. Mazzinia, D. P. Paub, and R. Schettinia. Local detectors and compact descriptors for visual search: A quanti- tative comparison. Digital Signal Processing, vol. 4, pp. 1–13, 2015. [8] M. Brawn and D. G. Lowe. Automatic Panoramic Image Stitch- ing using Invariant Features. International Journal of Computer Vision, vol.74, no.1, pp. 59–73, 2007. [9] M. Calonder, V. Lepetit, M. Ozuysal, T. Trzcinski, C. Strecha, P. Fua. BRIEF: Computing a local binary descriptor very fast. IEEE Trans. PAMI, vol. 34, pp. 1281–1298, 2012. [10] W. Freeman and E. Adelson. The design and use of steerable filters. IEEE Trans. PAMI, vol. 13, pp. 891–906, 1991. [11] J. Heinly, E. Dunn, and J. M. Frahm. Comparative evaluation of binary features. In Proc. 12th ECCV, pp. 759–773, 2012. [12] D. Lowe. Distinctive image features from scale-invariant key- points. Int. J. Comput. Vis., vol. 60, pp. 91–110, 2004. [13] D. Lušina and J. Maver. Prepoznava obrazov z AG opisnikom. Elektrotehniški vestnik, vol. 86(1-2), pp. 7–13, 2019. [14] S. Madeo and M. Bober. Fast, compact, and discriminative: Evaluation of binary descriptors for mobile applications. IEEE Trans. Multimedia, vol. 19, pp. 221–235, 2017. [15] R. Mandeljc and J. Maver. AGs: local descriptors derived from the dependent effects model. J. Vis. Commun. Image Rep., vol. 58, pp. 503–514, 2019. [16] J. Maver and D. Skočaj. EL - Local image descriptor based on extreme responses to partial derivatives of 2D Gaussian function. Mathematical Problems in Engineering, vol. 2019, article ID 1247925, 10 pages, 2019. [17] K. Mele, D. Šuc, and J. Maver. Local probabilistic descriptors for image categorisation. IET Computer Vision, vol.3, no. 1, pp. 8–23, 2009. [18] K. Mikolajczyk and C. Schmid. A performance evaluation of local descriptors. IEEE Trans. PAMI, vol. 27, pp. 1615–1630, 2005. [19] P Moreels and P. Perona. Evaluation of features detectors and descriptors based on 3d objects. Int. J. Comput. Vis., vol. 73, pp. 263–284, 2007. [20] J. L. Schoenberger, H. Hardmeier, T. Sattler, and M. Pollefeys. Comparative evaluation of hand-crafted and learned local fea- tures. In Proc. Conf. Computer Vision and Pattern Recognition, 2017. [21] E. Simo-Serra, E. Trulls, L. Ferraz, I. Kokkinos, P. Fua, and F. Moreno-Noguer. Discriminative learning of deep convolutional feature point descriptors. In Proc. IEEE ICCV, pp. 118–126, 2015. [22] S. Winder and M. Brown. Learning local image descriptors. In Proc. IEEE Conf. CVPR, pp. 1–8, 2007. [23] Xiaosheng Yu, Yifei Zhang, and Huan Wang. A Novel Local Human Visual Perceptual Texture Description with Key Feature Selection for Texture Classification. Mathematical Problems in Engineering, vol. 2019, 20 pages, 2019. [24] S. Zagoruyko and N. Komodakis. Learning to compare image patches via convolutional neural networks. in Proc. IEEE Conf. CVPR, pp. 4353–4361, 2015. [25] L. Xie, Q. Tian, and B. Zhang. Max-sift: flipping invariant de- scriptors for web logo search. In Proc. of the 2014 IEEE Interna- tional Conference on Image Processing (ICIP), pp. 5716–5720, 2014. [26] L. Xie, J. Wang, W. Lin, B. Zhang, and Q. Tian. Towards reversal-invariant image representation. Int. J. Comput. Vis., vol. 123, no. 2, pp. 226–250, 2017. Jasna Maver je leta 1995 doktorirala s področja računalništva na Fakulteti za elektrotehniko in računalništvo Univerze v Ljubljani. V letih 1990 in 1991 je bila raziskovalka v laboratoriju GRASP na Univerzi v Pensilvaniji, kjer je raziskovala na področju aktivnega robotskega vida. Je izredna profesorica za računalništvo in informatiko na Univerzi v Ljubljani. Zaposlena je na Oddelku za bibliotekarstvo, informacijsko znanost in knjigarstvo na Filozofski fakulteti, kjer predava računalniške predmete. Na raziskovalnem področju sodeluje z Laboratorijem za računalniški vid in Laboratorijem za umetne vizualne spoznavne sisteme na Fakulteti za računalništvo in informatiko. Njeno trenutno področje raziskovanja je gradnja nizkonivojskih opisnikov lokalnih regij v slikah, ki jih lahko uporabimo za različne naloge računalniškega vida.