1 UVOD Učenje je eden temeljnih spoznavnih procesov, tako pri ljudeh kot tudi pri strojih, v katere bi radi vgradili osnovne spoznavne zmožnosti. V umetne sisteme, ki naj bi s človekom sobivali in z njim sodelovali, je namreč tako rekoč nemogoče vnaprej vgraditi celotno znanje, ki ga potrebujejo pri svojem delovanju. Veliko bolj primerno je to znanje postopoma usvajati in ga nadgrajevati v procesu učenja. Eden najbolj naravnih načinov prenosa znanja, tako s človeka na človeka kot tudi s človeka na inteligen- tni stroj, je interaktivno učenje v dialogu učenca z učiteljem. Pri klasičnem pristopu učenje vodi učitelj. Pri tem t. i. pasivnem učenju učitelj izbere ustrezne učne primere, s katerimi učencu ponazori in ga nauči Prejet 16. oktober, 2013 Odobren 10. december, 2013 določenih konceptov (kot je prikazano na sliki 1(a)). Poznamo tudi primere aktivnega učenja, kjer proces učenja vodi učenec. Učenec ima namreč neposreden vpogled v svoje trenutno znanje, zato lahko oceni, kje je le-to najšibkejše, in zahteva takšne učne primere, ki bi učinkoviteje pomagali zapolniti luknje v njegovem znanju (slika 1(b)). (a) Pasivno učenje (c) Vzajemno aktivno učenje (b) Aktivno učenje Slika 1: Različne vrste učenja Temeljni cilj aktivnega učenja je torej pohitritev učnega procesa. V nadaljevanju se bomo omejili na problem učenja konceptualnega znanja oz. učenja ka- tegorizacije primerov v diskretne razrede, ki sovpadajo s človeškim pojmovanjem teh kategorij (npr. kategoriza- cija predmetov, razpoznavanje barv, razpoznavanje črk in drugih simbolov ipd.). V tem primeru učenec sodeluje pri aktivnem učenju tako, da izbira učne primere, ki so predani učitelju v označevanje (t. j. v dodeljevanje oznak razredov) in nato uporabljeni za učenje. Učenec navadno oceni informativnost še neoznačenih učnih pri- merov, torej oceni, koliko nove informacije mu bo učni primer prinesel oz. koliko bo lahko na podlagi njega 190 MAJNIK, SKOČAJ izboljšal svoje znanje. Obstaja več različnih strategij za ocenjevanje informativnosti (t. i. strategij poizvedovanja, angl. query strategies) [8], [5]. V našem predhodnem delu [9], [4] smo proučevali in vrednotili razne pristope, ki delujejo na podlagi teh strategij poizvedovanja in se uporabljajo za končni izbor najprimernejšega učnega primera, ki naj bi se ga označilo v vsakem koraku aktivnega učenja. Pri svojem delu predpostavljamo socialno interaktiven scenarij, kjer človeški učitelj interaktivno komunicira z inteligentnim sistemom. V tem scenariju je motivacija za aktivno učenje v zmanjševanju časa in napora, ki ga učitelj vloži v učenje, in sicer primarno z zmanjšanjem števila učnih primerov, ki morajo biti označeni. Treba pa se je zavedati, da se težavnost klasifikacije (t. j. prirejanja primernih oznak razredov) med primeri razlikuje. Na splošno velja, da so dvoumni primeri v bližini mej med razredi (ki pa so pogosto najbolj informativni) lahko za učitelja težavnejši, saj lahko njihovo označevanje zahteva več napora in časa. Pri aktivnem učenju, kjer učenec sam generira učne primere, so lahko posamezni primeri tudi popolnoma nerazumljivi ali celo nesmiselni v kontekstu danega učnega problema. Recimo, da pri učenju dovolimo predpostavko iz realnega sveta, in sicer, da človeški učitelji niso vsevedi in se lahko motijo. Tedaj spoznamo, da izbira primerov ne bi smela temeljiti le na informativnosti, temveč tudi na razumljivosti, torej na tem, kako dobro učitelj razume ponujene mu učne primere. V ta namen predlagamo nov pristop k aktivnemu učenju, poimenovali smo ga vzaje- mno aktivno učenje, ki naj bi težil k temu, da bi bili in- formativni primeri, izbrani s pomočjo aktivnega učenja, obenem tudi razumljivi človeškemu učitelju. Koncept tovrstnega učenja na področju umetne inteligence, po našem najboljšem vedenju, še ni bil raziskan. Izraz “vzajemno” nakazuje, da ima pri predlaganem načinu učenja tudi učitelj vpliv na izbiro učnih primerov, ki mu jih v označevanje pošilja učenec, kot je ponazorjeno na sliki 1(c). V tem članku je predstavljena idejna zasnova novega pristopa s potrditvijo njene uporabnosti. Izve- deno eksperimentalno vrednotenje je na primeru učenja koncepta barv potrdilo, da je takšno učenje zanesljivejše in uspešnejše kot osnovno aktivno učenje. Zgradba članka je naslednja. V poglavju 2 najprej po- vzamemo sorodno delo. V poglavju 3 nato predstavimo predlagani pristop za vzajemno aktivno učenje. Sledi poglavje 4, v katerem opišemo eksperimentalno vredno- tenje, članek pa s končnimi ugotovitvami sklenemo v poglavju 5. 2 SORODNO DELO Eno izmed področij, ki bi z vzajemnim aktivnim učenjem lahko veliko pridobila, je robotika osebnih pomočnikov (angl. socially assistive robotics). Glavni cilj robotike osebnih pomočnikov je gradnja robotov, ki so skozi socialno interakcijo sposobni pomagati človeškim uporabnikom in tako prispevati h kakovosti njihovega življenja [10]. Tovrstni roboti naj bi bili zmožni naravne komunikacije in socialne interakcije, še zlasti pa bi prišli prav populaciji starostnikov in ljudem s kognitivnimi, razvojnimi in socialnimi hibami. Pri takšnih namenih uporabe je izjemno pomembna razumljivost robotovih vprašanj, zagotavljanju katere pa je, med drugim, namenjeno vzajemno aktivno učenje. V našem scenariju interaktivnega učenja komunikacija poteka v obliki izmenjevanja vprašanj in odgovorov na ta vprašanja. Da bi učitelj lahko ustrezno odgovoril na vprašanje, mora vprašanje razumeti. Lastnosti dobrega vprašanja so s stališča strojnega in tudi človeškega učenja proučene v [1]. Avtorji pri tem identificirajo tri različne vrste poizvedb (oz. vprašanj) in jih ovrednotijo v človeško-robotskem učnem eksperimentu. Rezultati nakazujejo, da ljudje poizvedbe o značilkah (t. j., ali je značilka pomembna za koncept, ki se ga učimo, angl. feature queries) dojemajo kot najbolj inteligentne, medtem ko je na splošno ljudem najlažje odgovarjati na poizvedbe o oznakah razredov (t. j., kateremu razredu pripada posamezen neoznačeni učni primer, angl. label queries). Poizvedbe o oznakah razredov so tudi tip poizvedb, ki jih uporabljamo v našem članku, po drugi strani pa [1] ne vsebuje izrecne obravnave vzajemnosti, t. j. učiteljevega vpliva na izbiro učenčevih vprašanj. Ena glavnih predpostavk v našem članku, predpo- stavka o šumnih človeških učiteljih, je bila v [8] na- slovljena kot eden izmed izzivov pri praktični uporabi aktivnega učenja. Problem je bil nadalje proučen v [2], kjer avtorji obravnavajo obnašanje človeških strokovnja- kov pri dogodkih v realnem svetu. Avtorji v svoji študiji predpostavljajo, da naj bi tedaj, ko je strokovnjak zelo prepričan o označevanih učnih primerih, tudi verjetnost pravilnosti teh oznak bila visoka. Predstavljena je analiza o tem, v katerih primerih in kako človeški strokovnjaki posredujejo nepravilne odgovore. Na podlagi rezultatov analize je predlagana nova metoda za iskanje ravnovesja med izbiro primerov, ki so zelo informativni (vendar pa bo strokovnjak nekatere izmed njih verjetno napačno označil), in primerov z visoko verjetnostjo dodelitve pravilne oznake (ki pa imajo majhno informativno vre- dnost). To iskanje ravnovesja, čeprav naslovljeno z dru- gega zornega kota, predstavlja tudi osnovno idejo našega članka. Omenjeni problem je poznan tudi pod imenom kompromis med raziskovanjem in uporabo (angl. explo- ration/exploitation dilemma) in je nadalje obravnavan v [6]. Običajno pri učenju umetnih inteligentnih sistemov sodelujejo učitelji, ki se na tematiko učenja spoznajo. Rečemo lahko, da je učitelj v tem primeru strokovnjak za dano tematiko. Predlagano vzajemno aktivno učenje naj bi bilo pri učenju s strokovnjaki uspešnejše od osnov- nega aktivnega učenja. Prednosti vzajemnega aktivnega učenja pa naj bi se v še večji meri kot pri strokovnjakih, ki (bolj ali manj dobro) razumejo učenčeva vprašanja in (praviloma) sorazmerno suvereno (pravilno, natančno) AKTIVNO UČENJE IN VZAJEMNOST MED UČITELJEM IN UČENCEM 191 odgovarjajo na vprašanja, pokazale pri učiteljih – nestro- kovnjakih. Enega izmed scenarijev, kjer robota poučujejo nestrokovnjaki, proučujejo avtorji v [7]. Obravnavani so štirje različni tipi dodatne informacije o robotovem stanju, ki naj bi bila v pomoč učitelju – nestrokovnjaku. Velika razlika v primerjavi z našim pristopom pa je v tem, da mi predpostavljamo, da ima učitelj dejavno vlogo pri sporočanju, katere informacije so zanj osebno bolj razumljive (učenec se tako lahko prilagodi znanju posameznega učitelja). 3 VZAJEMNO AKTIVNO UČENJE Vodilo pri razvoju predlaganega pristopa so ugotovljene pomanjkljivosti osnovnega aktivnega učenja. V razdelku 3.1 primerjamo lastnosti osnovnega aktivnega učenja in vzajemnega aktivnega učenja s stališča splošne mo- tivacije, želja človeškega učitelja in nalog umetnega inteligentnega učenca. V 3.2 nato orišemo predlagani pristop k vključevanju “vzajemnosti” v aktivno učenje. Postavljene hipoteze so navedene v razdelku 3.3. 3.1 Osnovno in vzajemno aktivno učenje 1) Aktivno učenje (AU): a) splošna motivacija: Prenos znanja z učitelja na učenca s pomočjo najmanjšega mogočega števila učnih primerov. b) človeški učitelj: “Učenec, prosim, uči se kar se da hitro, moj čas in napor sta dragocena.” c) umetni inteligentni učenec: “Učitelj, prosim, podaj mi primere, ki mi bodo omogočili, da se čim hitreje naučim.” 2) Vzajemno aktivno učenje (VAU): a) splošna motivacija: Kot v AU + s čim manj učiteljevega umskega napora. b) človeški učitelj: Kot v AU + “Učenec, pro- sim, zastavljaj vprašanja, ki so čim manj ne- prijetna/težavna (da bom tako lahko na vsako vprašanje odgovoril čim bolj zanesljivo in čim hitreje).” c) umetni inteligentni učenec: Kot v AU. 3.2 Upoštevanje učiteljevega odziva V tem delu smo učiteljev odziv upoštevali na naslednji način. Namesto enega samega učenec v vsaki posamezni interakciji z učiteljem le-temu v označevanje ponudi množico neoznačenih učnih primerov. Učenec vedno ponudi množico primerov, ki so zanj posamično čim bolj koristni. To množico učenec sestavi tako, da oceni informativnost vseh razpoložljivih primerov in izbere tiste z najvišjo vrednostjo informativnosti. Učitelj nato izmed ponujenih izbere in označi tisti primer, ki je zanj najbolj razumljiv. Ta (sedaj že označeni) primer se zatem uporabi za učenje v dani interakciji. Pri sami implementaciji smo uporabili usmerjeno vzorčenje negotovosti (angl. directed uncertainty sam- pling), ki temelji na izračunu aposteriorne verjetnosti preko vseh mogočih razredov. To vzorčenje je izvedeno v metodi tipa Monte Carlo, ki je bila opisana v [4]. Z vzorčenjem prostora značilk se ustvarjajo učni pri- meri, ki so nato ponujeni učitelju v označevanje. Proces ustvarjanja učnih primerov je popolnoma introspektiven (učenec torej analizira svoje modele in se ne sklicuje na učne primere iz realnega sveta). Več informacij o introspekciji lahko prav tako najdete v [4]. 3.3 Naše hipoteze Ker pri vzajemnem aktivnem učenju učenec v vsaki interakciji učitelju ponudi le primere, ki so zanj pri- bližno enako koristni, v splošnem ne bi smela obstajati nevarnost, da bi predlagana metoda imela kakršenkoli negativen vpliv na končno stopnjo uspešnosti (merjeno npr. v obliki klasifikacijske točnosti). Naše hipoteze so tako naslednje: 1) Stopnja uspešnosti naj bi se povečala, in sicer zato, ker so učni primeri, ki so učitelju predstavljeni, le-temu verjetno bolj razumljivi. Učitelj jih torej lahko označi z večjo zanesljivostjo. 2) Skupni čas učenja naj bi se skrajšal, saj naj bi za učitelja označevanje posameznih učnih primerov, ki jih le-ta bolje razume (je z njimi bolj seznanjen ali pa so bolj nedvoumni), bilo časovno manj zahtevno. Ali se čas učenja tudi dejansko skrajša pa naj bi bilo odvisno od domene, natančneje, kako pomembno je za človeškega označevalca v dani domeni, da se izogne morebitnim napačnim klasifikacijam. Predpostavljamo, da naj bi se s povečevanjem pomembnosti čas učenja skrajševal v primerjavi s časom učenja pri osnovnem aktiv- nem učenju. 3) Umska obremenitev človeškega učitelja naj bi se zmanjšala, in sicer zaradi bolj razumljivih učnih primerov. 4 EKSPERIMENTALNO VREDNOTENJE V razdelku 4.1 najprej opišemo preizkusno domeno, predstavimo primerjane načine učenja ter navedemo in opišemo množice učnih primerov, ki so jih učitelji označevali. V razdelku 4.2 sledi časovni potek poizkusa. Prikazan je uporabniški vmesnik, predstavljena pa so tudi navodila, ki so jih pred začetkom poizkusa dobili učitelji. Mere, ki smo jih uporabili za subjektivno in objektivno vrednotenje rezultatov, so podane v razdelku 4.3, rezultati poizkusa pa so na voljo v razdelku 4.4. 4.1 Zasnova poizkusa Hipoteze so bile preizkušene na problemu razpozna- vanja barvnih vzorcev, pridobljenih iz prostora HSL. Prostor HSL je pri tem trirazsežni prostor, kjer značilke H (barvni odtenek, angl. hue), S (nasičenost, angl. saturation) in L (svetlost, angl. lightness) predstavljajo po eno izmed razsežnosti. Naloga je bila dodeliti pred- stavljenim vzorcem oznako ene izmed naslednjih osmih 192 MAJNIK, SKOČAJ barv (razredov): rdeče, rumene, modre, oranžne, zelene, rožnate, črne in bele. Ta domena ima naslednji dve lastnosti, zaradi katerih ustreza našemu namenu: • Pojmovanje barv je že po naravi, vsaj do neke mere, subjektivno. Strogo določene meje med različnimi barvami ne obstajajo. • Oznake nekaterih tipičnih barv manjkajo (npr. rjave, vijoličaste in sive). Učitelji se morajo odločiti, katera od oznak, ki so na voljo, najbolje opisuje dani barvni vzorec, lahko pa tudi izberejo možnost “Nobena od razpoložljivih”. Pri vrednotenju smo uporabili štiri načine učenja, med njimi dva pomožna (naključni in večnaključni). 1) vzajemni – Vzajemno aktivno učenje. Pri vsaki interakciji je več barvnih vzorcev pridobljenih s postopkom, ki je opisan v razdelku 3.2. Ti barvni vzorci so nato ponujeni v označevanje. 2) osnovni – Osnovno aktivno učenje. Pri vsaki in- terakciji je pridobljen samo en barvni vzorec (s pomočjo enakega postopka kot pri vzajemnem načinu). Ta barvni vzorec je nato ponujen v označevanje. 3) naključni – Naključno učenje. Pri vsaki interakciji je barvni vzorec ustvarjen naključno. Ta barvni vzorec je nato ponujen v označevanje. 4) večnaključni – Večnaključno učenje. Pri vsaki interakciji je več barvnih vzorcev ustvarjenih na- ključno. Vsi ti barvni vzorci so nato ponujeni v označevanje. Pri poizkusu je sodelovalo osem učiteljev, pet jih je pripadalo starostni skupini 20–30 let, preostali trije pa starostni skupini 30–40 let. Tri osebe so bile ženskega spola, pet moškega. Vsak izmed učiteljev je skupaj dodelil oznake razredov 840 barvnim vzorcem, ki so pripadali naslednjim množicam: • začetna učna množica (L1) z 80 barvnimi vzorci (uravnotežena porazdelitev po razredih s po 10 barvnimi vzorci na razred), • interaktivne učne množice (L2) s po 50 barvnimi vzorci za vsako izmed 3 ponovitev pri vsakem izmed 4 načinov učenja, skupaj torej s 3× 4× 50 barvnimi vzorci (v splošnem neuravnotežena poraz- delitev po razredih), • in preizkusna množica (T ) s 160 barvnimi vzorci (uravnotežena porazdelitev po razredih s po 20 barvnimi vzorci na razred). Za zanesljivejšo primerjavo rezultatov so bili barvni vzorci začetne učne množice in preizkusne množice za vse učitelje enaki. Vsi učitelji so torej prejeli enake barvne vzorce, oznake razredov pa je tem barvnim vzorcem individualno priredil vsak učitelj posebej. Po drugi strani pa je bila izdelana unikatna interaktivna učna množica za vsako kombinacijo (učitelj, ponovitev, način učenja). Skupno število takšnih interaktivnih učnih množic je torej 8× 3× 4 = 96. 4.2 Izvedba poizkusa Poizkus je bil izveden na zgoraj opisanem interaktiv- nem učnem sistemu, ki je tekel na osebnem računalniku. Kot temeljni učni algoritem smo uporabili odKDE [3]. Učni sistem je omogočal interaktivno komunikacijo in človeški učitelji so odgovarjali na vprašanja, ki jih je sistem zastavljal. Učiteljem so bila podana naslednja navodila: • Načina naključni in osnovni (tip A): Barvnemu vzorcu dodelite oznako ene izmed 8 razpoložljivih barv. Če se ne morete odločiti za nobeno od teh barv, izberite možnost “Nobena od teh”. • Načina večnaključni in vzajemni (tip B): Izbe- rite enega izmed 15 ponujenih vzorcev, za kate- rega se lahko odločite, katere barve je. Izbranemu barvnemu vzorcu dodelite oznako ene izmed 8 razpoložljivih barv. Če ne morete nobene izmed oznak dodeliti nobenemu izmed 15 vzorcev, izbe- rite možnost “Nobena od teh”. Poizkusite naučiti sistem razlikovati med koncepti vseh 8 barv (torej, če je mogoče, težite k izbiri vzorcev različnih barv). Slika 2: Uporabniški vmesnik pri tipu A Najprej je vsak učitelj označil 240 barvnih vzorcev; 80 jih je bilo namenjenih začetni učni množici (L1), 160 pa uporabljenih za preizkusno množico (T ). Nato se je vsak učitelj soočil z vsakim od štirih načinov učenja (predstavljenih v razdelku 4.1) v treh zaporednih ponovitvah. Načini učenja določajo, kako je (so) v vsaki interakciji ustvarjen (-i) vektor (-ji) značilk, ki je (so) nato učitelju prikazan (-i) v obliki barvnega (-ih) vzorca (-ev). Učitelj je torej označil 12 unikatnih interaktivnih učnih množic, kjer je vsaka množica ustrezala enemu izmed 12 parov (ponovitev, način učenja). Učitelji niso bili seznanjeni z nikakršnimi dodatnimi informacijami o predpostavljeni kakovosti uporabljenih načinov učenja. Nazadnje je vsak učitelj odgovoril na štiri vprašanja o svoji interakciji s sistemom. Uporabniški vmesnik, ki je bil učiteljem na voljo pri načinih tipa A oz. B, je prikazan na slikah 2 in 3. 4.3 Objektivne in subjektivne mere vrednotenja Objektivno izmerjeni količini pri eksperimentalnem vrednotenju (pri stalnem številu učnih primerov – barv- nih vzorcev) sta bili čas učenja in uspešnost učenja. AKTIVNO UČENJE IN VZAJEMNOST MED UČITELJEM IN UČENCEM 193 Slika 3: Uporabniški vmesnik pri tipu B Čas učenja se je meril od trenutka, ko je bilo učitelju zastavljeno prvo vprašanje, do trenutka, ko je učenec prejel zadnji odgovor. Stopnja uspešnosti pa je bila ugotovljena z izračunom klasifikacijske točnosti. Subjektivno vrednotenje umske obremenitve človeških učiteljev je bilo izvedeno na podlagi naslednjega vprašalnika, ki so ga učitelji dobili, ko je bil učni proces končan. V osnovi ste se srečali z dvema tipoma načinov za označevanje barvnih vzorcev: • tip A: brez možnosti izbire (vedno na voljo le en vzorec), • tip B: z možnostjo izbire (vedno na voljo 15 vzorcev). Prosimo, odgovorite z A ali B na naslednja štiri vprašanja. Svoje odločitve na kratko ob- razložite. 1) Kateri od obeh tipov vam je omogočil hitejše odločanje o tem, katere barve je (izbrani) vzorec? Zakaj? 2) Pri katerem izmed obeh tipov je bilo po vašem mnenju učenje uspešnejše? Zakaj? 3) Kateri izmed obeh tipov se vam je zdel umsko manj zahteven? Zakaj? 4) Pri katerem izmed obeh tipov ste ste počutili (bolj) negotovo? Zakaj? 4.4 Rezultati in razprava Na sliki 4 vidimo krivulje srednje klasifikacijske točnosti, ki so bile izračunane iz posameznih rezultatov vseh 8 učiteljev in vseh 3 ponovitev, ki jih je opravil vsak izmed učiteljev. Najprej lahko opazimo, da je bil proces interaktivnega učenja v vseh primerih uspešen. Klasifi- kacijska točnost narašča s številom učnih primerov; ta rast je najbolj izrazita na začetku učnega procesa, ko se sistem uči novih konceptov, vendar v glavnem ostaja pozitivna tudi v kasnejših obdobjih učenja, ko se naučeni modeli izpopolnjujejo na osnovi novih učnih primerov. V prvih fazah učnega procesa osnovno aktivno učenje ni najbolj uspešno, ker se modeli, na podlagi katerih učenec izbira učne primere, šele gradijo. Ko pa so mo- deli dovolj zanesljivi, se proces učenja zelo pospeši, tako da je ta način po pričakovanjih boljši kot naključni način, pri katerem se učni primeri izbirajo naključno. Zaradi vloženega človeškega napora je tudi večnaključni način boljši od naključnega; v tem primeru namreč učenje z izbiranjem med ponujenimi naključno izbranimi vzorci vsaj deloma usmerja učitelj. Za najboljšega med vsemi pa se je izkazal vzajemni aktivni način. Ta način na koncu učenja doseže največjo klasifikacijsko točnost, poleg tega pa tudi med samim učenjem visoko klasi- fikacijsko točnost doseže prej kot drug načini učenja. Ti rezultati torej potrjujejo našo prvo hipotezo, ki je predvidevala, da se bo zaradi večje razumljivosti učnih primerov klasifikacijska točnost povečala. 80 90 100 110 120 130 0.7 0.75 0.8 0.85 0.9 0.95 1 Število učnih primerov K la si fik ac ijs ka to čn os t naključni več-naključni osnovni vzajemni Slika 4: Srednja klasifikacijska točnost Tabela 1 prikazuje srednji čas označevanja enega barvnega vzorca, povprečen preko vseh učiteljev in vseh ponovitev. Opazimo lahko, da je v nasprotju z našo drugo hipotezo srednji kosmati čas označevanja posameznega barvnega vzorca za približno 42 % višji pri vzajemnem (4.4 s) kot pri osnovnem (3.1 s) aktivnem načinu. Kosmati čas pri osnovnem načinu sestoji iz časa odločanja o oznaki in časa klika. Po drugi strani pa pri vzajemnem načinu kosmati čas vključuje čas odločanja o izbiri barvnega vzorca, čas klika, čas odločanja o oznaki in še čas drugega klika. Verjamemo pa, da bi v domenah, kjer so posledice dodelitve napačne oznake učnemu primeru lahko resne, npr. v varnostno-občutjivih in me- dicinskih aplikacijah, kosmati čas praviloma moral biti večji pri osnovnem kot pri vzajemnem načinu. Po našem mnenju bi se težavnost označevanja tipičnega aktivno pridobljenega primera odrazila v času, ki bi presegal vsoto časa odločanja o izbiri primera in časa drugega klika. Kakorkoli že, na osnovi rezultatov poizkusa, druge hipoteze, ki je predvidevala skrajšanje skupnega časa učenja, ne moremo potrditi. Po drugi strani se je treba zavedati, da ima povečanje 194 MAJNIK, SKOČAJ klasifikacijske točnosti za posledico skrajšanje časa učenja, ki je potreben za dosego neke določene klasi- fikacijske točnosti. Na primer, za dosego 92-odstotne klasifikacijske točnosti mora učitelj označiti 119 barvnih vzorcev v osnovnem načinu aktivnega učenja in le 97 barvnih vzorcev v vzajemni različici aktivnega učenja. Tabela 1: Srednji čas označevanja enega barvnega vzorca naključni več- naključni osnovni vzajemni 3.2 s 4.7 s 3.1 s 4.4 s Rezultati subjektivnega vrednotenja so predstavljeni v tabeli 2. Opazimo lahko, da je velika večina učiteljev pri vprašanjih 1, 2 in 4 bolj naklonjena tipu B. Tip B ima pred tipom A prednost tudi pri vprašanju 3, se pa pri tem vprašanju mnenja učiteljev najbolj razlikujejo: medtem ko se pri tipu A ni bilo treba odločati o tem, kateri barvni vzorec izbrati za označevanje, pa je bilo pri tipu B preprostejše sámo označevanje izbranega barvnega vzorca. Iz rezultatov torej lahko sklepamo, da se je umska obremenitev človeškega učitelja pri vzajemnem aktivnem učenju zmanjšala, kar potrjuje našo tretjo hipotezo. Tabela 2: Subjektivno vrednotenje vprašanje odgovor A odgovor B drugo 1 0 6 2 2 1 5 2 3 3 4 1 4 7 1 0 5 SKLEP V tem članku smo predlagali nov koncept za izboljšanje uspešnosti in učinkovitosti aktivnega učenja, ki smo ga poimenovali vzajemno aktivno učenje. Glavna lastnost predlaganega pristopa je, da pri izbiri učnih primerov v procesu aktivnega učenja sodelujeta tako učenec kot učitelj. Pri tej izbiri se tako poleg ocenjevanja infor- mativnosti primerov omogoči tudi upoštevanje njihove razumljivosti. Predstavili smo lastnosti predlaganega pri- stopa in tudi njegove pričakovane prednosti. Empirično vrednotenje pristopa na primeru učenja koncepta barv je potrdilo dve naši hipotezi. Ker je osnovna ideja vzajemnega aktivnega učenja neodvisna od domene, je predlagani pristop primeren tudi za uporabo na drugih področjih. Pri bodočem delu bomo tako med drugim raziskali obnašanje in uspešnost vzajemnega aktivnega učenja na drugih domenah (npr. na problemu razpoznavanja ročno pisanih števk). Vzajemno aktivno učenje se približuje predpostavkam realnega sveta in naj bi pomagalo zmanjšati količino časa in napora, ki ga mora učitelj vložiti v proces učenja umetnega inteligentnega sistema. Pri praktični uporabi takšnih sistemov bi bila predlagana izboljšava zelo do- brodošla. Zavoljo hitrejšega in človeku bolj prijaznega učenja lahko torej pričakujemo, da bodo tovrstni pristopi igrali pomembno vlogo pri načrtovanju interaktivnih socialnih aplikacij. ZAHVALA Zahvaljujemo se vsem, ki so v vlogi učitelja sodelovali pri preizkušanju predlagane vzajemne metode in tako omogočili njeno objektivno in subjektivno vrednotenje.