1 UVOD
Napovedovanje rezulatov športnih dogodkov je vedno
zanimiva tema, tako z vidika zabave, kot tudi s popol-
noma poslovnega vidika (npr. športne stave). Zato je
nogomet kot eden svetovno najbolj priljubljenih športov
pogosto predmet raziskav, saj po eni strani zaradi sto-
hastične narave nudi velik raziskovalni izziv, po drugi
strani pa ga običajno usmerja natančno izbrana igralna
strategija [1].
Različne tehnike modeliranja nogometnega srečanja
nas privedejo do različnih algoritmov za napovedo-
vanje izidov. V literaturi [2] so postopki modeliranja
razvrščeni v štiri splošne skupine: (i) empirični modeli,
(ii) dinamični sistemi, (iii) statistični postopki in (iv) ek-
spertni sistemi. V skupini statističnih postopkov za naj-
osnovnejši pristop velja uporaba Poissionove porazde-
Prejet 16. december, 2014
Odobren 12. januar, 2015
litve pri napovedovanju števila doseženih zadetkov [3],
izid srečanja je torej določen posredno (iz medsebojne
napovedi za nastopajoči moštvi). Nasprotno pa večina
drugih pristopov napoveduje izid srečanja neposredno,
pri čemer pa rezultati v večini primerov ne odstopajo
bistveno [4]. V skupini ekspertnih sistemov prevladujejo
pristopi k modeliranju na podlagi Bayes-ovih mrež (ang.
Bayesian Networks) [1] [5] [6]. Ti pristopi so praviloma
kompleksni, temeljijo na številnih predpostavkah in zah-
tevajo veliko statističnih vzorcev [8], vendar omogočajo
preprosto vključevanje znanja o domeni uporabe, zato
so v napovedih praviloma natančnejši [5]. Na pristope
iz preostalih dveh skupin pa v zadnjih letih tako rekoč
sploh ne naletimo.
Skupna težava opisanih pristopov je nekompatibil-
nost nabora podatkov, uporabljenih za napovedovanje
izidov. Standardnega nabora namreč ni, prav tako tudi
ni enotne raziskovalne podatkovne zbirke. V literaturi
[7] lahko najdemo analizo parametrov nogometnega
srečanja, kljub temu opisani pristopi uporabljajo od
primera do primera različne parametre, kar onemogoča
pravo primerjavo njihove uspešnosti. Delno lahko vzroke
teh težav pripišemo dinamičnosti nogometne igre, ki
otežuje sistematično zbiranje statističnih podatkov, ki je
poleg tega še omejeno le na izbrana ligaška in turnirska
tekmovanja.
V prispevku je opisana metoda za napovedovanje
izidov svetovnega nogometnega prvenstva, ki temelji na
modelu matričnega razcepa. Tovrstni postopki so v za-
dnjih letih pridobili na veljavi na področju priporočilnih
sistemov za multimedijske vsebine, kjer so izkazali
svojo superiornost pri napovedi uporabniške izkušnje
[9]. Pomembna prednost opisane metode je v tem, da
model matričnega razcepa uporablja latentne parametre.
62 DOBRAVEC
Večina do zdaj uveljavljenih pristopov namreč uporablja
subjektivno določen (znanje strokovnjaka), od primera
do primera različen nabor parametrov. V primeru, ko bo-
disi strokovnega znanja bodisi primernega nabora mer-
ljivih parametrov nimamo, so latentni parametri modela
matričnega razcepa boljša izbira kot nabor parametrov,
ki ga ne znamo ustrezno ovrednotiti.
Predlagana metoda temelji izključno na rezultatih
(številu doseženih zadetkov) že odigranih srečanj, to-
rej brez dodatnih statističnih podatkov in strokovnega
znanja. Rezultat srečanja je namreč univerzalen poda-
tek in je vedno zabeležen. Metoda napoveduje število
doseženih zadetkov posameznega moštva na določenem
srečanju in posredno tudi izid srečanja.
V nadaljevanju je najprej predstavljena metodologija
napovedovanja števila zadetkov, sledi opis postopka
razvrščanja izidov nogometnih tekem, rezultati napo-
vedovanja in razvrščanja za izbrani primer ter sklepne
ugotovitve.
2 METODOLOGIJA IN PODATKI
2.1 Testni podatki
Algoritem je bil preizkušen na primeru nedavnega
svetovnega prvenstva v nogometu v Braziliji 2014, ki
se je odvijalo v turnirski obliki. Prvi del turnirja je
skupinski del, kjer so sodelujoči razdeljeni v osem
skupin po štiri ekipe. V skupini ekipe igrajo po sistemu
vsak z vsakim, torej dve srečanji na krog, skupaj trije
krogi, v osmih skupinah pa to pomeni skupaj 48 srečanj.
Najuspešnejši ekipi iz vsake skupine napredujeta v
izločilni del turnirja, kjer se igra po sistemu izločanja.
V drugem delu je odigranih 16 tekem: 8 v osmini finala,
4 v četrfinalu ter po dve v polfinalu in finalu).
Poleg srečanj svetovnega prvenstva smo v postopku
učenja algoritma uporabili tudi prijateljska srečanja ekip
udeleženk neposredno (en mesec) pred prvenstvom, in
sicer skupaj 56 srečanj.
Vsi podatki, tako o že odigranih srečanjih kot
tudi o srečanjih naslednjega kroga, so bili dostopni
na uradni strani svetovnega nogometnega prvenstva
(http://www.fifa.com/worldcup/). Ker v izločilnem delu
turnirja neodločen rezultat ni več mogoč (igra se do
končnega zmagovalca), smo uporabili rezultat po izteku
rednega dela srečanja, prav tako tudi napoved velja za
rezultat po izteku rednega dela srečanja.
2.2 Model matričnega razcepa
Modeli matričnega razcepa so se na področju pri-
poročilnih sistemov multimedijskih vsebin izkazali kot
učinkoviti pri napovedovanju uporabniške izkušnje [9].
Pri tem gre za poskus modeliranja interakcije med
uporabniki in multimedijskimi vsebinami tako, da se
model gradi na podlagi ocen, ki so jih uporabniki
dodelili vsebinam. Model se nato uporabi za napoved
uporabnikove izkušnje (zadovoljstva) s še neocenjeno
vsebino.
V našem primeru je model prirejen tako, da temelji
na številu doseženih zadetkov gen. Opazujemo torej,
koliko zadetkov izbrana ekipa e doseže proti naspro-
tni ekipi n. Z modelom napovemo pričakovano število
zadetkov ĝen, torej koliko zadetkov bo izbrana ekipa
dosegla proti določenemu nasprotniku. Odločitev za ta
parameter utemeljujemo z dejstvom, da število zadetkov
enega in drugega moštva neposredno odloča o končnem
izidu srečanja. V model matričnega razcepa sicer lahko
vključimo tudi druge parametre, ki vplivajo na napoved
(v [10] je na primer dodana časovna komponenta),
vendar smo se zadovoljili z osnovnim modelom z
upoštevanjem pristranskosti (ang. bias):
ĝen = µ+ be + bn + q
T
npe. (1)
V modelu sta ekipi (e in n) predstavljeni z vektorjema
(pe in qn) v prostoru latentnih parametrov tako, da
njun produkt ponazarja tisti del napovedi, ki je posle-
dica neposredne ‘interakcije’, µ pomeni povrečje vseh
doseženih zadetkov, be in bn pa odstopanja izbrane in
nasprotne ekipe od tega povprečja.
Prostor latentnih parametrov je v postopku učenja
modela postavljen tako, da ustrezno povzame tiste vi-
dike srečanj iz učne množice κT , ki najbolje pojasnijo
odstopanja v številu doseženih zadetkov izbrane ekipe
proti različnim nasprotnikom. Za učenje je uporabljen
stohastični gradientni postopek (ang. Stochastic Gradient
Descent), ki temelji na zmanjševanju kvadratične napake
napovedi za znane rezultate iz κT :
min
∑
(e,n)∈κT
(gen− ĝen)2+λ(∥pe∥2+∥qn∥2+ b2n+ b
2
e),
(2)
Če rezultate iz κT predstavimo s (i, j, Gi, Gj), kjer sta
i in j ekipi, Gi in Gj pa števili zadetkov teh ekip,
potem za vsak rezultat izluščimo dve vrednosti, ki ju
upoštevamo v enačbi: gij = Gi ter gji = Gj Drugi
del vsote je namenjen regularizaciji, ki jo nadzoruje
parameter λ.
Testna množica algoritma so pari moštev (i in j), ki
igrajo srečanje v naslednjem krogu tekmovanja κE =
{(i, j)}.
2.3 Napovedovanje izida
Uporabljeni model matričnega razcepa ne napove-
duje neposredno izida, temveč pričakovano ševilo za-
detkov (ĝen) izbrane ekipa (e) proti nasprotniku (n). Za
vsako srečanje (i, j) iz κE tako dobimo dve napovedi:
Ĝi = ĝij in Ĝj = ĝji. Za napovedovanje izida je
treba načrtovati še razvrščevalnik (C), ki pare napovedi
razvrsti v enega naslednjih treh razredov: zmaga prvega
moštva v paru (1), zmaga drugega moštva v paru (2) in
neodločen rezultat (0):
(i, j, Ĝi, Ĝj)
C−→ {(1), (2), (0)}. (3)
Za navedene oznake razredov smo se odločili, ker so
splošno uveljavljene tako pri statistični analizi nogome-
tnih rezultatov kot na področju nogometnih stav.
NAPOVEDOVANJE IZIDOV SVETOVNEGA PRVENSTVA V NOGOMETU 63
Najpreprostejši način razvrščanja predstavlja primer-
java na najbližje celo število zaokrožene napovedi števila
zadetkov:
C : c =


(1) ; round(Ĝi) > round(Ĝj)
(2) ; round(Ĝi) < round(Ĝj)
(0) ; round(Ĝi) = round(Ĝj).
(4)
Takšno razvrščanje ima težave, ko sta napovedani vre-
dnosti Ĝi in Ĝj tik ob meji zaokroževanja, vendar vsak
na svoji strani (npr. 1,51 in 1,49). V takem primeru je
kljub zelo podobni napovedi števila zadetkov napovedan
izid zmaga in ne neodločen izid.
Več uspeha lahko pričakujemo, če za razvrščanje upo-
rabimo katerega od uveljavljenih postopkov razvrščanja.
V raziskavi je uporabljen Bayesov naivni razvrščevalnik
(ang. Naive Bayes). Ta spada med bolj robustne in v
večini primerov uspešne razvrščevalnike, čeprav temelji
na domnevi o nekoreliranosti vhodnih značilk (v tem
primeru Ĝi in Ĝj) [12].
Medtem ko v prvem primeru ne potrebujemo učne
faze, pa je ta seveda potrebna pri razvrščanju z upo-
rabo Bayesovega naivnega razvrščevalnika. Uspešnost
razvrščanja je seveda odvisna tudi od velikosti učne
množice, zato izidi v tem primeru niso napovedani
’sproti’. Uspešnost napovedovanja je namreč odvisna
tudi od velikosti učne množice, ker pa nabor podatkov
obsega vsega 64 izidov srečanj, je pri določanju učnega
in testnega nabora uporabljeno navzkrižno pregibanje
(ang. cross-folding) nabora podatkov. V tem primeru
je uporabljenih 8 pregibov (8-folding), da je v vsakem
enako število vzorcev, ki so po pregibih razporejeni
naključno tako, da je porazdelitev glede na razred enaka
kot v celotnem naboru.
2.4 Ovrednotenje
Ocena uspešnosti napovedovanja števila doseženih
zadetkov je podana s srednjo kvadratično napako (ang.
Root Mean Square Error - RMSE) med napovedanim
in dejanskim številom zadetkov parov ekip (e, n) iz
testnega niza κE . Za primerjavo med različnimi nabori
podatkov, kjer lahko pride do večjih medsebojnih stati-
stičnih odstopanj, pa moramo uporabiti njeno normali-
zirano obliko (NRMSE) [15]:
RMSE =
√∑
κE
(gen − ĝen)2
NκE
, (5)
NRMSE =
RMSE
ḡ
. (6)
Uspešnost napovedi razvrščanja izidov srečanj je pri-
kazana s pomočjo matrike pravilnih in napačnih razvr-
stitev (ang. Confusion Matrix). V našem primeru gre za
razvrščanje v tri razrede, kot je ponazorjeno z enačbo 3.
V matriki (glej tabelo 1) so s strešico (npr. ˆ(1)) označeni
napovedani razredi, brez strešice pa dejanski (doseženi)
razredi. Vrednosti pij pomenijo deleže izidov, ki smo jih
razvrstili v i-ti razred, dejansko pa spadajo v j-ti razred.
Na podlagi matrike pravilnih in napačnih razvrstitev
je izpeljana cela vrsta mer uspešnosti razvrščevalnika, ki
so pogosto odvisne od področja uporabe. Smiselno je, da
uporabimo tiste mere, ki jih je za dani primer preprosto
interpretirati [16]. Najpogosteje se uporabljajo mere:
skupna uspešnost razvrščanja (ang. Overall Success Rate
- OSR), natančnost (ang. Precission) in priklic (ang.
Recall). Uspešnost razvrščanja, ki poda odstotek pra-
vilno napovedanih izidov, izračunamo kot delež pravilno
napovedanih izidov:
OSR = p11 + p22 + p33. (7)
Za natančnejši vpogled v učinkovitost razvrščevalnika
se uporabljata še natančnost in priklic, ki ovrednotita
uspešnost razvrščanja v posamične razrede. Natančnost
pove, koliko izidov izbranega tipa smo napovedali pra-
vilno, priklic pa pove, koliko izidov, razvrščenih v
izbrani razred, je bilo napovedanih pravilno:
Pi =
pii
pi1 + pi2 + pi3
,Ri =
pii
p1i + p2i + p3i
. (8)
(1) (0) (2)
ˆ(1) p11 p12 p13
ˆ(0) p21 p22 p23
ˆ(2) p31 p32 p33
Tabela 1: Matrika pravilnih in napačnih razvrstitev
Tovrstne splošne ocene uspešnosti imajo nekaj težav,
in sicer kažejo le na uspešnost razvrščanja pri izbranih
pogojih (naučenih odločitvenih pragih) in so občutljive
na neuravnoteženost razredov (ang. Class Skew) [11]
[13]. Fawcett [11] zato predlaga uporabo krivulj ROC
(ang. Receiver Operating Characteristics), ki prikazuje
razmerje med dvema parametroma: deležem pravilnih
razvrstitev v izbrani razred (ang. True Positive Rate) in
deležem napačnih razvrstitev v izbrani razred (ang. False
Positive Rate). Kot mero kakovosti razvrščevalnika pa
isti avtor predlaga površino pod krivuljo ROC - AUC
(ang. Area Under Curve). Za naključno razvrščanje, ki
ga kaže diagonala v diagramu ROC tako velja, da je
AUC = 0, 5.
Ker pri Bayesovem naivnem razvrščevalniku upo-
rabljamo navzkrižno pregibanje nabora podatkov z
osmimi cikli (8-folding), kot rezultat dobimo 8 krivulj
ROC, ki jih, kot je predlagano v [13], predstavimo
s povprečno krivuljo in intervalom zaupanja, kakovost
razvrščevalnika pa z AUC povprečne krivulje.
Krivulje ROC so v osnovi namenjene analizi
razvrščanja v dva razreda, primer v prispevku pa upo-
rablja tri razrede. Namesto krivulje bi tako morali upo-
rabiti šestrazsežnostni politop ter s tem bolj zapletene
postopke analize [11]. Preprostejša možnost je prikaz s
tremi osnovnimi krivuljami ROC, po eno za vsak razred
64 DOBRAVEC
(kjer ’pozitivnega’ pomeni izbrani razred, ’negativnega’
pa preostala dva). Pri tem zato dobimo tri vrednosti
AUC, za skupno oceno pa uporabimo, kot predlaga [14],
uteženo povprečje:
AUC =
∑
ci∈C
AUC(ci) ∗ w(ci), (9)
kjer so uteži w(ci) deleži vzorcev v razredih ci.
3 POSKUS
Potek poskusa je ponazorjen na sliki 1. Rezultate že
odigranih srečanj (i, j, gij), shranjene v lokalni podat-
kovni zbirki, smo uporabili v učni fazi, katere rezultat
so parametri modela za napoved rezultatov naslednjega
kroga srečanj (qn, pe, µ, be, bn). Pare naslednjega kroga
smo pridobili z uradne spletne strani, prav tako tudi
rezultate po odigranem krogu. Ti so testna množica
podatkov, na podlagi katerih je bilo opravljeno ovre-
dnotenje napovedanih rezultatov, kot je to opisano v
prejšnjem poglavju. Izide odigranih tekem smo nato
dodali v lokalno podatkovno zbirko in ga uporabili v
naslednji učni fazi.
Učna faza in faza ovrednotenja sta se ponovili po
vsakem odigranem krogu. V začetnem stanju (pred
začetkom prvenstva) so bili v učni fazi uporabljeni izidi
pripravljalnih tekem sodelujočih ekip.
4 REZULTATI
Uspešnost napovedovanja števila doseženih zadetkov
smo ugotavljali po vsakem odigranem krogu. Pri
izračunu uspešnosti po določenem krogu so upoštevane
���������
��
��
�
���
���
���
�����
��
��
�	����
��
��
������
���
���������
���������
���
��� !�!�
"
#$
�����
��
�
�
��
�
�
���
�
��
�
���
����
�
�
�
����Ĝ
�
�Ĝ
�
�����̂
��
�����
��
Slika 1: Izvedba poskusa
(1) (0) (2) P
ˆ(1) 0.219 0.188 0.109 0.424
ˆ(0) 0.078 0.047 0.078 0.230
ˆ(2) 0.078 0.031 0.172 0.611
R 0.583 0.176 0.478 OSR= 0.438
Tabela 2: Matrika pravilnih in napačnih razvrstitev pri
razvrščanju z zaokroževanjem
napovedi in izidi vseh do tedaj odigranih srečanj. Ugo-
tovitve so povzete na sliki 2.
Uspešnost napovedovanja izidov z uporabo
razvrščanja z zaokroževanjem (glej enačbo 4) je
prikazana v tabeli 2. Izračun je narejen po končanem
prvenstvu, torej ob upoštevanju napovedi in izidov vseh
srečanj.
Uspešnost Bayesovega razvrščevalnika je prikazana
v tabeli 3. Opazno je občutno izboljšanje natančnosti
(P) razvrščanja za razred (0), priklica (R) za razred (2)
ter posledično uspešnosti razvrščanja (OSR). Na sliki
3 so prikazane krivulje ROC za vsak razred posebej,
kjer je senčen 95-odstotni interval zaupanja. Najslabše
se obnese napovedovanje v razred (1), kjer je do-
bljena krivulja tudi najbliže diagonali, ki kaže naključno
razvrščanje.
Za dani primer je bila ugotovljena naslednja poraz-
delitev razredov: p(1) = 0, 375, p(0) = 0, 266, p(2) =
0, 359. Po enačbi 9 tako dobimo za Bayesov
razvrščevalnik
AUC = 0, 677.
5 SKLEP
Opisana metoda temelji izključno na rezultatih (številu
doseženih zadetkov) že odigranih srečanj, torej brez
dodatnih statističnih podatkov in strokovnega znanja. To-
vrstna obravnava je še posebej primerna, ko statističnih
podatkov in/ali strokovnega znanja ni na voljo oziroma
ga ne znamo pravilno uporabiti.
Slika 2: Napaka pri napovedovanju števila doseženih zadetkov
NAPOVEDOVANJE IZIDOV SVETOVNEGA PRVENSTVA V NOGOMETU 65
Slika 3: Krivulje ROC za posamezne razrede Bayesovega razvrščevalnika
(1) (0) (2) P
ˆ(1) 0.234 0.219 0.109 0.417
ˆ(0) 0.031 0.031 0.016 0.400
ˆ(2) 0.109 0.016 0.234 0.652
R 0.625 0.118 0.652 OSR= 0.500
Tabela 3: Matrika pravilnih in napačnih razvrstitev pri Baye-
sovem razvrščevalniku
Pri napovedovanju števila doseženih zadetkov ni bilo
pričakovati visoke uspešnosti, saj samo število zadetkov
pri nogometu v večini primerov ni ključnega pomena,
pomembnejši je namreč izid. To še posebej velja v
srečanjih ’na izločanje’, kjer ima zmaga z minimalno
razliko (1:0) za moštvi popolnoma enake posledice kot
npr. visoka zmaga s 7:0, kar seveda občutno vpliva na
igralno taktiko.
Napovedovanje izidov s preprostim postopkom za-
okroževanja napovedanih vrednosti je iz že opisanih
razlogov relativno neuspešno. Podrobnejši vpogled v
matriko pravilnih in napačnih razvrstitev kaže na hude
težave pri napovedovanju neodločenih rezultatov. Z
razvrščanjem z uporabo Bayesovega razvrščevalnika se
to izboljša, prav tako se izboljša delež pravilno napove-
danih izidov (OSR).
Pomankljivost uporabljenega primera je v razmeroma
majhni učni množici. Zaradi stohastične narave nogome-
tne igre bi se namreč z večjo učno množico izboljšala
učinkovitost napovedovanja. Večjo učno množico bi
imeli na voljo, če bi podaljšali obdobje napovedovanja
(npr. na več let), vendar bi se pri tem soočili s časovno
komponento karakterizacije moštev.