Algoritem nato lastno delovanje v realnem času nenehno spremlja in se izboljšuje (prilagoditev uteži za boljše rezultate). Učinkovitost delovanja v realnem času se pogosto razlikuje od izmerjene učinkovitosti v fazi preizkušanja (testiranja). Ker je eksperimentiranje z resničnimi uporabniki drago, zahteva veliko truda in pogosto s seboj prinaša določeno tveganje, algoritme praviloma preizkušajo na podlagi preteklih uporabniških podatkov, zaradi česar pa morda ni možno oceniti vpliva na vedenje uporabnikov. Zato je pomembno, da pred uporabo aplikacij strojnega učenja opravijo celovito ocena njihovega delovanja:
Podatki (ang. data) se v splošnem vedno nanašajo na določeno entiteto iz sveta okrog nas – na primer na osebo, predmet ali dogodek. Vsako entiteto lahko opišemo s številnimi atributi (lastnostmi, značilnostmi ali spremenljivkami). Na primer, ime, starost in ime so nekatere izmed lastnosti vsakega uporabnika. Celota teh lastnosti predstavlja podatke, ki jih imamo o uporabniku. Ti podatki sicer niti približno niso enaki entiteti kot takšni (uporabniku samemu), vendar nam o njej povedo vsaj nekaj.
Podatkovni niz (ang. data set) – tudi: nabor podatkov, sklop podatkov – vsebuje podatke o zbirki entitet, pri čemer so ti podatki razporejeni v vrstice in stolpce. Evidenca prisotnosti delavcev na delovnem mestu je primer podatkovnega niza. Vsaka vrstica vsebuje zapis o enem delavcu/delavki. Stolpci pa lahko, na primer, vsebujejo podatke o prisotnosti ali odsotnosti na določen dan v tednu. Vsak stolpec torej pomeni določen atribut.
Podatke ustvarimo z izbiro in merjenjem atributov; vsak podatek je rezultat človeških odločitev in izbir. Zato je ustvarjanje podatkov subjektiven, parcialen in neurejen proces, dovzeten za različne tehnične težave. Poleg tega ima lahko to, kar merimo in česar ne, bistven vpliv na pričakovane rezultate.
Podatkovne sledi (ang. data traces) se nanašajo na podatke, ki so ustvarjeni kot rezultat aktivnosti uporabnikov, na primer število klikov z miško, število odprtih strani, čas interakcij ali število pritiskov na tipkovnico. Metapodatki (ang. metadata) so podatki, ki opisujejo druge podatke. Izpeljani podatki (ang. derived data) so podatki, izračunani ali izpeljani iz drugih podatkov, na primer posamezen rezultat nekega učenca je podatek, povprečje celega razreda pa je izpeljan podatek. Pogosto so izpeljani podatki bolj uporabni pri raznih vpogledih, iskanju vzorcev in napovedovanju. Aplikacije za strojno učenje ustvarjajo izpeljane podatke in jih povežejo z metapodatkovnimi sledmi ter tako ustvarjajo poglobljene učne modele, ki pomagajo pri personalizaciji.