Mallin hyperparametri on mallin ominaisuus, joka on mallin ulkoinen ja jonka arvoa ei voida arvioida datan perusteella. Hyperparametrin arvo on asetettava ennen oppimisprosessin aloittamista. Esimerkiksi c tukivektorikoneissa, k k-läheisimmissä naapureissa, piilokerrosten lukumäärä neuroverkoissa.
Hyperparametri sen sijaan on mallin sisäinen ominaisuus ja sen arvo voidaan arvioida datasta. Esimerkki, lineaarisen/logistisen regression beeta-kertoimet tai tukivektorit tukivektorikoneissa.
Grid-hakua käytetään etsimään mallin optimaalisia hyperparametreja, jotka johtavat ”tarkimpiin” ennusteisiin.
Katsotaan Grid-hakua rakentamalla luokittelumalli rintasyöpädatasetille.
Tuodaan tietokokonaisuus ja tarkastellaan 10 ensimmäistä riviä.
Tulos :
Kullakin tietokokonaisuuden rivillä on yksi kahdesta mahdollisesta luokasta: hyvänlaatuinen (edustaa 2) ja pahanlaatuinen (edustaa 4). Lisäksi tässä tietokokonaisuudessa on 10 attribuuttia (esitetty edellä), joita käytetään ennustamiseen, lukuun ottamatta näytekoodin numeroa, joka on id-numero.
Puhdista data ja nimeä luokka-arvot uudelleen 0/1:ksi mallin rakentamista varten (jossa 1 edustaa pahanlaatuista tapausta). Tarkkaillaan myös luokan jakaumaa.
Tulos :
Hyvinvointitapauksia on 444 kappaletta ja pahanlaatuisia 239 kappaletta.
Tulos :
Tulosteesta voidaan havaita, että testitietokannassa on 68 malignia ja 103 benignia tapausta. Luokittelijamme ennustaa kuitenkin kaikki tapaukset hyvänlaatuisiksi (koska se on enemmistöluokka).
Lasketaan tämän mallin arviointimittarit.2 %, mutta tämä on tapaus, jossa tarkkuus ei ehkä ole paras mittari mallin arviointiin. Tarkastellaan siis muita arviointimittareita.
Yllä oleva kuva on sekoitusmatriisi, johon on lisätty merkinnät ja värit paremman intuition aikaansaamiseksi (Koodi tämän luomiseen löytyy täältä). Yhteenvetona sekoitusmatriisi : TODELLISET POSITIIVISET (TP)= 0, TODELLISET NEGATIIVISET (TN)= 103, VÄÄRÄT POSITIIVISET (FP)= 0, VÄÄRÄT NEGATIIVISET (FN)= 68. Arviointimittareiden kaavat ovat seuraavat :
Koska malli ei luokittele yhtään pahanlaatuista tapausta oikein, recall- ja precision-mittarit ovat 0.
Nyt kun meillä on perustarkkuus, rakennetaan logistinen regressiomalli oletusparametreilla ja arvioidaan malli.
Tulos :
Sovittamalla logistisen regressiomallin oletusarvoisilla parametreilla saimme paljon ”paremman” mallin. Tarkkuus on 94,7 % ja samalla Precision on huikeat 98,3 %. Katsotaanpa nyt vielä kerran tämän mallin tulosten sekoitusmatriisia :
Väärin luokiteltuja tapauksia tarkasteltaessa voidaan havaita, että 8 pahanlaatuista tapausta on luokiteltu virheellisesti hyvänlaatuisiksi (väärät negatiiviset). Myös vain yksi hyvänlaatuinen tapaus on luokiteltu pahanlaatuiseksi (väärä positiivinen).
Väärä negatiivinen on vakavampi, koska sairaus on jätetty huomiotta, mikä voi johtaa potilaan kuolemaan. Samalla väärä positiivinen johtaisi tarpeettomaan hoitoon – mikä aiheuttaisi lisäkustannuksia.
Yritetään minimoida väärät negatiiviset tulokset käyttämällä Grid Searchia optimaalisten parametrien löytämiseksi. Grid-hakua voidaan käyttää minkä tahansa tietyn arviointimittarin parantamiseen.
Mittari, johon meidän on keskityttävä väärien negatiivisten tulosten vähentämiseksi, on Recall.
Rastihaku Recallin maksimoimiseksi
Tulos :
Rangaistus: l1 tai l2, jonka laji on rangaistuksessa käytetty normi.
Myös Grid-search-funktiossa on scoring-parametri, jossa voimme määritellä metriikan, jolla mallia arvioidaan (Me valitsimme metriikaksi recall). Alla olevasta sekaannusmatriisista näemme, että väärien negatiivisten tulosten määrä on vähentynyt, mutta se tapahtuu kuitenkin väärien positiivisten tulosten lisääntymisen kustannuksella. Ruutuhakujen jälkeinen recall on hypännyt 88,2 %:sta 91,1 %:iin, kun taas precision on laskenut 98,3 %:sta 87,3 %:iin.
Mallia voidaan edelleen virittää niin, että se löytää tasapainon precisionn ja recallin välille, kun arviointimittarina käytetään arviota ’f1’. Tutustu tähän artikkeliin, jos haluat ymmärtää arviointimittareita paremmin.
Grid-haku rakentaa mallin jokaiselle määritettyjen hyperparametrien yhdistelmälle ja arvioi jokaisen mallin. Tehokkaampi tekniikka hyperparametrien virittämiseen on satunnaishaku – jossa käytetään satunnaisia hyperparametrien yhdistelmiä parhaan ratkaisun löytämiseksi.
Leave a Reply