Grid Search for model tuning
En modelhyperparameter er en egenskab ved en model, der er ekstern for modellen, og hvis værdi ikke kan estimeres ud fra data. Værdien af hyperparameteren skal fastsættes, før indlæringsprocessen begynder. F.eks. c i Support Vector Machines, k i k-Nærmeste Naboer, antallet af skjulte lag i neurale netværk.
I modsætning hertil er en parameter en intern egenskab ved modellen, og dens værdi kan estimeres ud fra data. Eksempelvis betakoefficienter i lineær/logistisk regression eller støttevektorer i Support Vector Machines.
Grid-søgning bruges til at finde de optimale hyperparametre for en model, som resulterer i de mest “præcise” forudsigelser.
Lad os se på Grid-Search ved at opbygge en klassifikationsmodel på datasættet for brystkræft.
Importér datasættet, og se de 10 øverste rækker.
Output :
Hver række i datasættetet har en af to mulige klasser: benign (repræsenteret ved 2) og malign (repræsenteret ved 4). Der er også 10 attributter i dette datasæt (vist ovenfor), som vil blive brugt til forudsigelse, undtagen prøvekodenummer, som er id-nummeret.
Rens dataene og omdøb klasseværdierne til 0/1 med henblik på modelopbygning (hvor 1 repræsenterer et malignt tilfælde). Lad os også observere fordelingen af klassen.
Output :
Der er 444 godartede og 239 ondartede tilfælde.
Output :
Fra outputtet kan vi observere, at der er 68 maligne og 103 godartede tilfælde i testdatasættet. Vores klassifikator forudsiger imidlertid alle tilfælde som godartede (da det er majoritetsklassen).
Beregne evalueringsmetrikken for denne model.
Output :
Genøjagtigheden af modellen er 60.2 %, men dette er et tilfælde, hvor nøjagtighed måske ikke er den bedste måleenhed til at evaluere modellen. Så lad os se på de andre evalueringsmetrikker.
Overstående figur er forvirringsmatrixen, med etiketter og farver tilføjet for bedre intuition (kode til at generere denne kan findes her). For at opsummere forvirringsmatrixen : TRUE POSITIVES (TP)= 0,TRUE NEGATIVES (TN)= 103,FALSE POSITIVES (FP)= 0, FALSE NEGATIVES (FN)= 68. Formlerne for evalueringsmetrikkerne er som følger :
Da modellen ikke klassificerer noget malignt tilfælde korrekt, er recall og precision metrikkerne 0.
Nu, hvor vi har den grundlæggende nøjagtighed, kan vi opbygge en logistisk regressionsmodel med standardparametre og evaluere modellen.
Output :
Ved at tilpasse den logistiske regressionsmodel med standardparametrene har vi en meget “bedre” model. Nøjagtigheden er 94,7 %, og samtidig er præcisionen svimlende 98,3 %. Lad os nu tage et kig på forvirringsmatrixen igen for denne models resultater igen :
Kigger vi på de fejlklassificerede tilfælde, kan vi konstatere, at 8 maligne tilfælde fejlagtigt er blevet klassificeret som godartede (False negatives). Desuden er kun ét benignt tilfælde blevet klassificeret som malignt (Falsk positiv).
Et falsk negativt tilfælde er mere alvorligt, da en sygdom er blevet ignoreret, hvilket kan føre til patientens død. Samtidig vil et falsk positivt resultat føre til en unødvendig behandling – hvilket medfører ekstra omkostninger.
Lad os forsøge at minimere de falsk negative resultater ved at bruge Grid Search til at finde de optimale parametre. Grid Search kan bruges til at forbedre enhver specifik evalueringsmetrik.
Den metrik, vi skal fokusere på for at reducere falsk negative resultater, er Recall.
Grid Search for at maksimere Recall
Output :
De hyperparametre vi indstillede er:
- Straf: l1 eller l2, som er den norm, der anvendes i straffesystemet.
- C: Invers af reguleringens styrke- mindre værdier af C angiver stærkere regulering.
I Grid-search funktionen har vi også scoring parameteren, hvor vi kan angive den metrik, som modellen skal evalueres på (Vi har valgt recall som metrik). Af nedenstående forvirringsmatrix kan vi se, at antallet af falske negative svar er reduceret, men det er dog på bekostning af flere falske positive svar. Recall efter grid search er sprunget fra 88,2 % til 91,1 %, mens præcisionen er faldet til 87,3 % fra 98,3 %.
Du kan yderligere indstille modellen til at finde en balance mellem præcision og recall ved at bruge “f1”-score som evalueringsmetrikken. Se denne artikel for at få en bedre forståelse af evalueringsmetrikken.
Grid search opbygger en model for hver kombination af de angivne hyperparametre og evaluerer hver model. En mere effektiv teknik til justering af hyperparametre er den randomiserede søgning – hvor tilfældige kombinationer af hyperparametre anvendes til at finde den bedste løsning.
Leave a Reply