Come posso interpretare la differenza tra la convalida e l'accuratezza del test?


Risposta 1:

Per la precisione A, penso che il tuo modello funzioni bene. Presumo che tu abbia usato i dati di validazione per addestrare il modello A e testare i dati per valutarlo. Poiché l'accuratezza della convalida e l'accuratezza del test sono entrambe elevate, si può dire che il modello è stato addestrato nel modo giusto. Tuttavia, ho due preoccupazioni.

  1. Se hai bisogno di un modello con una maggiore precisione, devi perfezionare gli iperparametri per migliorare. L'apprendimento supervisionato non riguarda solo l'accuratezza. Se si tratta di due classificazioni binarie, dovresti mettere l'area ROC sotto la curva per vedere se ha problemi a classificare i falsi positivi. Se si hanno alti falsi positivi, il modello è inutile.

Per B, penso che sia troppo adatto. Un overfitting significa che il tuo modello funziona bene solo su dati di training e validazione e non per dati di test o nuovi dati sconosciuti. Vuoi sicuramente un modello più generalizzato. Devi scoprire perché è troppo equipaggiato. È inoltre necessario valutare anche l'area ROC in curva.

http: //gim.unmc.edu/dxtests/roc3 ...

Overfitting e underfitting con algoritmi di Machine Learning - Machine Learning Mastery