Foundation model

Il termine è stato coniato nel 2021 da un gruppo di ricercatori dell’Università di Stanford nel report “On the Opportunities and Risks of Foundation Models”. Perché un sistema di intelligenza artificiale possa essere definito un foundation model (modello di base o large pre-trained model, ossia modello pre-addestrato di grandi dimensioni), questo deve avere tre caratteristiche:

1) avere una grandissima capacità (moltissimi parametri);

2) essere pre-addestrato su una grandissima mole di dati non etichettati (unsupervised data);

3) essere adattabile a seconda del compito che gli si attribuisce (fine-tuning per uno specifico downstream task).