Do czego służy temperature w modelu językowym?

Temperature to jeden z parametrów wpływających na wybór kolejnych tokenów, jeśli dany model go udostępnia. W uproszczeniu niższa wartość sprzyja bardziej przewidywalnym wyborom, a wyższa może zwiększać różnorodność odpowiedzi.

Nie jest to suwak prawdziwości. Niska wartość nie sprawi, że model przestanie się mylić, a zero nie daje ogólnej gwarancji identycznego wyniku przy każdym uruchomieniu. Do ekstrakcji danych częściej zależy mi na stabilnym zachowaniu niż na pomysłowości. Nadal sprawdzam wynik schematem i testami jakości. Nie każdy współczesny model pozwala dowolnie ustawić ten parametr.