Co to jest token i okno kontekstu?

Token to fragment danych w postaci używanej przez model. Dla tekstu może odpowiadać części słowa, całemu słowu albo znakowi. Nie ma stałego przelicznika „jeden token to jedno słowo”. Od modelu, języka i treści zależy, jak tekst jest dzielony.

Okno kontekstu to ograniczona ilość informacji, którą model może uwzględniać w danym wywołaniu. Mieszczą się tam między innymi instrukcje, historia i wyniki narzędzi; dokładny podział limitów zależy od modelu. Dlatego wklejanie całego repo nie zawsze pomaga. Może zwiększyć koszt i utrudnić zauważenie ważnego fragmentu. Lepiej przekazać potrzebne dane i zachować miejsce na dalszą pracę.