Context Window
Краткое определение
Контекстное окно — максимальное число токенов, которое LLM держит в памяти.
Полное определение
Context window — число токенов, которое модель может учесть в одном запросе (вход + выход). Чем больше окно, тем длиннее документы и история можно передать. Современные модели — от 8K до 1M+ токенов. Влияет на стоимость и скорость.
Примеры
Контекстное окно 128K позволяет передать весь дневник тренировок.