У больших окон есть две ловушки: (1) цена — чем больше окно реально используется, тем дороже и медленнее запрос; (2) «потерянная середина» — внимание модели распределяется неравномерно, а контекстное окно ≠ способность одинаково хорошо использовать всю длину. Например, 1M контекст не гарантирует равномерного качества (retrieval) по всему диапазону.


Leave A Comment