никто из лаб ещё не научился делать реально хорошие модели, которые одинаково эффективно держат контекст на протяжении всего 1M токенов.
другими словами - предположим, если ваше контекстное окно на 1M токенов заполнено на 800-900к, то LLM будет работать сильно менее эффективнее, чем оно было бы заполнено на 100к-200к токенов: галлюцинации, ошибки, спотыкания и т. д.
разрабы OpenAI это понимают и поэтому не торопятся завозить поддержку 1M контекста в codex.
плюс, чат с заполненным контекстом на 800k токенов будет стоить вам в 8 раз дороже чем чат на 1k токенов.
при этом, у Codex на сегодняшний день лучший compaction на рынке.
в 99% случаев агент не теряет деталей после compaction и продолжает работать так же эффективно как и до.
таким образом, у codex получается бесконечное контекстное окно
лайк, репост
