AI Ultra · 20 августа 2026

Почему «больше контекста» ухудшает ответ

После этой страницы ты на одном выдуманном вечере берёшь запрос, который ещё влезает в окно, вычеркиваешь три лишних куска, которые портят ответ, и пишешь «нельзя: совать X, даже если место есть».

Зачем это сейчас

Вечер в библиотеке «Северный зал». Вопрос ещё влезает в окно: можно ли сдать книгу с пометкой «только читальный зал» в Северном зале в воскресенье после 19:00.

В тот же вызов сыплют 60 страниц устава, 180 тикетов за месяц и часы других филиалов — «место же есть». Ответ становится «да, до 21:00». Это тикет Южного зала по будням.

Текст никуда не выпал. Роль никого не перебила. Лишнее всё ещё в вызове и портит ответ.

Эта страница не повторяет окно, роли, файл успеха, маршрут и вкус.

Как это устроено

Три отдельные механики. Их нельзя склеить в одно правило.

Первая — позиция в списке. Лю и коллеги, «Lost in the Middle», версия v3 от 20 ноября 2023. На GPT-3.5-Turbo и 20 документах: 75,8%, когда ответ в начале, и 53,8%, когда в середине. Середина хуже закрытой книги без документов: 56,1% [1]. Цифры — их стенд, не зал.

Когда золотой документ в середине списка, точность на их стенде ниже, чем когда он в начале [1]. Это про позицию нужного документа, не про запрет длины.

Вторая — та же задача, больше токенов. Леви, Джейкоби и Голдберг, «Same Task, More Tokens», v2 от 10 июля 2024. На FLenQA около 3000 токенов среднее падает 0,92→0,68 [6]. Та же задача. Больше подкладки. Хуже.

Ду и коллеги, 6 октября 2025: даже при идеальном поиске (perfect retrieval) падение 13,9%–85%. Llama-3.1-8B-Instruct на MMLU −24,2% при 30k токенах, при этом достаёт 970/1000 точных совпадений. Карточка модели заявляет 128K [8]. Это не «окно переполнилось». Вызов ещё влезает. Лишние токены той же работы всё равно бьют.

Третья — заявляемое окно (claimed window) против рабочей длины (usable). RULER, v3 от 6 августа 2024: почти все модели падают с длиной. GPT-4 на 13 задачах: 96,6% при 4K → 81,2% при 128K [2]. Их стенд.

Chroma, «Context Rot», 14 июля 2025. LongMemEval, 306 промптов: узкий ввод ≈300 токенов против полного ≈113 000. Все 18 моделей деградируют с длиной [5]. Их стенд.

NoLiMa, 7 февраля 2025: без буквального совпадения (literal match) GPT-4o 99,3% → 69,7% на 32K. Probe на той версии читал: 10 из 12 моделей ниже 50% короткого базиса. v3 от 9 июля 2025: 11 моделей ниже 50% короткого базиса [7]. Две даты, два счёта. Не склеивать.

Карточка может писать 128K или 1M. Рабочая длина для иглы без буквального совпадения короче. Это про заявляемое против рабочего, не про запрет длины.

Anthropic Applied AI 29 сентября 2025 называет порчу контекста (context rot): с ростом числа токенов способность точно достать из окна падает; контекст — конечный ресурс с убывающей отдачей [3]. Живая дока окон, чтение 20.08.2026, даты на странице нет: «more context isn't automatically better» [4]. Здесь только имя явления. Не стек и не вытеснение.

У OpenAI и Google в этой полке первичного «больше контекста хуже» нет.

Сначала вычеркни три куска, которые портят этот запрос. Место в окне — не разрешение класть всё. нельзя: совать в этот запрос устав, чужие тикеты и чужие филиалы только потому что место есть.

На стол справочной не сыплют устав и чужие тикеты, даже если стол большой. Кассир схватит ближнее «до 21:00».

Как это садится на твою работу

Репозиторий не открываем.

Тот же вечер. Северный зал. Воскресенье после 19:00. Книга читального зала.

Три вычерка на этом запросе. Тикеты за месяц — среди них Южный зал по будням до 21:00. Устав целиком, 60 страниц: нужная строка тонет в середине. Акция месяца и часы трёх других филиалов «на всякий случай».

Проверка на провал. Если в воскресный вопрос Северного зала всё ещё едет месячная куча «потому что влезает» — правила нет, есть привычка.

Кто так уже делает

Лю и коллеги. Позиция в списке из 20 документов: 75,8% в начале, 53,8% в середине, закрытая книга 56,1% [1]. Их многодокументный стенд. Не стол справочной.

Chroma, 14 июля 2025. 18 моделей. LongMemEval: 306 промптов, узкий ≈300 против полного ≈113 000. Все 18 деградируют с длиной [5]. Их разговорный стенд. Не зал.

NoLiMa. Без буквального совпадения GPT-4o 99,3% → 69,7% на 32K. 7 февраля 2025: 10 из 12 ниже 50% короткого базиса. v3, 9 июля 2025: 11 моделей ниже 50% [7]. Их игла без лексики. Не тикеты филиала.

Леви и коллеги. Та же задача, больше токенов: 0,92→0,68 около 3000 [6]. FLenQA. Не устав на столе.

Цифры остаются на их стендах. У OpenAI и Google в этой полке первичного «больше контекста хуже» нет.

Неочевидные решения

Вычеркни похожие, но чужие тикеты другого филиала, даже если «могут помочь». Цена: выбрасываешь текст, который выглядит полезным. нельзя: оставлять Южный зал в воскресном вопросе Северного «на всякий случай».

Не держи нужную строку в середине 60 страниц. Цена: надо вытащить одну строку, а не класть весь устав «на всякий случай». нельзя: оставлять нужное в середине кучи, потому что «оно же внутри».

«Место есть» — не причина класть ещё три филиала. Цена: более короткий вызов и написанное нельзя. Правило на этот запрос, не общий запрет длины. нельзя: совать чужие филиалы в этот запрос, даже если место есть.

Практика, 15 минут

Сцена. Один вечер справочной городской библиотеки «Северный зал». Запрос ещё влезает в окно:

«Можно ли сдать книгу с пометкой “только читальный зал” в Северном зале в воскресенье после 19:00?»

Рядом в тот же вызов уже положили кучу текста. Место в окне ещё есть.

Вычеркни три лишних куска, которые ответ ухудшают. Потом одна строка нельзя.

запрос (влезает): …
вычеркнуть 1: …
вычеркнуть 2: …
вычеркнуть 3: …
нельзя: совать X, даже если место есть

Сверка (не единственный правильный текст, но такой проходит):

запрос (влезает): сдать книгу читального зала в Северном зале в воскресенье после 19:00
вычеркнуть 1: 180 тикетов за месяц — там Южный зал по будням до 21:00
вычеркнуть 2: устав целиком, 60 страниц
вычеркнуть 3: акция месяца и часы трёх других филиалов «на всякий случай»
нельзя: совать устав, чужие тикеты и чужие филиалы, даже если место есть

Сдал, если три вычерка конкретные (не «лишнее», не «контекст») и есть строка «нельзя: совать …, даже если место есть».

Не сдан, если написал «вылетит первым», разобрал роли system/user/tool, написал «главное — контекст», или снова «положи правило в файл».

нельзя: открывать и менять репозиторий.

Три вопроса

  1. Запрос ещё влезает. Три лишних куска оставили. Ответ — про Южный зал до 21:00. Это потому что нужная строка вылетела из окна?
  2. Вычеркнули тикеты. Устав и акция месяца остались. Что в ответе скорее всплывёт, и какой вычерк ещё не сделан?
  3. Человек говорит: «добавь ещё три филиала, место есть». Что пишешь в строке нельзя?
Ответы
  1. Нет. Запрос ещё влезает. Модель схватила похожий кусок другого зала. Это не окно и не роли.
  2. Края устава: общие часы «до 21:00» или акция в конце. Ещё не вычеркнуты устав целиком и акция / чужие филиалы.
  3. нельзя: совать чужие филиалы, даже если место есть

Источники

[1] Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Liang. Lost in the Middle: How Language Models Use Long Contexts. arXiv 2307.03172v3. 20 ноября 2023. https://arxiv.org/abs/2307.03172
Что взяли: позиция важна. На GPT-3.5-Turbo и 20 документах 75,8% в начале против 53,8% в середине; середина хуже закрытой книги 56,1%. Trade-off: больше текста может помочь задаче и одновременно увеличить объём, который надо разобрать. Не брали общий запрет на длинный ввод. Дата — v3, 20.11.2023, не первая выкладка 6.07.2023.

[2] Hsieh, Sun, Kriman, Acharya, Rekesh, Jia, Zhang, Ginsburg. RULER: What’s the Real Context Size of Your Long-Context Language Models? arXiv 2404.06654v3. 6 августа 2024. https://arxiv.org/abs/2404.06654
Что взяли: почти все модели падают с длиной. GPT-4 на 13 задачах 96,6% при 4K → 81,2% при 128K. Заявляемое окно против рабочей длины. Их стенд. Не брали стек окна и вытеснение.

[3] Anthropic Applied AI. Effective context engineering for AI agents. 29 сентября 2025. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
Что взяли: имя «context rot»; с ростом числа токенов способность точно достать из окна падает; контекст — конечный ресурс с убывающей отдачей. Не брали compaction, eviction, очистку результата инструмента — это страница окна.

[4] Anthropic. Context windows. Даты на странице нет. Чтение 20.08.2026. https://platform.claude.com/docs/en/build-with-claude/context-windows
Что взяли: «more context isn't automatically better». Порча контекста названа. Не брали стек, FIFO, ошибку 400 «prompt is too long» — страница окна.

[5] Hong, Troynikov, Huber / Chroma. Context Rot: How Increasing Input Tokens Impacts LLM Performance. 14 июля 2025. https://www.trychroma.com/research/context-rot
Что взяли: 18 моделей; длина — фактор. LongMemEval, 306 промптов: узкий ≈300 токенов против полного ≈113 000. Все 18 деградируют с длиной. Не брали общий запрет на длинный ввод.

[6] Levy, Jacoby, Goldberg. Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models. arXiv 2402.14848v2. 10 июля 2024. https://arxiv.org/abs/2402.14848
Что взяли: та же задача, больше токенов. На FLenQA около 3000 токенов среднее 0,92→0,68. Их стенд. Не склеивали с позицией и с заявляемым окном.

[7] Modarressi, Deilamsalehy, Dernoncourt, Bui, Rossi, Yoon, Schütze. NoLiMa: Long-Context Evaluation Beyond Literal Matching. arXiv 2502.05167. 7 февраля 2025; v3 9 июля 2025. https://arxiv.org/abs/2502.05167
Что взяли: без буквального совпадения GPT-4o 99,3% → 69,7% на 32K. 7.02.2025: 10 из 12 моделей ниже 50% короткого базиса. v3 9.07.2025: 11 моделей ниже 50% короткого базиса. Две даты, два счёта.

[8] Du, Tian, Ronanki, Rongali, Bodapati, Galstyan, Wells, Schwartz, Huerta, Peng. Context Length Alone Hurts LLM Performance Despite Perfect Retrieval. arXiv 2510.05381. 6 октября 2025. https://arxiv.org/abs/2510.05381
Что взяли: даже при идеальном поиске падение 13,9%–85%. Llama-3.1-8B-Instruct на MMLU −24,2% при 30k, достаёт 970/1000 точных совпадений. Карточка заявляет 128K. Их стенд. Не переносили на зал.

У OpenAI и Google в этой полке первичного «больше контекста хуже» нет. Дыра полки, не выдуманный источник.

Кто собрал

AI Ultra