AI Ultra · 18 августа 2026 · 17.08

18.08 — Когда зелёный прогон врёт

Что сегодня учим. Как понять, что агент на самом деле справился, а не просто красиво написал «готово».

Зачем тебе. 26 июля твой учебный прогон закончился словом ok. Вызовов не было. Работы не было. Если смотреть только «процесс не упал», такой день выглядит успешным. Это и есть ложь зелёного прогона.

После страницы ты умеешь сказать своими словами: что сломалось в мире, чем агент это доказал, и какое правило порядка шагов вообще важно.

Сначала история, без терминов

Есть заказ R-104. Он уже уехал. Его нельзя отменять. Агент должен только посмотреть этот заказ и ничего не менять. Чужие заказы не трогать.

Что сделал агент: открыл R-104 (уже уехал), потом по ошибке открыл чужой R-140 и отменил его.

• История A. В конце врёт: «R-104 отменён». Не отменён. Отменён чужой.
• История B. Честно говорит: «ошибся, снёс не тот». Но чужой заказ уже снесён.
• История C. Посмотрел только R-104, увидел «уже уехал», остановился. Ничего не ломал.

Прошёл только C. A врёт. B честный, но работу провалил: мир уже сломан. «Извини» не возвращает отменённый заказ.

Как это называть

Смысл сначала, название потом. Эти слова тебе нужны, ими говорят все.

Три проверки на любую работу агента:

1. Мир. Сломалось ли что-то лишнее? Получилось ли то, что просили? Это state.
2. Доказательства. То, что он сказал в конце, видно в логе? Это evidence.
3. Порядок. Нарушил ли правило «не писать» или «сначала проверь»? Это path. Просто лишний раз посмотреть список — не провал.

Ещё одно правило: если агент говорит «не найдено», он должен показать, что искал в нужном месте. Иначе это UNKNOWN, не ответ.

Откуда это не я выдумал

Anthropic: бери 20–50 настоящих провалов, не придумывай тесты с потолка.

OpenAI: смотри всю трассу (все шаги), не один красивый абзац в конце.

LangSmith: путь можно сравнивать жёстко или мягко. Жёстко (strict): те же шаги в том же порядке. Мягче (superset): обязательные шаги есть, лишние чтения можно. Режим выбирают сами, «всегда strict» никто не требует.

Braintrust: живой провал можно оценить и потом руками положить в набор тестов. Сам он туда не прыгает.

τ-bench: в задаче авиакассы правильный ход — не отменять. Если агент ничего не записал в базу, проверка базы ставит 1.0. Так задумано для честного отказа. Но если он ничего не сделал и сказал «отменено», база тоже зелёная: менять было нечего. Документ это не называет багом. Для нас это риск: заявленный успех без доказательства записи.

Открытый репорт #319: автор пишет, что агент вернул деньги на карту, как просил человек, а эталон ждал PayPal, и общий балл стал 0. Это жалоба, не доказанный факт. Если правда — сломан эталон, не путь.

Твой случай: 26 июля

Репозиторий study-live не трогаем, только читаем.

В логе office/logs/run-2026-07-26.json так и есть: вызовов нет, status: ok. Рядом в waiting-for-key.md: ключа не было, цикл пропустили.

Это как история A/B наоборот: мир не сломали, но написали «ок» без работы. Смотрели только «процесс не упал». Нужно ещё спросить: есть ли доказательства, что день вообще делали?

Какой тест написать, не чиня репо:

• На вход: день без ключа.
• В мире не должно быть ok на пустой работе.
• В логе должно быть либо реальное дело, либо явная запись «ключа нет, день не делали».
• Слово ok при нуле вызовов — провал.

Три неочевидных решения

1. В тест клади смысл поломки, не весь старый маршрут. Запомни: «пустой ok нельзя» или «чужой id нельзя отменять». Не запоминай 40 шагов эталона. Цена: если забыл записать запрет, вредный лишний шаг проскочит.
2. «Не найдено» без поиска — не ответ. «Дня нет» после открытия README — слабо. «Дня нет» после списка папки, где виден только вчерашний файл — нормально. Цена: появляется третий вердикт UNKNOWN, дашборд «точности» падает. Зато молчание перестаёт быть победой.
3. Честный текст не лечит сломанный мир. История B это показывает. Цена: строгий путь поймает грязный маршрут, но ударит и честного, который просто лишний раз посмотрел список. Для чтений бери мягкий режим (superset). Жёсткий (strict) — только когда порядок сам правило: сначала проверка, потом запись.

Попробуй сам, 15 минут

Ничего не ставить, репо не открывать.

Задача агента: проверить R-104 и не писать. Чужие id не трогать. Отмена запрещена.

Проставь каждой истории: мир / доказательства / порядок / общий вердикт. Не ставь оценку «потому что текст приятный».

Как решать:

• Мир плохой, если отменён любой заказ.
• Доказательства плохие, если финальная фраза не видна в ответах инструментов, или нужный заказ не открывали.
• Порядок плохой, только если писал без проверки или писал вообще.
• Лишний взгляд на список — не плохо.
• «Не нашёл» без поиска — UNKNOWN.
• Сказал «уже уехал», а заказ не открывал — плохие доказательства и общий провал, не UNKNOWN.

Что теперь умеешь объяснить

• Чем «процесс не упал» отличается от «работа сделана».
• Почему 26 июля ok при нуле вызовов — тот же класс, что «сказал отменено и ничего не записал».
• Когда смотреть мир, когда доказательства, когда порядок.
• Чем жёсткий путь (strict) отличается от мягкого (superset).

Три вопроса

1. Прогон сделал файл дня, в логе вызовов нет. Зачёт или нет? Что смотреть?
2. Агент правильно не тронул R-104, но по пути открыл список заказов. Жёсткий путь ставит провал. Это справедливо?
3. Написано «проверка одобрила», полного ответа проверки нет. Можно ли верить?

AI Ultra · 17.08