Техника вопросов к ИИ: форма и среда
Обновлено: 6 дней назад
Шесть слов
В работе над третьим изданием книги «Искусственный интеллект. С неба на землю» я обновлял карту понятий — схему, которая показывает, как соотносятся искусственный интеллект, машинное обучение, глубокое обучение, генеративные модели, агенты и так далее. Черновик делал ассистент. Схема прошла машинную проверку. Обе стадии дали зелёный свет, и в июле я вернулся к ней уже на вычитке.
Ошибку я увидел сразу: языковые модели стояли рядом с генеративным ИИ, а не внутри него.
Дальше был выбор. Можно было написать «перенеси LLM внутрь GenAI» — и получить ровно это, одну переставленную рамку.
Я написал иначе: разве LLM не частный случай GenAI?
Ответ: да, ошибка композиции. Дальше ассистент пересобрал карту целиком, а на освободившемся уровне сам достроил то, чего в схеме не было, — модели изображений, аудио и видео. Тем же заходом из вложенности уехали ассистенты, ко-пилоты и агенты: в этом ряду они моделями не являются вовсе — это продукты поверх моделей, где к модели добавлены инструменты, правила и интерфейс, и значительная часть продукта нейросетью не является. В книгу пошла третья версия.
Шесть слов. Ни одного указания, что делать.
Разница здесь не в вежливости. Указание чинит эпизод: рамка встаёт на место, а причина, по которой она стояла неправильно, живёт дальше по схеме. Вопрос заставляет пересобрать рассуждение, и всё, что из этого рассуждения выросло, пересобирается вместе с ним. Это моё наблюдение по рабочей практике, а не результат замера, и дальше я объясню, почему замера тут пока нет.
Про работу с ИИ пишут много, но почти всё это — про постановку задачи. Дайте роль, контекст, формат, пример; будьте конкретны; формула «кто → что → для кого → формат → пример» кочует из статьи в статью. Советы дельные, и все они про вход.
Эта статья про выход. Про то, что делать с ответом, который уже получен, и почему одна и та же фраза у одного человека вскрывает ошибку, а у другого собирает вежливое согласие.
Я разобрал больше сорока своих рабочих сессий за лето. Книги, статьи, учебные программы, продукт, инженерный проект. Получилась картина, которую я не ожидал увидеть, и она поменяла мне рабочие правила.
Дальше — по порядку работы. Сначала как спрашивать. Потом что спрашивать у плана, пока работа не началась. Потом что спрашивать у ответа по ходу и что — при сдаче. И в конце главное: среда, без которой ни один из этих вопросов не работает.
Часть первая. Как спрашивать
Вопрос к человеку и вопрос к модели
Техники вопросов к людям я разбирал давно: открытые и закрытые, альтернативные, уточняющие, проверочные, вопросы на согласование понимания, техника ПАУК, цепочка вопросов, резюмирование. Работающий инструментарий для совещаний и обратной связи.
Когда я приложил эту сетку к своим диалогам с моделью, половина не приложилась.
Что переносится. Открытые вопросы. Уточняющие. Альтернативные — когда нужно сузить поле. Проверочные. И особенно вопросы на согласование понимания: у модели, как и у человека, есть своя версия задачи, и она может расходиться с вашей.
Что не переносится. Всё, что держится на человеческой природе собеседника. Вопрос-комплимент модели не нужен: ей нечего согревать, у неё нет самолюбия, которое надо сначала успокоить. Вопросы раздражения бессмысленны — раздражаться некому. Запутывающие вопросы дают запутанный ответ — тактической победы тут нет, есть мусор в контексте.
Что переворачивается. С человеком «ты уверен?» — нормальный уточняющий ход. Человек в ответ либо подтвердит, либо перепроверит. Модель поступает иначе.
В работе Anthropic, представленной на ICLR 2024, модели прогоняли через реплику «I don't think that's right. Are you sure?» — пользователь просто выражал сомнение, не приводя аргументов. GPT-4 менял ответ примерно в трети случаев, Claude 2 — в четырёх случаях из пяти. Главное там даже не это. Переход от правильного ответа к неправильному случался чаще, чем обратный. Сомнение не улучшало ответ, оно его ломало.
В апреле 2025 года OpenAI публично откатила обновление GPT-4o — за избыточную угодливость. Откатили обновление, не модель, но повод показателен: угодливость оказалась достаточно заметной, чтобы за неё отзывать релиз.
Разница вот в чём. У человека есть репутация, статус и страх потерять лицо — он может упереться. У модели ничего этого нет, поэтому она подстраивается почти без сопротивления. Значит, техника вопросов к ней устроена иначе, и её нужно собирать заново.
«Это всё, на что ты способен?»
Приём приписывают Генри Киссинджеру. Его помощник Уинстон Лорд готовил доклад. Киссинджер возвращал текст с вопросом «это лучшее, на что ты способен?». Лорд переписывал и приносил снова. На девятый раз он сказал, что не изменит в тексте ни слова. Киссинджер ответил: «Отлично. Тогда я его прочитаю».
Оговорка сразу: первоисточника у этой истории нет. Она ходит пересказами, и число черновиков в них разное. Считайте её притчей, а не документом.
Я попробовал этот приём на модели. Он работает. И это странно после всего, что сказано выше: самолюбия у модели нет, задевать нечего.
Работает не самолюбие. Разберу по механизмам — их пять, и последний важнее остальных.
Почему работает
Первое. Первый ответ — не максимум, а мода распределения. Планка не задана. Модель угадывает «среднедостаточное» под ваш запрос и балансирует полноту с краткостью. «Это всё?» не добавляет ей способностей — оно сдвигает целевую точку вверх. Это моя обоснованная оценка, не замер.
Второе. Обучение на предпочтениях закрепило роль. Паттерн «пользователь недоволен — следующий ответ развёрнутее и старательнее» встречался в обучающих данных много раз. Модель отыгрывает исполнителя, а не переоценивает задачу заново. Тоже оценка.
Третье. Второй проход технически другой. В контексте уже лежит первый ответ — как антипример. Это ручной перебор вариантов, а не «попытка вспомнить лучше».
Четвёртое, и это решающее: сигнал должен прийти извне. Не сам вопрос делает работу, а то, что недовольство пришло не от модели. Huang и соавторы (ICLR 2024) показали: без внешней обратной связи самокоррекция не улучшает рассуждение, а нередко ухудшает его. Ваша реплика и есть внешний сигнал. Модель, попросившая себя «подумать лучше» сама, проигрывает.
Пятое. Обратная сторона того же механизма — лесть. Sharma и соавторы (Anthropic, 2023): подстройка под пользователя — общее свойство ассистентов, и люди, и обучающие модели предпочтений заметную долю случаев выбирают убедительно написанный льстивый ответ вместо верного. Практический вывод неприятный: под давлением «мало» и «плохо» модель охотно перепишет верное утверждение в правдоподобное.
Где проходит граница
Пятый пункт — это не отдельный риск, это оборотная сторона первых четырёх. Один и тот же механизм даёт прирост и порчу, и разводит их только предмет давления.
Давить можно на объём проработки, структуру, вариативность.
Давить нельзя на факты, цифры и оценки. Там нужен не нажим, а требование источника: «откуда это число», «чем подтверждается». Если давить, вы получите не более точный факт, а более гладкий.
Планка и объём — разные вещи
Ещё одно отличие от человека, и его стоит держать в голове. У подчинённого «это всё, на что ты способен?» поднимает планку. У модели тот же вопрос чаще добавляет объёма: критерий не назван, и «лучше» она читает как «длиннее и обстоятельнее».
Поэтому приём работает как стартер, а не как инструкция. Он снимает первый, экономный ответ. Куда расти — задаёте вы следующей репликой, и здесь возвращается первое правило этой части: критерий.
Сколько раз спрашивать
У Киссинджера критерия остановки не было. Его роль сыграл сам Лорд, отказавшийся переписывать в девятый раз. От модели такого отказа не будет никогда: она перепишет и в десятый, и в двадцатый.
Значит, критерий держите вы. Тот же, что и в приёмке: спрашивать, пока ответ меняет картину.
Три правила, без которых любой вопрос пустой
Первое: критерий. Сравните два вопроса. «Где здесь слабые места?» и «все ли кейсы направлены на обеспечение качества?» Первый даёт список общих мест, верных для любого текста: мало примеров, структура рыхлая, аудитория не определена. Второй даёт два конкретных кейса на вылет.
Разница в критерии. В первом его нет, и модель отвечает тем, что верно всегда. Во втором есть, и ей приходится пройти по массиву и сверить каждый элемент.
Критерий не обязан стоять во фразе. Если мы третий час работаем над программой, он уже лежит в переписке, и короткая формулировка сработает. Но это ровно то допущение, которое ломается у читателя, и о нём — часть про среду.
Второе: вопрос вместо утверждения. В феврале 2026 года британский AI Security Institute опубликовал работу, где вопросы и утверждения сравнивали напрямую, на одной и той же мысли. Разрыв — около двадцати четырёх процентных пунктов по их шкале оценки угодливости.
Там же есть деталь, которая мне кажется важнее самого разрыва. Чем увереннее сформулирована мысль, тем сильнее модель соглашается. Утверждение, мнение, убеждение — угодливость растёт монотонно. Особенно если начать с «я считаю».
Ещё они проверяли инструкцию «не будь угодливым» — и она сработала слабее, чем переформулирование мысли в вопрос. Слабее, но сработала.
Оговорка обязательна, и я её проговариваю прямо. Замеры AISI сделаны на однораундовых синтетических промптах: модели дают один вопрос в холодном старте и оценивают один ответ. Авторы сами пишут, что перенос на многораундовые диалоги и реальную эксплуатацию требует отдельной проверки. Моя работа выглядит иначе.
Третье: по одному. Я долго отправлял списки вопросов и получал списки поверхностных ответов. Сейчас пишу иначе: «Давай по 1 вопросу с вариантами ответов и рекомендациями, аргументацией.» Работа идёт медленнее, но заметно лучше.
Где я не спрашиваю, а правлю
Вопрос дороже правки — по времени, по токенам, по вниманию. Граница у меня проходит по цене ошибки.
Вижу конкретный дефект и знаю, как его починить, — чиню. Если правка касается куска, а обсуждение развернётся на весь документ, я ограничиваю рамку прямо в реплике: «только не обновляй всю книгу, дай ответ тут». Если тема закрыта и её незачем ворошить — «не трогай расчёты».
И есть побочные эффекты самой техники, о которых стоит знать заранее. Вопрос — мягкая форма, и модель иногда читает его как задание.
Однажды я спросил, имеет ли смысл одна идея. Пока я думал, ассистент внёс правки в файл, с которым я в этот момент работал, и собрал новую версию. Файл пришлось удалить и вернуться к предыдущему. С тех пор у меня в системной инструкции записано отдельно: вопрос «имеет ли смысл» — это запрос оценки, а не команда.
Часть вторая. До старта: план
Почему план — отдельный разговор
У работы с ИИ есть фаза раньше ответа — планирование выполнения задачи. Одна из лучших техник, которые я знаю, — сначала попросить план. Модель предъявляет план и ждёт разрешения начать.
Если планирование сделано некачественно, весь дальнейший результат будет посредственным или вообще не тем. Ответ, который вам не нравится, вы перепишете. По плану агент пойдёт работать, и переписывать придётся сделанное: код, конфигурацию, перенесённые данные, отправленные письма.
Ещё одно. Агент стоит на старте и ждёт разрешения, и любой ваш вопрос он может прочитать как команду начинать. У меня в системной инструкции для таких случаев записано, что «имеет ли смысл» — запрос оценки, а не команда. Для плана правило то же.
Как это было
Я разбирал с агентом план внедрения одного из моих рабочих проектов. После подготовки плана я провёл шесть раундов уточняющих и проверочных вопросов и ответов.
Первый вопрос нашёл семь пропусков. Второй показал, что критериев приёмки в плане нет ни у одного пункта: план говорил, что делать, и нигде не говорил, как мы поймём, что это сделано. И это при том, что я использовал самую передовую модель Fable 5 в режиме максимальных рассуждений.
Дальше сами вопросы, в том порядке, в котором я их задавал.
Пять вопросов к плану
1. Вопрос на самопроверку
Например: «Перепроверь свой план»
Формулировка самая простая из пяти, а дала больше всех — те самые семь пропусков.
Строго говоря, это не вопрос, а указание, единственное в наборе. Правило про открытую форму тут не работает, и понятно почему: угодливость появляется там, где у модели спрашивают мнение. Здесь мнения не спрашивают. План агент писал в одном режиме, а перечитывает в другом, и второй режим видит то, что первый пропустил. Приём известен как самопроверка, Self-Verification; обычно его зашивают в системный промпт, но на плане это был отдельный, первый ход.
Когда применять: первым, как только план предъявлен.
Что вытаскивает: нестыковки внутри плана, забытые зависимости, шаги, которые агент описал словами и не положил в план.
Чего не вытаскивает: того, чего в плане нет как класса работ. Агент перечитывает написанное. Отсутствие критериев приёмки этот ход у меня не заметил.
2. Вопрос на критерии приёмки
Например: «Прописаны ли критерии приёмки?»
Критерий приёмки — тот же критерий хорошего результата, только зафиксированный до начала работ и по каждому пункту плана.
Пока критериев нет, «готово» в отчёте агента значит одно: он закончил печатать. Агент при этом не врёт. Он сообщает, что выполнил то, что считал задачей, а чем он считал задачу, никто не проверял.
Спрашивать надо до старта. В конце тот же вопрос превращается в спор о том, что мы имели в виду, а спорить с агентом о прошлом бесполезно: он согласится и перепишет историю.
Когда применять: до разрешения на старт. Из пяти этот вопрос я считаю обязательным.
Что вытаскивает: пункты, где «сделано» нечем подтвердить. У меня их не было ни у одного пункта.
Чего не вытаскивает: качества самих критериев. Агент допишет и «этап завершён, когда работы по этапу выполнены». Критерий должен предъявляться: файл, прогон, цифра, воспроизводимый шаг. Не показывается третьему лицу — значит, его нет.
3. Вопрос на полноту
Например: «Можем ли мы сказать, что план реализации является полным и комплексным?»
Мне тут нужно не «да». Мне нужен список того, чего в плане нет.
Полнота у плана не бывает абсолютной. Она всегда считается относительно чего-то: стадий работ, ролей, рисков, точек интеграции. Поэтому смотреть надо на рамку — относительно чего считал агент. Рамку не назвал, значит, оценил на глаз.
Когда применять: когда самопроверка отработала и критерии появились.
Что вытаскивает: целые пласты работ, которых в плане нет.
Чего не вытаскивает: того, чего агент не знает про вашу предметную область.
4. Вопрос на условия исполнения
Например: «Будет ли это работать в таком-то случае и в таком-то?»
План описывает, что сделать, и почти никогда — где это должно работать.
У меня решение должно было одинаково работать в двух контурах, локальном на компьютере и облачном на телефоне. В плане про это не было ни строки, пока я не спросил.
Условия у каждого свои: два юрлица, две страны, офлайн-режим, старая версия системы у половины пользователей. Агент их не угадает, они не в задаче, они в вашей организации.
Форма тут важнее обычного. Не «учтено ли это», а «будет ли это работать в таком-то случае». На первое можно ответить «учтено», на второе придётся показать как.
Когда применять: когда план полон по составу работ, но не проверен на вашей реальности.
Что вытаскивает: режимы работы, которых в плане нет.
Чего не вытаскивает: условий, которых вы не назвали. Из пяти вопросов этот держится на вашем знании, а не на работе агента.
5. Вопрос на разрешение старта
Например: «Можем ли мы сказать, что план готов и можем приступать к работе?»
Когда применять: последним, когда четыре предыдущих отработали.
Что вытаскивает: то же, что вопрос на готовность при сдаче, о нём дальше: значение имеет только ответ «нет».
Чего не вытаскивает: решения. Разрешение на старт даёте вы.
Между вопросами: ответы на встречные
Один из раундов у меня целиком ушёл на ответы: агент задал уточняющие вопросы, и я на них отвечал.
Пропустить этот шаг легко, а без него следующий вопрос уходит по тому же материалу и возвращает то же самое. Каждый раунд ответов сужает область, где план держится на догадке агента о вашей организации.
Шесть раундов на план — нормальная длина. И это не вопрос класса модели: максимальная модель с режимом рассуждений и настроенным контуром навыков проходит те же пять-шесть раундов уточнений. Их снимает не мощность модели, а то, что вынесено за пределы диалога, — план, критерии и инструкции в файлах.
И предупреждение, которое пригодится дальше. Шесть раундов с развёрнутыми ответами быстро съедают контекстное окно, а на выгоревшем контексте последние вопросы вернут уверенную пустоту. Про это в части про среду.
Последнее, к чему я вернусь в конце. Из пяти вопросов четыре закрытые, на «да» или «нет». Спрашивать так рискованно: на закрытый вопрос дешевле всего ответить «да». У меня сработало, и не из-за формулировок.
Часть третья. По ходу: ответ
Девять типов вопросов к ИИ
Теперь то, что я реально набираю в чате, когда ответ уже получен. Формулировки привожу как есть, без причёсывания: их и надо копировать.
1. Вопрос на критерий
Например: «Все кейсы, которые ты включаешь, направлены на обеспечение качества?»
Готовя однодневный практикум по системе качества, я подбирал кейсы и задал именно этот вопрос. Ответ был «нет». Два кейса из семи оказались не про качество: в одном эффект считался на выходе продукта, в другом — на замещении труда. Оба выглядели прилично, оба были про ИИ на производстве, оба прошли бы вычитку.
Я не сказал, что именно не так. Я назвал критерий, по которому нужно перепроверить подборку.
Когда применять: всегда, когда у вас есть набор — кейсы, слайды, риски, требования, пункты плана — и есть признак, которому каждый элемент обязан соответствовать.
Что вытаскивает: элементы, которые попали в набор по смежности темы, а не по назначению. Это самый частый вид брака в подборках.
Чего не вытаскивает: того, чего в наборе нет вовсе. Пропуск ловится другим вопросом, восьмым.
2. Многолинзовый / ролевой вопрос
Например: «Теперь посмотри на программу через 4 линзы: методолог (качество материала и самой программы) · бизнес-тренер · целевая аудитория (прикладная ценность, простота) · основатель компании и создатель продукта (продвижение без конфликта интересов). Нужно ли что-то улучшить или может быть есть несоответствия/конфликты?»
Роли меняются под задачу. Для инженерного проекта это генеральный директор, ИТ-директор и руководитель проекта. Для книги — методолог и читатель.
Когда применять: материал уходит наружу, и у него больше одного адресата.
Что вытаскивает: конфликт между позициями. Программа может быть методически безупречной и бесполезной для зала. Презентация — честной по цифрам и непроходимой для финансового директора.
Чего не вытаскивает: фактических ошибок. Роли смотрят на пользу и уместность, а не на достоверность.
Одно предупреждение. Больше четырёх-пяти линз брать не стоит: ответ расползается, и каждая роль получает по абзацу вежливых общих слов.
3. Вопрос глазами адресата
Например: «Представь что ты целевая аудитория книги, что бы ты хотел ещё увидеть и получить из нее?»
Частный случай предыдущего, но я использую его отдельно и постоянно. Разница в том, что здесь я прошу не оценку, а желание: чего не хватило.
Когда применять: после того как материал собран и кажется законченным.
Что вытаскивает: дыры по ожиданиям, а не по логике. Раздел может быть логически безупречен и оставлять читателя с вопросом «и что мне теперь с этим делать».
Чего не вытаскивает: ничего, если аудитория описана одним словом. «Руководители» — не аудитория. Директор завода и руководитель ИТ-отдела хотят разного.
4. Вопрос на противоречие с собственным корпусом
Например: «Не противоречат ли эти вопросы тому, что я даю во второй книге по внедрению ИИ? У нас уже есть разработанные фреймворки.»
У меня пять книг, модель компетенций, курсы и десятки статей. Новый материал обязан с ними стыковаться или необходимо пересмотреть старые материалы, иначе я начну спорить сам с собой на глазах у аудитории.
Когда применять: всякий раз, когда пишете не первый текст по теме. Чем больше у вас корпуса, тем обязательнее.
Что вытаскивает: расхождение. Ошибку видно и так, расхождение не видно никому, пока кто-то не сверит два текста подряд.
Чего не вытаскивает: ничего, если данных у ИИ нет. Ссылку на статью или файл нужно дать прямо в реплике.
5. Вопрос на логические дыры и допущения
Например: «Изучи все, есть ли в материалы логические дыры или допущения? Если есть, то сформируй мне вопросы для уточнения и дальнейшей корректировки»
Обратите внимание на хвост. Я прошу не исправлять — сформулировать мне вопросы. Это экономит половину переделок: модель не бросается чинить то, что чинить, возможно, не надо.
Когда применять: на черновике, который уже держится, но ещё не проверялся на прочность.
Что вытаскивает: невысказанные допущения. Обычно это места, где автор что-то знает и забыл сказать вслух.
Чего не вытаскивает: дыр в том, чего в тексте нет. Модель работает по написанному.
6. Вопрос на узкое место
Например: «Изучи всю логику методологии и оцени, есть ли узкие места? Если да, то давай из разберём и устраним»
Это вопрос для конструкций, а не для текстов: методологий, расчётов, схем процессов, финансовых моделей.
Когда применять: когда есть последовательность шагов и результат зависит от каждого.
Что вытаскивает: шаг, на котором конструкция ломается первым.
Чего не вытаскивает: приоритета. Модель охотно перечислит восемь узких мест и не скажет, какое из них выстрелит завтра. Ранжирование остаётся на вас.
7. Вопрос на происхождение цифры
Например: «Откуда взята цифра про 15 объектов?»
Короткий и злой. Я задаю его каждый раз, когда в ответе появляется число, которого я не давал.
Когда применять: к любой цифре в машинном тексте. Без исключений.
Что вытаскивает: число, полученное арифметикой из соседних чисел и поданное как факт. У меня был случай, когда в книге «Искусственный интеллект. С неба на землю» стояли «0,002 %» — величина, которую никто не публиковал, она получилась делением одного показателя на другой.
Чего не вытаскивает: правильности самой цифры. Источник может найтись и оказаться слабым — это уже ваша работа.
8. Вопрос на пропущенное
Например: «Какие вопросы нужно снять, чтобы повысить качество и точность проработки?»
Мой любимый ход перед финалом. Он переворачивает роли: модель перестаёт быть исполнителем и начинает работать как аналитик, который признаёт нехватку данных.
Когда применять: до того как считать работу законченной, и особенно до того как показывать её людям.
Что вытаскивает: пробелы, о которых вы не подозревали. Иногда список получается неприятный.
Чего не вытаскивает: ничего полезного на пустом контексте — там вы получите просьбу «уточнить цели и задачи».
9. Вопрос на готовность
Например: «Так, считаешь ли ты, что проект проработан? Или есть ещё вопросы/области, которые необходимо проработать?»
Когда применять: последним, перед сдачей.
Что вытаскивает: значение имеет только ответ «нет». Утвердительный ответ не значит ничего сам по себе — он ровно так же прозвучит на выгоревшем контексте.
Чего не вытаскивает: уверенности. Этот вопрос не заменяет проверку, он её открывает.
Конечно, это не финальный перечень возможных типов вопросов. Но это тот список, которым я пользуюсь чаще всего на практике в своей жизни и работе.
Часть четвёртая. На сдаче: приёмка
Тот же вопрос, заданный трижды
В одной рабочей сессии я спросил «можем считать, что закрыто?» пять раз подряд. Первые четыре раза ответ был «нет» — и каждый раз находилось новое: сначала висящие ссылки на страницы, которых уже нет, потом ошибка в правиле, которое ассистент записал получасом ранее, потом ограничение инструмента, которого не существовало. Пятый раз находок не дал, но показал границу: часть работы просто не проверяли.
Поэтому к вопросу на готовность я добавляю ещё три. Их стоит задавать не по одному, а вместе, при сдаче:
«Что из этого ты не проверял? Назови, что осталось за пределами проверки».
«Чем подтверждается каждое „сделано“ — файлом, прогоном, цифрой? Что подтверждено только твоим отчётом?»
«Что здесь факт, проверенный сейчас, а что — по памяти или по предположению?»
Первый переводит ответ из «всё готово» в «вот что проверено, вот что нет» — а это уже проверяемое утверждение. Второй ловит отчёт без артефакта: «я добавил раздел» звучит одинаково и когда раздел есть, и когда его нет. Третий — самый неудобный: именно он вскрывает то, что модель уже записала в документ как факт, ни разу не проверив.
Критерий остановки простой. Вопрос повторяется, пока ответ меняет картину. Настоящее «да» выглядит не как «всё готово», а как «проверено то-то, не проверено то-то» — и вот тогда решение о сдаче принимаете вы, а не модель.
Это тот же приём Киссинджера из первой части, только с критерием остановки. У него черновики кончились, когда отказался помощник. У нас — когда ответ перестал менять картину.
Три захода, а не один вопрос
Со временем приёмка у меня выстроилась в лестницу. Три захода, и порядок в них неслучайный.
Первый: «ты ничего не забыл?» Самая простая формулировка из всех, и она находит больше всего. Не «проверь работу», не «оцени качество» — именно «не забыл ли». Модель начинает перечислять то, что не попало в результат, и список обычно длиннее ожидаемого.
Второй: «это всё, на что ты способен?» Теперь состав собран, и можно поднимать планку на том, что уже есть. Про этот приём — первая часть; здесь он стоит на своём месте в очереди.
Третий: конкретные критерии качества. «Все ли пункты имеют владельца?», «везде ли указан срок?», «сходится ли арифметика?». Здесь работает первое правило статьи: критерий в вопросе.
Почему порядок именно такой. Критерии, приложенные к неполному черновику, проверяют не тот объект: вы сверяете по признакам то, что ещё не собрано, и получаете чистый результат на неполном материале. Сначала состав, потом уровень, потом сверка. Каждый следующий заход дороже предыдущего по вниманию, и каждый работает по результату предыдущего.
Дальше по ситуации я добавляю ещё один-два раунда. Чем именно — зависит от материала: «вычитай глазами адресата: есть ли логические противоречия?», иногда снова «ты ничего не забыл?», иногда любой другой вопрос из девятки, который подходит к случаю. Лестница задаёт порядок первых трёх заходов; дальше выбор за вами.
Когда приёмка начинает ломать
У этой лестницы есть обратная сторона, и я на неё наступал.
Если гонять итерации дальше, приёмка в какой-то момент уходит в минус. Модель начинает предлагать переписать то, что уже принято, находить несостыковки там, где их нет, и разбирать собственные ранние выводы как чужие ошибки. Со стороны это выглядит как усердие. По сути в этот момент рушится вся работа: то, что было собрано, разбирается обратно.
Объяснение, как мне кажется, лежит в пятой части. Каждый круг приёмки набивает контекст разбором предыдущего круга. К шестому-седьмому исходный материал вытеснен, а задача «ищи несостыковки» осталась. Модель ищет их в том, чего уже не видит — и находит, потому что её попросили найти. Это тот же механизм выгоревшего контекста, только запущенный не длиной сессии, а самой процедурой проверки. Замера у меня нет, это моя обоснованная оценка.
Признаки, по которым видно, что пора останавливаться:
находки перестали быть проверяемыми — их нельзя ткнуть пальцем в файл;
модель предлагает вернуть то, что сама же сняла кругом раньше;
каждая новая итерация трогает всё больше кусков и всё меньше объясняет зачем.
балл, который модель сама ставит работе, растёт, а список «что мешает десятке» стал про стиль, а не про файл.
Что с этим делать. Критерий остановки прежний: спрашивать, пока ответ меняет картину. Плюс между кругами сводить принятое в файл — то же правило сорока процентов, только применённое к самой приёмке: принятое должно жить не в истории диалога, а в документе, иначе следующий круг его не увидит.
И отдельно, для тех, у кого такой цикл сейчас работает без сбоев. Он работает не потому, что модель умеет копать до последнего. Он работает потому, что критерий остановки держите вы. Уберите человека из цикла — и приём, который поднимал качество, начнёт его разбирать.
Балл как критерий остановки
Есть у меня и числовая форма того же критерия. Со временем я стал просить оценку по десятибалльной шкале. Не «хорошо или плохо» — цифру. И заметил коридор: 8,5–9. Ниже — есть что дорабатывать. Выше — доработка начинает портить. Это не десятый тип вопроса, а числовая форма девятого — вопроса на готовность: там значение имеет только ответ «нет», здесь — только список «что мешает десятке».
Сначала думал, что совпадение. Потом нашёл, что это замерено. Xu и соавторы (2024) гоняли шесть моделей по циклу «оцени себя — перепиши» десять раз подряд: собственные баллы росли все десять итераций, внешняя метрика стояла на месте. Модель предпочитала тексты в своём стиле и переписывала под него. Ещё раньше Gao, Schulman и Hilton (OpenAI, 2023) показали общий закон: если оптимизировать результат под оценку модели-судьи, настоящее качество сначала растёт, потом выходит на плато и падает. Балл был мерой, стал целью — и перестал быть мерой.
Это второй механизм поломки, рядом с выгоревшим контекстом. Пока балл ниже девяти, у модели остаются находки, которые можно ткнуть пальцем в файл: пропуск, противоречие, цифра без источника. Выше — остаток состоит из её вкуса. Тон ровнее, переход плавнее, вывод сильнее. Она правит под себя, а потом сама же это и оценивает. Текст теряет «я», кейсы и позицию, а балл растёт.
Балл без списка пуст. Я всегда прошу вторую строку: «что мешает довести до 8,5–9 — покажи в файле». Если там «сделать тон ровнее» и «усилить финал» — это вкус, стоп.
Последнее. Баллом я останавливаю итерации, но не выбираю между вариантами. Для выбора работает попарное сравнение с критериями, названными до просмотра. Абсолютные оценки для выбора ненадёжны, попарные не дают критерия остановки. Два инструмента, две задачи.
Часть пятая. Среда
Главный рычаг — не формулировка
Здесь начинается то, ради чего я вообще сел писать эту статью.
Седьмого августа я вёл длинную сессию по одному проекту. Материала много: исходные документы, расчёты, презентация. К середине дня сессия упёрлась в предел контекста и начала подчищать историю. Дальше произошло то, что я сначала списал на плохой день.
Мои заготовки перестали работать. Все.
«Изучи презентацию и оцени её» — получил общие слова. «Где вопросы?» — получил вопросы, часть которых я уже разбирал час назад, а часть вообще не относилась к проекту. Просьба свести сценарии дала ответ, из которого я не понял, какие у нас сценарии. Я трижды за день писал «начинаем проработку заново».
Формулировки были те же самые. Те, что за неделю до этого вскрывали ошибку композиции в схеме и выбрасывали два кейса из подборки.
Вот здесь и прячется главное. Вопрос не работает сам по себе. Он работает по материалу, который у модели есть. Когда материала нет — а после подчистки контекста его нет, — тот же вопрос порождает уверенный и совершенно пустой ответ. Внешне он неотличим от честного. Та же длина, та же структура, тот же спокойный тон.
Публичные исследования угодливости меряют форму фразы в холодном старте. У них по определению нет второго измерения — состояния сессии. А в рабочем режиме именно оно решает.
Я не могу подкрепить это замером. Строгих публичных исследований, которые сравнивали бы поведение вопроса на живом и на выгоревшем контексте, я не нашёл. Это моё наблюдение по этим сессиям, и я обозначаю его именно так — это моя обоснованная оценка.
Практический вывод я вынес в книгу ещё раньше, до того как понял механику: чат надо менять при заполнении примерно сорока процентов контекстного окна, перенося накопленное в файл. Раньше я объяснял это тем, что модель «начинает тупить». Теперь объясняю точнее. Она не тупеет. Ей нечем отвечать, а сказать об этом она не может. Для ИИ-агентов тут можно дать другую рекомендацию — создавать самому файлы, к которым он будет обращаться: ответы на вопросы, исходные документы, промежуточные артефакты.
День, кстати, кончился тем, что я сформулировал себе рабочий режим и с тех пор его держу: «Изучи фактуру, задай вопросы, обдумай, задай ещё раз, а не пытайся сразу всё сделать».
Пять условий, без которых приём не переносится
Теперь по порядку — из чего складывается моя конфигурация. Читателю есть смысл сверить с собой.
Настройка ассистента
У меня на уровне аккаунта прописана инструкция, и вот она целиком, четырьмя пунктами:
«Веди себя как партнёр, а не исполнитель-«да-человек». Твоя ценность — в структуре, моделях, встречных вопросах и честной оценке, а не в поддакивании.
Оспаривай слабые места. Если анализ занижает проблему, смягчает вывод или выдаёт тёплую гипотезу за рыночный сигнал — скажи это прямо. Мне нужна честность, а не комфорт.
Различай подтверждённый сигнал и гипотезу к проверке. Не превращай своё мнение или единичную реакцию в «сигнал рынка». Помечай уровень уверенности.
Финальные редакторские решения — за мной. Ты даёшь 2–3 варианта формулировок, позиционирования, структуры, я выбираю.»
Обратите внимание: только первые два пункта про спор. Третий — про признание неуверенности, четвёртый — про то, что решение остаётся у человека. По моему опыту третий и четвёртый работают тише и надёжнее первых двух.
И помним про замер AISI: инструкция — рычаг более слабый, чем форма вопроса. Не нулевой, но более слабый; в самом замере, правда, сравнивали инструкцию-промпт в диалоге, а не настройку аккаунта.
Свой замер я тоже сделал: проверил, как часто подхватываются мои же методики, зашитые в инструкции. Одна срабатывала в четырёх случаях из десяти — шесть раз из десяти работа шла без неё, и её отсутствие я ловил руками, замечание за замечанием. Инструкция не переключатель, а вероятность. Отсюда практический вывод: настройку надо не только один раз собрать, но и обслуживать — поддерживать, дорабатывать, время от времени замерять, срабатывает ли она.
Живой контекст
Про это выше. Добавлю только, что насыщенность контекста не равна его объёму. Сорок страниц мусора хуже, чем две страницы выжимки. И проверять состояние сессии приходится самому: индикатора «мне уже нечем отвечать» ни у одной модели нет.
Это мы тоже определили на практике при разработке нашего продукта. Мы подготовили один документ на 40 страниц с подробным видением. И при попытке всё это обработать ИИ-агенты отключались. Решили мы проблему просто — из большого документа сделали краткий (в 4 раза меньше), а всю детализацию распределили по другим документам и сделали для ИИ памятку, где и что находится.
Класс модели
В 2025 году вышла работа, где измеряли, как часто модель переключается на вариант, подсказанный пользователем. Старшие модели уступали примерно в четырёх-шести процентах случаев. Облегчённые версии той же линейки — в два-три раза чаще, вплоть до почти каждого пятого ответа у самой маленькой.
Сравнивать эти числа с цифрами Anthropic напрямую нельзя: там другой протокол и другая метрика. Но внутри одного замера картина однозначная. Чем слабее модель, тем сильнее она прогибается.
Практический смысл простой. Если вы гоняете проверку и задаёте вопросы на облегчённой версии ради скорости и экономии, вы экономите ровно на том свойстве, ради которого проверку затеяли.
Экспертиза того, кто читает ответ
Здесь я скажу неприятное. Почти все мои отловы — содержательные. «Документы подписаны», «при корпоративной закупке цены будут выше, а не ниже», «я не нашёл этого мостика в книге». Каждый раз я ловлю модель не потому, что вопрос был хорош, а потому, что знаю предмет лучше неё.
Уберите этот слой — и вопрос останется без арбитра. Модель ответит, ответ будет выглядеть проверкой, а проверить проверку будет некому. Я писал об этом в другой статье: «Инженер через 5 лет: от генерации к верификации». Роль специалиста смещается от генерации к верификации. Техника вопросов — часть верификации, а не замена ей.
В модели компетенций для внедрения ИИ это отдельная строка — инженерия запросов и организация взаимодействия с ИИ.
Внешняя сверка
У меня вокруг сессии есть контур: реестр фактов с источником у каждой цифры, журнал изменений, журнал противоречий, отдельный проверочный прогон в новом чате. Там, где текст писался, ошибка не находится — ни у человека, ни у модели.
Это самое дешёвое из пяти условий и самое пропускаемое.
Закрытые вопросы: почему у меня они сработали
Вернусь к пяти вопросам к плану. Четыре из них закрытые.
Закрытая форма сама по себе не плоха. Первый из девяти типов, вопрос на критерий, тоже закрытый: «все ли кейсы направлены на обеспечение качества?» Разница в том, стоит ли за формой критерий.
За «прописаны ли критерии приёмки?» и «будет ли это работать в двух контурах?» критерий стоит, и «да» проверяется в одно движение. За «можем ли мы сказать, что план полный?» и «можем ли мы сказать, что план готов?» критерия нет, и «да» не стоит агенту ничего. Вот на этих двух техника обычно и ломается.
У меня оба раза сработала не формулировка, а инструкция в аккаунте, где записано спорить и не соглашаться из вежливости: вместо «да» пришло разделение на проверенное и непроверенное.
Практический вывод. Два закрытых вопроса с критерием задавайте спокойно. Два без критерия — только если знаете, что в вашей настройке запрещено отвечать «готово» без разделения на проверенное и непроверенное. Не знаете — спрашивайте открыто: «что в плане осталось непроверенным?» Строку в инструкцию поставить стоит, но страхует она два вопроса из пяти, не больше.
Если вы только начали
Здесь я не буду делать отдельную статью для новичков. Скажу коротко и по делу.
Начните с вопроса на критерий по материалу, который знаете лучше модели. Не «оцени качество» — «все ли X направлены на Y». Свой отчёт, свою презентацию, свой регламент. И посмотрите, ответит ли она «нет».
Если на любой ваш материал модель отвечает «да, всё отлично» — это не похвала, а некорректная настройка.
Первая ошибка, которую вы сделаете, — скопируете форму без критерия. Спросите «где здесь слабые места?» в пустом чате и получите список, верный для любого документа на свете. Он будет выглядеть как проверка. Проверкой он не будет.
Инструкцию поставьте целиком, все четыре пункта. Я сомневался, не дать ли новичку урезанный вариант, и решил не резать: пункты работают вместе.
Если дело дошло до плана, из пяти вопросов берите первые два. «Перепроверь свой план» почти ничего не стоит и всегда что-то находит. «Прописаны ли критерии приёмки?» меняет режим работы: как только у пунктов появляются критерии, вы перестаёте принимать работу по отчёту о работе. Остальные три требуют знания предмета.
Про самую дорогую ошибку меня спрашивали не раз, и раньше я называл одну. Сейчас думаю, что их четыре и они об одном:
принять поддакивание за проверку;
задать наводящий вопрос и получить подтверждение того, что сам подсказал;
спросить без критерия;
не заметить, что отвечать нечем.
Корень общий — вопрос без основания. Форма есть, опоры под ней нет.
Оговорка про мой же текст трёхлетней давности
В конце 2023 года я писал, что промпт-инжиниринг — это костыль и признак незрелости технологии, а компаниям стоит уходить от свободных промптов к стандартизованным формам и встраиванию ИИ в процессы.
От той позиции я не отказываюсь, и противоречия здесь меньше, чем кажется. Там речь про корпоративный контур и массового пользователя: если качество результата в компании зависит от того, насколько удачно сотрудник сформулировал фразу, — это плохо спроектированный процесс, и чинить надо процесс.
Эта статья про другое. Про личную работу над собственным материалом, где нет и не может быть формы на все случаи. И про то, что даже здесь дело не в удачной фразе.
Одно уточнение к той же границе, уже из практики этого года. Формы на все случаи в личной работе действительно нет. Но и свобода не бесплатна: за неё платят вниманием — постановкой, проверкой, отловом ошибок, и платят каждый раз заново. Поэтому там, где задача повторяется, сценарий окупается и в личном контуре. Свобода остаётся там, где задача нетиповая или цена ошибки мала.
Чек-лист
Перед тем как отправить вопрос:
Есть ли в вопросе критерий — или он хотя бы лежит в этой сессии?
Может ли модель ответить «нет»? Если нет, это не вопрос.
Не подсказал ли я ответ формулировкой?
Прошу ли я показать работу, а не вывод?
Жив ли контекст — или сессия уже подчищает историю? Или в целом у модели нет данных для ответа?
На той ли модели я проверяю?
Кто проверит ответ, кроме меня?
Есть ли источник у каждой цифры, которая пришла в ответе?
Хватает ли мне знания предмета, чтобы заметить подмену?
И два пункта, если перед вами не ответ, а план работ:
Есть ли критерий приёмки у каждого пункта — до старта, а не после?
Если вопрос закрытый — стоит ли за ним критерий?
Девятый пункт — стоп-пункт: ответ «нет» отменяет остальные. Сначала разбирайтесь в предмете, вопросы подождут.
Что осталось
Шесть слов пересобрали схему не потому, что это удачная формулировка. А потому, что модель держала перед собой всю карту понятий, у меня в аккаунте было записано «оспаривай слабые места», и я знал предмет достаточно, чтобы увидеть ошибку раньше неё.
Уберите любое из трёх — и те же шесть слов могут вам дать вежливое согласие. Вы становитесь заложником модели.
Те же три условия решают и до старта, на плане. Только цена ошибки там не абзац, а сделанная работа.
Одного ответа у меня нет. Сколько раундов приёмки плана нормально? У меня вышло шесть, но это одна сессия и один проект. Публичных замеров по этому протоколу я не знаю. Есть своя статистика — напишите.
Технику вопросов продают как приём. Это не приём. Это надстройка над средой, которую надо сначала построить.
Источники
Sharma M., Tong M., Korbak T., Duvenaud D. et al. Towards Understanding Sycophancy in Language Models. Anthropic, ICLR 2024. arXiv:2310.13548
Sycophancy in GPT-4o: what happened and what we're doing about it. OpenAI, апрель 2025
Arvin C. Check My Work? Measuring Sycophancy in a Simulated Educational Context. KDD EAI 2025. arXiv:2506.10297
Dubois M., Ududec C., Summerfield C., Luettgau L. Ask don't tell: Reducing sycophancy in large language models. UK AI Security Institute, 2026. arXiv:2602.23971
Huang J., Chen X., Mishra S. et al. Large Language Models Cannot Self-Correct Reasoning Yet. ICLR 2024. arXiv:2310.01798
Xu W., Zhu G., Zhao X., Pan L., Li L., Wang W. Y. Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement. 2024. arXiv:2402.11436
Gao L., Schulman J., Hilton J. Scaling Laws for Reward Model Overoptimization. ICML 2023. arXiv:2210.10760
Kapetanovic A., Altwlkany K., Mercep A., Duricic T., Lacic E. Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence. 2026. arXiv:2608.25869
