Он проверил 40 тысяч вопросов за день. И всё выдумал
Если вы отвечаете за обучение в большой компании, у вас есть база, которую невозможно поддерживать руками. Тесты и профили должностей стареют быстрее, чем вы успеваете их обновлять. И когда начинается разговор про ИИ, первый соблазн - отдать эту гору машине, пусть разбирается.
Максим Садовников руководит группой методологии и автоматизации обучения в Иркутской нефтяной компании. Он прошёл этот путь за год и вышел рассказать честно, с ошибками и тупиками. Публично, со сцены, с конкретикой.
С чем они подошли к ИИ?
Сначала масштаб, потому что без него не понятна боль. Учебный центр меньше двадцати человек. Целевая аудитория это весь штат компании, около семнадцати тысяч. В портфеле порядка ста пятидесяти электронных курсов собственной разработки. Отложенное тестирование охватывает триста пятьдесят должностей и опирается на базу больше пятнадцати тысяч вопросов. Ежегодная оценка профтехкомпетенций это две тысячи компетенций и около сорока тысяч вопросов.
Всё это копилось годами. В какой-то момент стало ясно: поддержка и актуализация такой базы будет вечно требовать либо расширения штата, либо отрыва внутренних экспертов от основной работы. А тут ещё запрос от руководителя, знакомый многим: вы много времени тратите на профилирование должностей и разработку тестов, передайте это ИИ, он же всё решит.
Внутри была понятная реакция: как это ИИ будет делать интеллектуальную работу? А если и может, то готовых инструментов нет, надо разбираться, дообучать, программировать. Долго и чудовищно дорого. Но решили, что надо пробовать.
Восторг, который обманул.
Первое, за что взялись - это верификация уже существующей базы. Попросили открытый GPT-сервис: возьми эти вопросы, найди правильные ответы, укажи источники со ссылками и фрагментами, упакуй в таблицу с нужными полями. Он всё сделал. За один день, со ссылками на федеральные и даже внутренние нормативные документы.
Это был восторг. Казалось, вопрос закрыт, осталось найти модель помощнее, чтобы залить всю базу разом.
А потом случился технический сбой, и они обратились в поддержку сервиса. Там-то и подсказали, что модель всё выдумала.
Присмотрелись внимательнее. Ссылки только выглядели корпоративными. Модель вычленила название компании, сгенерировала правдоподобные внутренние адреса, разместила на них якобы документы и на них же сослалась. Таких нормативных документов не существует.
Вывод: наскоком не выйдет, в предмет нужно погружаться. И работать с сильной стороной генеративных моделей, с придумыванием, а не с извлечением фактов.
Это, кстати, и есть главная ценность всего выступления. Не приём, не цифра, а готовность спикера открыто разобрать собственную ошибку: мы поверили красивому результату, а он оказался выдумкой от первого до последнего символа.
Здесь стоит остановиться. Сколько источников, которые вам выдал ИИ, вы проверили открытием по одному? Модель умеет генерировать ссылки на ваши же внутренние документы, которых нет.
Что построили вместо этого?
Генератор тестовых вопросов. Несколько решений в нём стоит разобрать, потому что их можно повторить.
Внутренние документы запрещено обрабатывать во внешних сервисах: работает принцип «сеть всё помнит», текст запроса уходит в свободное пользование, и гарантии, что он останется приватным, никто не даёт. Поэтому подключились к уже идущему проекту ИТ-блока. Внешний эксперт развернул внутреннюю модель на мощностях компании и дорабатывал под запросы, всё крутится в контуре, вопрос безопасности снят.
Отдельно стоит забрать побочный приём. Чтобы всё-таки тестировать внешние сервисы на внутренних документах, не нарушая запрет, они придумали анонимизацию по словарю. Составили словарь, где все названия юрлиц, подразделений, должностей и ключевых систем заменяются на условные. Сначала прогоняли документ через эту замену, потом отдавали в ИИ, потом деанонимизировали результат у себя.
Качество эталонного промпта замерили на разных моделях. Получилось примерно так: 40% вопросов хороших, 40% требуют доработки, двадцать мусор.
Дальше сделали важный шаг для внедрения: зашили промпт под кнопку. Отдельный интерфейс, где эксперт загружает файл, указывает нужное количество вопросов и получает выдачу. Пользователю не надо писать запрос, поля формы скрыто подставляются в шаблон. Спикер прямо сослался на принцип «не заставляйте меня думать». Позже, узнав про возможности Mistral, оформили это как полноценного ассистента.
Где оказалась настоящая экономия?
А выгода пришла не оттуда, где её ждали.
Результат генератора это полуфабрикат, а не готовый продукт. Спикер проговорил это честно, почти теми же словами, что звучали в других выступлениях конференции: да, эксперт нажал кнопку, он исполнитель, но следом обязан провести экспертизу. Сырую выдачу в дело не пустишь.
А экономия спряталась в неправильных ответах. Придумывать правдоподобные неправильные варианты занимало у эксперта до половины времени. Это ведь дополнительный контент, который нужен только для того, чтобы замаскировать правильный ответ. И тут у человека системная слабость: он делает неправильные варианты либо подозрительно похожими, либо заметно короче правильного, либо очевидно не подходящими по смыслу. ИИ не ленится и генерирует дистракторы, которые вообще не выделяются на фоне правильного.
Цифра по их грубым расчётам: каждые сто сгенерированных вопросов экономят в среднем около тысячи рублей фонда оплаты труда эксперта.
Посмотрите на свою повторяющуюся работу под этим углом. Где вы ищете экономию в очевидном месте, хотя настоящая выгода прячется в скучной подзадаче рядом?
Куда это ведёт?
Дальше Максим показал находку про то, что генеративная модель умеет брать на себя роль.
Пример: экзамен по первой помощи. Попросили ИИ вести себя как инструктор, придумывать ситуации и проверять действия экзаменуемого. Получается пока неплохо. А если скармливать ему внутреннюю инструкцию, чтобы выводы шли только по ней, выходит массовый экзамен, которому не нужен живой экзаменатор.
Отсюда перспектива, которую спикер назвал возможным преобразованием всей индустрии оценки. Можно уйти от тестов к массовым экзаменам с ИИ. Научить модель анализировать учебный материал курса, а в системе обучения вместо привычного теста поставить диалоговое задание. И тогда по итогам курса выкатывать не тест, где можно угадать вариант, а экзамен, который проверяет, понял ли человек материал.
Что забрать себе?
Спикер закончил взвешенными выводами, и они переносятся почти на любую команду.
Не стоит слишком вкладываться в собственные разработки. Дешёвый или бесплатный аналог, скорее всего, появится очень быстро. Пока они делали свой генератор, аналог возник в их редакторе, буквально в том же году. ИИ органично встроится в привычные инструменты, как поисковые функции когда-то были отдельными приложениями, а теперь встроены в каждое.
Но и стоять на месте нельзя, особенно тем, кто занимается обучением и HR. Формулировка спикера, которую стоит запомнить: айти реализует ваше видение, но само видение за вас не сформирует. Учиться видеть, как перестроить свою работу с помощью ИИ, придётся самим, а для этого нужно хотя бы что-то поделать руками. Ради этого в компании и запустили внутренний фестиваль «Искусство интеллекта».
Максим закрыл выступление фразой, которую стоит унести целиком: важно научиться видеть, как обычные вещи можно делать иначе и как новые продукты можно синтезировать из уже доступных инструментов.
Это одно выступление из одного блока. В программе Elements.ИИ 2026 таких разборов будет больше: практика внедрения, ошибки и подводные камни, инструменты, которые работают уже сейчас, и честный разговор о том, какие задачи ИИ отдавать нельзя.