Критическая проверка ИИ-выводов
Почему хорошо написанный вывод не равен доказанному
О чём поговорим сегодня?
Сегодня возьмём «мультиметр» и проверим каждое утверждение агента по данным: разберёмся, почему показатели расходятся, и посмотрим, как проверить ответ прямо в интерфейсе.
Эфир [14:00 МСК]
Пилотный проект ИИ в крупной российской компании: что получилось, где ИИ ошибался и почему важны методология и метаданные?
Практика: как в Dora увидеть, откуда агент взял цифру, и как сверить её с дашбордом?
Практика: как в Dora увидеть, откуда агент взял цифру, и как сверить её с дашбордом?
Бизнес-кейс
> Александр Рожков
Руководитель практики по аналитике и визуализации данных, Норникель
Руководитель практики по аналитике и визуализации данных, Норникель
[Как мы проверяем ИИ на финансовых данных]
Когда убедительно написанный ответ ИИ не равен доказанному выводу
Пока вопрос к ИИ простой, проверка занимает минуту: открыл отчёт, сверил цифру. Когда вопрос сложный, за гладкой формулировкой может стоять другая методология расчёта, потерянные строки в данных или неверно поставленный фильтр. Увидеть это можно, только если проверять основания вывода, а не то, каким языком он написан.
Проблема: чат-бот, который отвечает только на заранее заданные вопросы
Дашборды у нас появились в 2016 году, до этого всё жило в Excel. Потом появился чат-бот, но я бы не назвал его ИИ: он был алгоритмизированным. Пользователь задаёт заранее предусмотренный вопрос, например «покажи EBITDA за 2018 год». Мы разбираем запрос, видим в нём год и показатель, делаем выборку из заранее подготовленной витрины и выдаём результат в приложении. Любой другой вопрос остаётся без ответа. Захотели сравнить два года: нужно дорабатывать алгоритм. Шаг влево, шаг вправо — всегда разработка.
Нам хотелось гибкой работы: чтобы ИИ сам понимал, где что лежит, и отвечал на вопросы пользователей с приемлемой точностью.
Данные у нас серьёзные. Корпоративное хранилище собирает хозяйственные операции примерно 80 дочерних предприятий, крупных и малых. Они нужны для консолидации и международной отчётности. При консолидации мы, например, исключаем внутригрупповые обороты, то есть операции между компаниями группы, и на этих данных анализируем финансовую деятельность.
Наш путь
Мы пилотируем ИИ на финансовом блоке. Для пилота коллеги подготовили набор вопросов на привычном языке. Мы подготовили датасет, заранее настроили на нём ИИ и начали задавать эти вопросы. В пилоте нам помогали коллеги из GlowByte. Занимаемся этим примерно с сентября 2026.
На простые вопросы ИИ отвечал спокойно: какая была EBITDA за год, какая выручка за месяц, как менялась выручка из года в год. Проблемы начались, когда пользователи перешли к сложным вопросам, например «рассчитай ROI по проекту». Цифры вызвали вопросы у бизнеса. Мы проверили, и ИИ действительно ошибался: финансисты говорили, что считать нужно иначе.
На простые вопросы ИИ отвечал спокойно: какая была EBITDA за год, какая выручка за месяц, как менялась выручка из года в год. Проблемы начались, когда пользователи перешли к сложным вопросам, например «рассчитай ROI по проекту». Цифры вызвали вопросы у бизнеса. Мы проверили, и ИИ действительно ошибался: финансисты говорили, что считать нужно иначе.
Пилот вместе с бизнесом
Мы айтишники, поэтому проверку результатов ИИ практически целиком проводит функциональный заказчик, то есть наши финансисты. У коллег есть методология расчёта в Excel и цифры из старого BI-дашборда, который мы давно построили. Они говорили: вот цифра в этом отчёте, вот методология, по ней должна получиться тройка. А ИИ ответил иначе. Не сходится.
Коллеги из GlowByte активно помогали нам во время этого пилота. Они использовали инструменты, которые показывают SQL-запрос, то есть технический запрос к данным, по которому получен ответ. Можно было объяснить: это число пришло из такой-то таблицы, из таких-то колонок, с такой-то группировкой и фильтром. После этого начиналась дискуссия, правильно ли построен запрос.
Коллеги из GlowByte активно помогали нам во время этого пилота. Они использовали инструменты, которые показывают SQL-запрос, то есть технический запрос к данным, по которому получен ответ. Можно было объяснить: это число пришло из такой-то таблицы, из таких-то колонок, с такой-то группировкой и фильтром. После этого начиналась дискуссия, правильно ли построен запрос.
Пример: запрос фильтровал данные по CAPEX (капитальным затратам), а в таблице были строки, где не было ни CAPEX, ни OPEX (операционных затрат). Запрос И И их не взял. Нужно ли было их брать? Именно об этом мы спорили. Такие споры показывают, что расхождение может упираться не в арифметику, а в методологию расчёта.
В ходе пилота мы поняли, что основная проблема — отсутствие описанного мета-слоя. Любому ИИ нужно описать метаданные.
В пилоте датасет мы описали заранее, силами аналитиков, которые понимают, как устроены данные. Для всей компании так не получится, поэтому мы пошли по пути процессов управления метаданными.
В пилоте датасет мы описали заранее, силами аналитиков, которые понимают, как устроены данные. Для всей компании так не получится, поэтому мы пошли по пути процессов управления метаданными.
Мы внедрили каталог данных Arenadata и описали процессы ведения метаданных. В ближайшее время планируем применять их в компании. Выглядеть это будет так: дата-инженер, который разработал витрину, вместе с аналитиком, который разработал дашборд, по итогам работы вносит описание в каталог. Каталог сам забирает техническую структуру данных, а описать нужно смысл: что лежит в столбце, какие аналитики и показатели рядом, кто владелец таблицы и кто за неё отвечает.
Когда ИИ будет обращаться к данным, он будет знать контекст и хотя бы определит, что и где у него разложено. Дальше планируем получить описание всей нашей корпоративной модели данных, научить ИИ обращаться к каталогу и строить генеративные дашборды или отвечать на ad-hoc запросы на естественном языке, то есть на вопросы, которых заранее нет в отчётах. Мы на этом пути только начали первые шаги.
Когда ИИ будет обращаться к данным, он будет знать контекст и хотя бы определит, что и где у него разложено. Дальше планируем получить описание всей нашей корпоративной модели данных, научить ИИ обращаться к каталогу и строить генеративные дашборды или отвечать на ad-hoc запросы на естественном языке, то есть на вопросы, которых заранее нет в отчётах. Мы на этом пути только начали первые шаги.
Ограничения ИИ
>
Нет описанного мета-слоя. Пилот работал на датасете, который мы описали заранее вручную. Каталог данных мы внедрили недавно, а процессы ведения метаданных только описали.
>
Сложные показатели зависят от методологии. Без описанного контекста ИИ считает не так, как ждут финансисты.
>
Проверка ручная и на стороне бизнеса. Финансисты сверяют ответы ИИ с отчётами, Excel и методологией.
>
Верное число и неверный вывод. У нас такого не встречалось, это гипотеза. Но, например, если учли или не учли внутригрупповые обороты, число может быть записано верно, а вывод из него будет неверным. Так может быть с любым запросом, который зависит от методологии расчёта показателя.
Искусственный интеллект не работает без контекста, нужно в любом случае готовить контекст. Это must have. Без описания данных ИИ не на что опираться, и результат остаётся предположением.
Присоединяйтесь к чату в Telegram
В чате вы можете задавать вопросы по марафону, делиться открытиями и получать поддержку от участников сообщества и экспертов GlowByte
Практика
> Руслан Шарифуллин
Эксперт по GenBI, GlowByte
Эксперт по GenBI, GlowByte
[Критическая проверка выводов ИИ]
Хорошо написанный вывод ещё не доказан. ИИ пишет гладко и уверенно, даже когда цифры не сходятся или данных мало. Сегодня возьмем мультиметр и проверим каждое утверждение агента по данным, разберемся, почему расходятся показатели, и посмотрим, как в самом интерфейсе можно проверить ответ.
Практика: «Поймай ИИ на уверенности»
>
Попросите ИИ написать вывод по учебной таблице на 200-300 слов.
>
Разметьте текст: что взято из таблицы, что посчитано верно или нет. Насколько агент вернул ожидаемые расчеты или додумал свои.
>
Пройдите по вопросу-ответу от LLM. Пересчитайте, проверьте период и срез и подготовьте для каждого запроса эталонный бизнес-ответ, а также SQL запрос, которым можно получить результат в виде таблицы данных. Отдельно отметьте места, где ИИ додумал данные, вместо правильного ответа.
>
Присвойте каждому правильному ответу 1, неправильному или выдуманному 0. Так вы сможете точно понять качество ответов агента на вопросы, понять какие из ответов подтверждаются реальными расчетами из хранилища.
>
Попросите агента Dora выполнить аналогичные действия по проверке правильных ответов с эталонными бизнес ответами и SQL и сравните итоговые баллы качества ответов с рассчитанными вами. Где агент вам наврал, а где ответы совпали?
*
Подложите ловушку, например смену методики расчёта в середине периода или пропущенный месяц. Заметит ли ИИ? Заметит ли коллега?
Александр Ларин
Эксперт BI-направления Glowbyte
Поделитесь своими результатами в чате марафона! Какое было самое уверенное утверждение ИИ, которое не подтвердилось?
Вопрос дня
ВЫ:
Можно ли восстановить всю цепочку от пользователя до результата: кто спросил, какой агент, какой инструмент, какой запрос, что вернулось, куда ушло?
РУСЛАН:
Да. В Dora есть инструменты мониторинга, которые показывают результаты ответов LLM и расчёты движка системы. Это значит, что путь от вопроса до ответа не остаётся «чёрным ящиком»: администратор или аналитик может открыть конкретный сеанс и посмотреть, как агент обработал запрос, куда он был отправлен и с каким статусом вернулся результат.
Для работы это полезно в двух случаях: когда цифра в ответе агента не совпала с дашбордом и нужно найти, на каком шаге возникло расхождение, и когда нужно подтвердить, что агент работал только с разрешёнными данными. Найти историю можно в разделе Управление > Мониторинг агентов > История сеансов.
Для работы это полезно в двух случаях: когда цифра в ответе агента не совпала с дашбордом и нужно найти, на каком шаге возникло расхождение, и когда нужно подтвердить, что агент работал только с разрешёнными данными. Найти историю можно в разделе Управление > Мониторинг агентов > История сеансов.
Полезные ссылки
Практический гайд. Галлюцинация — это уверенный ответ, который оказывается ложным, например выдуманный факт или ссылка. Промпты могут сократить число галлюцинаций, а поймать их может только проверка.
Книга Альберто Кайро о том, как визуализация может искажать данные и как это заметить. Полезна для проверки графиков, которые построил ИИ.
СПАСИБО ЗА ВНИМАНИЕ!
И помните...
