Мы часто применяем ИИ для ускорения нашей операционной деятельности: анализ систем, заполнение каталога данных, подготовка текстовых описаний, сборка требований.

В самой аналитике основной вектор у нас — GenBI. Это подход, при котором ИИ создаёт аналитические объекты по запросу пользователя, заданному на естественном языке. Мы смотрим, какие классы задач можно решать с его помощью, и сейчас это:

• формирование дашбордов;
• аналитика в виде чат-бота и аналитических записок: общение с ИИ на естественном языке;
• написание SQL-кода на основе существующего слоя метаданных, то есть инструмент ускорения разработки;
• передача части работы на сторону пользователей, то есть расширение самообслуживания.

Для пилота мы выбрали задачу, которая максимально полезна нашим пользователям. Внутри компании мы используем аналитику для себя: чтобы правильно выстраивать тарифную сетку и внутренние процессы. Раньше работа IT и подразделения данных выглядела так: мы ведём бэклог, ставим задачи в очередь, потихоньку разбираем и делаем отчёт под каждого заказчика. 

Мы посмотрели по статистике, какие вопросы по аналитике данных задают чаще всего, взяли эти данные и бизнес-контекст и попробовали максимально автоматизировать выдачу ответов. Вместо того чтобы ходить к нам за ad-hoc запросами, пользователи теперь могут общаться с ИИ.

Первое, с чем мы столкнулись, как бы ни банально это звучит, — галлюцинации. Мы описали массив данных и предметную область, где планировали пилот с аналитическими записками. Но даже при полноценном описании ИИ сильно изобретал ответы. На то, чтобы понять, почему так, ушло довольно большое количество времени, и это не лежало на поверхности: мы выяснили это, когда начали применять ИИ.

На бирже очень много терминов и понятий, и они дублируются. Простой пример: «посчитай мне количество клиентов». Неправильного ответа здесь нет. ИИ может выдать семь разных ответов, и на удивление все семь могут быть верными, в зависимости от постановки вопроса. Что считать клиентом? Что активным клиентом? В каком разрезе: по бумагам, по режимам, по ещё чему-то? У нас есть термины, которые нужно описывать по-разному, в зависимости от того, с какой стороны на них смотреть. Встаёт вопрос, как правильно описать тот или иной термин для ИИ.

Мы ещё работаем над этим, но в текущем формате мы стараемся «затачивать» LLM наборами инструкций, так называемыми скиллами. Если модель не может явно ответить на вопрос или предполагается несколько вариантов ответа, лучше пусть она уточнит, вместо того чтобы выдать число, про которое непонятно, как оно посчитано.

Чтобы понять, насколько качественен результат ответа, мы должны видеть всё по шагам: прозрачные аудиты, логику расчёта. И это нужно не только разработчикам. Все думают: зачем показывать пользователю SQL? На самом деле многие аналитики у нас плюс-минус понимают SQL, и им иногда намного проще, если LLM выдаст результат в формате SQL. Они смотрят и говорят: нет, это не то, что я имел в виду, посчитай по-другому. Так они сами уточняют запросы.

Мы подчиняемся законодательству Российской Федерации и требованиям Центробанка. Это не только рекомендации: есть федеральные законы, нарушение которых несёт не только административную, но и уголовную ответственность. Много наших данных относится к охраняемым законом тайнам. К инфраструктуре у нас очень жёсткие требования безопасности, блок информационной безопасности следит, чтобы ничего не уходило вовне, и есть постоянный аудит, в том числе внешний, со стороны регулятора. Поэтому требования жёсткие, их надо соблюдать.

У нас LLM не могут ходить к боевым данным, которые считаются данными высокой критичности. Доступ в единое хранилище для них напрямую закрыт. По нашему пониманию, LLM должна отвечать только за распознавание запросов и планирование задач. К базе данных она напрямую не обращается.

Второй момент: пользователь не должен иметь возможность отправлять результаты анализа любому человеку в компании. При публикации данных на портале, где администраторы ведут учёт ролевой модели и доступов, работают правила безопасности. Если актив создан внутри продукта из блоков самой системы, его можно контролировать и воспроизводить, а значит провести аудит. Если актив воспроизводится ИИ, то контроля нет.