Человек общается с ИИ-помощником, и тот помнит детали разговора месячной давности и не путается в фактах, а компания при этом не тратит состояние на вычислительные ресурсы. Исследователи Центра практического искусственного интеллекта Сбербанка в сотрудничестве с учёными Института AIRI и Сколтеха нашли способ определять тот самый момент, когда нейросеть при экономии памяти начинает терять смысл. Разработчики применили новый метод при обновлении ИИ-помощника ГигаЧат: теперь он запоминает ключевые факты о пользователе и использует их в дальнейшем общении — делая взаимодействие более естественным и персонализированным.
Современные ИИ-модели умеют рассуждать уже почти как человек, но с памятью часто возникают вопросы. Эффективным методом обработки больших объёмов данных является сжатие информации с последующим переводом в векторные представления.
Российские исследователи создали лёгкий обучаемый классификатор, который работает как детектор качества. Он проверяет сжатые токены ещё до того, как они попадут в большую языковую модель. Если классификатор видит, что смысл нарушен, он не пропускает испорченный контекст дальше. И тогда система может подставить оригинальный несжатый текст или поискать свежие документы. В любом случае некорректные данные не уйдут в генерацию, пользователь не получит недостоверный ответ, а компания не потратит лишних средств на вычисления.
Для бизнеса, который встраивает ИИ-модели в свои корпоративные поисковики, ассистентов или боты поддержки, это прямая экономия. Учёным исследование даёт строгую методологию: теперь понятно, где проходит граница сжимаемости текста и как отследить момент переполнения токенов. В обществе же это повышает доверие к технологиям и популярность ИИ-помощников. Например, разработчики применили метод при обновлении флагманской модели Сбера GigaChat Ultra — она научилась запоминать факты о пользователе и использовать их для дальнейшей персонализации общения. Это делает взаимодействие более естественным и комфортным.
Николай Тиден, директор Центра практического искусственного интеллекта Сбербанка:
— Представьте, что нужно пересказать итоги трёхчасового стратегического совещания парой фраз. Ключевые тезисы вы выделите, но высок риск упустить критически важные нюансы или исказить смысл. Так же работает механизм сжатия контекста в языковых моделях. Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестаёт быть оптимизацией и ведёт к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надёжности искусственного интеллекта — сокращение издержек и повышение точности принятия решений.
Источник: ПАО «Сбербанк»
