Искусственный интеллект постепенно переходит от вспомогательного инструмента к системе, способной самостоятельно принимать решения в финансовом секторе. На этом фоне главным вопросом становится уже не только эффективность алгоритмов, но и пределы их автономности, передает inbusiness.kz со ссылкой на агентство РК по регулированию и развитию финансового рынка.
Первый заместитель председателя агентства Тимур Абилкасымов обозначил приоритеты регулирования ИИ-агентов на панельной сессии "AI-агенты в финансах: кто принимает решения – человек или алгоритм" в рамках VII Международного форума AI & Digital Bridge 2026.
По его словам, надзор должен охватывать весь цикл работы ИИ-агента — от целей и заложенных инструкций до принимаемых решений и их последствий. Ключевыми принципами должны стать прозрачность алгоритмов, сохранение человеческого контроля и защита клиентов от дискриминации, скрытых комиссий и навязывания дополнительных продуктов и услуг.
"Наша задача – обеспечить максимальную прозрачность. Если агент выполняет свою функцию правильно, а человек остается в контуре принятия решений, устанавливает определенный уровень доверия, лимиты и условия, то такой подход вполне управляем. Но сегодня появляются более автономные агенты, которые способны самостоятельно принимать решения и формировать корзины продуктов и услуг.
Для таких агентов необходимо сформировать систему защиты от новых рисков, в том числе от скрытого jailbreak – атак через интерфейсы и коммуникацию с агентами, направленных на обход установленных ограничений. Пока такие механизмы защиты находятся на достаточно ранней стадии развития не только в банковском секторе, но и в мире в целом", – отметил Тимур Абилкасымов.
Именно рост автономности ИИ меняет характер рисков для финансового рынка. Если алгоритм лишь анализирует информацию и предлагает человеку варианты, ответственность и контроль остаются относительно понятными. Однако когда агент самостоятельно подбирает финансовые продукты, определяет условия или взаимодействует с клиентом, потенциальные последствия ошибки становятся значительно серьезнее.
Поэтому регулятор делает акцент на сохранении человека в контуре принятия решений, особенно при операциях, способных напрямую повлиять на финансовое положение клиента. Одновременно необходимо заранее устанавливать лимиты и ограничения, которые агент не сможет самостоятельно обойти.
"Отдельным вызовом становятся jailbreak-атаки. В данном случае речь идет не только о классических киберугрозах, но и о попытках через коммуникацию с ИИ заставить его нарушить заданные правила или обойти встроенные ограничения. Для финансового сектора это особенно чувствительно, поскольку последствия такой ошибки могут затрагивать средства и права клиентов", - подчеркнули в АРРФР.
Параллельно агентство уже использует ИИ для повышения собственной киберустойчивости. Тимур Абилкасымов рассказал о системе коллективного иммунитета от киберрисков Qainar, к которой подключены более 100 финансовых организаций.
"Система позволяет с использованием ИИ-агентов анализировать и структурировать информацию о киберинцидентах и оперативно обмениваться данными об угрозах. Такой подход дает участникам рынка возможность быстрее реагировать на атаки и использовать накопленный опыт друг друга", - пояснили в регуляторе.
Фактически, Qainar формирует модель коллективной защиты: информация об одной угрозе может оперативно становиться доступной другим участникам финансового сектора, что позволяет сокращать время реакции и повышать общую киберустойчивость.
Кроме того, агентство расширяет применение собственных ИИ-агентов для контроля отдельных банковских систем.
Таким образом, регулятор одновременно развивает использование искусственного интеллекта и формирует требования к его безопасному применению. Главная задача заключается в том, чтобы преимущества автоматизации не привели к снижению прозрачности решений или ослаблению защиты клиентов.
Для финансового рынка это становится особенно актуальным по мере перехода от обычных алгоритмов к более автономным ИИ-агентам. Чем больше функций передается машине, тем важнее заранее определить, какие решения она может принимать самостоятельно, где требуется обязательное участие человека и какие ограничения нельзя обойти.
Именно эта граница между автономностью алгоритма и ответственностью человека, судя по позиции агентства, станет одним из ключевых вопросов дальнейшего развития ИИ в финансовом секторе.
Читайте по теме:
Токаев об ИИ: Требования должны быть строгими, но не чрезмерно
