В России придумали, как проверять нейросети на «галлюцинации»

Команда Университета Решетнева разработала методику, которая помогает находить недостоверные или выдуманные ответы нейросетей. Такие ошибки называют «галлюцинациями» – когда ИИ звучит уверенно, но фактически ошибается.

Обычно для снижения таких рисков используют RAG-системы: нейросеть сначала ищет данные в базе знаний, а потом формирует ответ. Но ошибки все равно возможны – например, из-за опечаток, противоречивого запроса или неполной базы.

Российские специалисты проанализировали типовые сценарии таких сбоев и создали систему стресс-тестирования. Она сама генерирует проверочные запросы, сравнивает ответы с эталоном и оценивает точность.

Такая методика может быть полезна там, где цена ошибки особенно высока: в образовании, медицине, юриспруденции и госуслугах.

Источник: РИА Новости

#IT_News #ИИ

Подписаться в МАКС