Почему ИИ "выдумывает" ответы?
Исследователи OpenAI установили, что языковые модели иногда генерируют неточную информацию или "галлюцинируют" из-за своей фундаментальной обучающей задачи: предугадывать следующий элемент данных. "Крупные языковые модели нацелены на максимизацию результатов тестирования, и принятие догадок в условиях неопределённости часто повышает итоговые оценки", — поясняется в их публикации.
Современные методы оценки работы ИИ часто упрощены: правильные ответы награждаются, а неправильные — отвергаются. Это приводит к тому, что модель чаще рискует предположить возможный ответ в надежде на успех, чем честно признается в недостатке знаний.
Влияние "естественного статистического давления" побуждает искусственный интеллект создавать информацию, даже если точный ответ неизвестен. Прогресс в будущем во многом определится успехом в решении этой ключевой сложности.
Новый подход: Обучение честности
Компания предлагает перспективное решение: изменение системы стимулов. Необходимо ценить адекватное выражение сомнения и не "штрафовать" модели за признание неизвестного. Такой инновационный подход способен значительно снизить частоту "галлюцинаций" и создать основу для более надежных, прагматичных языковых систем с глубоким пониманием контекста.
Реальные последствия этих изменений еще только предстоит оценить, но само направление работы дарит оптимизм относительно будущего реалистичных ИИ-ассистентов.
Источник: naked-science.ru
