Да-да, конечно) вот как это выглядит, если рассматривать ситуацию с Вашей точки зрения: допустим, приходит на воскресный обед в этакое "святое семейство", где работают "другие плоскости", 18-летний внук, гордость семьи, студент МГИМО и вообще "красавец, спортсмен" и далее по тексту...и заявляет: "я решил, что моя цель в это непростое время бросить учебу и пойти на защиту границ, а лучше - в самую гущу боевых действий. Это мой долг и моя мечта!"... И, вместо того, чтобы образумить юнца, все поддерживают его бурными овациями и бегут покупать бронежилет и разгрузки) так? Вы же не эгоисты?)
Очередной выдуманный пример, потому что "слишком гипотетическая ситуация"?
Кое-что мне это напоминает.
Я конечно не специалист, просто мимо проходил, если есть специалисты то поправят если что не так напишу.
Человеческий интеллект это в каком-то смысле самообучающаяся нейросеть, а его система ценностей - некие правила. Только вот для обучения нужны примеры. Если человек семейный, то относительно своих мыслей и решений в отношении своей семьи он обладает максимально полной информацией. Всегда можно взять какой-то реальный кейс, осмыслить и рассмотреть со всех возможных сторон подходы к решению, риски, ожидания, результаты - вся эта информация доступна в полной мере.
А есть люди, нейросеть которых составляет представление "о семье" чисто на основании внешних данных, потому что своих нет - тех, что в каком-то количестве просачиваются наружу из других реальных семей. При этом информация очень скудна и обрывочна, если для обдумывания не хватает какого-то аспекта - его приходится или прям искать в конкретной семье (возвращаться к ним с вопросами, в т.ч. иногда и нескромными, неэтичными, по каждому такому моменту), либо "додумывать самому".
Что в таком случае происходит с виртуальными нейросетями?
Галлюцинации языковых моделей — это когда система генерирует текст, который не имеет смысла или не соответствует действительности. Это может происходить в случаях, когда модель пытается создать текст, но не имеет достаточной информации. Подобное же может произойти в силу случайных сбоев системы.
Если точнее, то вот
Декодер не умеет выбирать очередной выходной символ энкодера. За это отвечает отдельный алгоритм семплирования (или стратегия семплирования), который, вообще говоря, не является частью модели. На практике применяются различные алгоритмы, которые выбирают случайным образом один токен из нескольких наиболее вероятных.
Это не что иное как знаменитое "включите фантазию" от Кости. Точных данных не хватает, будем генерировать их случайным образом.
Дело в том, что в определенный момент при генерации очередного токена вероятности токенов, не относящихся к входному запросу, были ненулевыми и алгоритм семплирования выбрал какой-то из них. И далее декодер продолжил генерировать наиболее вероятную последовательность токенов. Такое поведение может также говорить о том, что модель не была достаточно хорошо натренирована на подобных входных запросах.
т.е. токенов, относящихся к входному запросу "семья", не хватило.
Вот и получаем на выходе или "семья == ментальный концлагерь" от Марты, либо "у вас у всех иллюзии" от Кости.
Как-то так я это вижу. Сам для себя. Ни на что не претендую. Просто делюсь. Своими галлюцинациями
Поэтому сразу перейду к концу диалога
Вы сегодня очень последовательны.
Мне кажется ваш жизненный опыт менее обширный чем мой. Сорян.
А анекдот про попугая понравился? Все совпадения случайны (с)
