Телеграм канал «ТЕХНО: Яндекс про технологии»

🦄 Все врут (включая нейросети). Научить модель знать всё — очень сложно, поэтому перед разработчиками стоит другая задача — чтобы ИИ признавался, когда не знает ответа. Спросили у руководителя команды базового алайнмента Алексея Зотова, как новую модель YandexGPT 5.1 учили быть честной. Откуда берутся галлюцинации Языковые модели работают на предсказании токенов — следующих фрагментов текста. Когда модель не может найти на 100% верный токен, она подставляет наиболее подходящий. Но он не всегда правильный, ведь токены часто подходят не только по фактам, но и по стилю, аналогии или другим параметрам. Как YandexGPT 5.1 отучали от галлюцинаций Мы наглядно показали модели, когда ей следовало ответить, что она не знает. 🔸 Попросили саму нейросеть ответить на множество вопросов. 🔸 Ответы проверили автоматически, сверяя с её же датасетом для предобучения. Там, где она ошиблась, правильным ответом стало «я не знаю». 🔸 Эти пары запросов и ответов собрали в синтетический датасет для дообучения. Как оценивают честность нейросетей Для этого есть специальные бенчмарки вроде Simple QA от OpenAI. Моделям задают список вопросов про науку, кино, политику, географию и т. д. Затем их ответы проверяют с помощью другой модели, сверяясь с эталонным ответом или документом, в котором содержится ответ. Ответы разбивают на три группы — правильные, противоречивые (с галлюцинациями) и отказы от ответа. После этого оценку ставят на основании процентного соотношения этих групп. Почему так сложно научить модель говорить «я не знаю» Главная сложность — найти баланс, чтобы нейросеть не считала «я не знаю» слишком универсальным ответом и продолжала искать правильный, если он есть. Чтобы избежать излишней осторожности, модели дают несколько попыток сгенерировать правильный ответ. И только если все попытки приводят к галлюцинациям — предлагают отказываться от ответа. Как ещё можно бороться с галлюцинациями? Можно использовать источники дополнительной информации, например, результаты поиска. Они в виде текста подаются на вход модели, чтобы она использовала их при ответе на запрос. Помимо точности фактовых ответов, это также решает проблему актуальности знаний модели. Подписывайтесь 👉 @techno_yandex

🤖🕰️🧑‍🚀 Сегодня исполняется 100 лет со дня рождения Аркадия Стругацкого. По такому поводу решили рассказать о технологиях мира Полудня из романов братьев Стругацких. А на главной Яндекса вы можете создать новую историю в мире Стругацких. Нужно лишь отправиться в небольшое приключение вместе с нейросетью Алисой, а в конце получить собственную аудиовизуальную историю от YandexART и Виртуального рассказчика. Подписывайтесь 👉 @techno_yandex

🤖 Что, если работать больше не придётся? Гонка за создание общего искусственного интеллекта (AGI) уже началась, и её итогом может стать мир, где большинство задач выполняют машины. В новом выпуске «Технорепорта» разбираемся, когда появится настоящий AGI, чем будут заниматься люди и сможет ли безусловный базовый доход стать основой новой экономики. Смотрите здесь, на YouTube или в VK Видео. 01:49 — Когда появится AGI? 02:34 — Врут ли нейросети? 04:34 — «Искусственным интеллектом будут пользоваться все» 05:52 — Основная преграда для создания AGI 08:02 — «Мы перестанем делать рутинные задачи» 12:42 — Как контролировать создание искусственного интеллекта? Подписывайтесь 👉 @techno_yandex

А помните мир без нейросетей? Скучаете по тем временам? И если да, то по чему именно? Пишите в комментариях. Подписывайтесь 👉 @techno_yandex

💻 Готовы пустить ИИ в свой браузер? ИИ не только помогает собирать информацию, но может выполнять и более сложные задачи вроде покупок или составления маршрутов. А еще есть агентские браузеры. Обо всём рассказываем в ролике. Подписывайтесь 👉 @techno_yandex

⏳ Идёт загрузка… Рассказываем, как полосы загрузки из визуализации прогресса превратились в инструмент манипуляции пользователем. Подписывайтесь 👉 @techno_yandex

🗑️ ИИ-слоп захватывает интернет, но еще не победил В соцсетях все чаще встречаются сгенерированные видео — от безобидных роликов с животными до прямой дезинформации. Как мы тут оказались и можно ли избежать ИИ-слопа? Рассказываем в коротком ролике (который сделали сами, а не сгенерировали). Подписывайтесь 👉 @techno_yandex