Новые модели искусственного интеллекта от Meta оказались в центре скандала
korrespondent.net
Tue, 08 Apr 2025 21:59:00 +0300
На выходных Meta выпустила две новые модели искусственного интеллекта Llama 4 легкую Scout и среднеформатную Maverick, которая, по словам компании, превосходит GPT4o и Gemini 2.0 Flash в широком спектре популярных тестов.
Но, как оказалось, статистика от Meta вводит пользователей в заблуждение, сообщает The Verge.
В прессрелизе по поводу выпуска моделей ИИ Meta подчеркнула их отличный результат в рейтинге LMArena платформе, где пользователи сравнивают ИИмодели в режиме чата и голосуют за лучшие.
Согласно информации компании, Maverick заняла второе место с ELOрейтингов 1417 выше GPT4o от OpenAI и лишь немного позади Gemini 2.5 Pro.
Однако пользователи заметили примечание в документации Meta, где указано, что тестировалась не публичная модель, а экспериментальная версия, специально оптимизированная для разговорного взаимодействия.
Компания не сообщила об этом сразу, а лишь позже подтвердила, что использовался кастомизированный вариант Llama4Maverick0326Experimental, созданный для лучшего впечатления в чате.
В ответ руководство LMArena обвинило Meta в том, что она не соответствует их ожиданиям от поставщиков ИИмоделей, и уже начали обновлять свои правила, чтобы избежать подобных ситуаций в будущем.
В компании считают, что когда поставщики могут предоставлять специально настроенные версии своих моделей для тестирования, одновременно выпуская совсем другие для общественности, такие рейтинги, как LMArena, становятся менее значимыми как индикаторы реальной производительности.
Напомним, ранее сообщалось, что новый тест для искусственного интеллекта не проходит ни одна модель ИИ.
Cloudflare создала ИИ для обмана ботов, которые собирают информацию для ИИ Новости от Корреспондент.net в Telegram и WhatsApp.
Подписывайтесь на наши каналы https//t.me/korrespondentnet и WhatsApp
Последние новости
больше новостей