Прорив чи ілюзія? Учені заявили про новий спосіб поліпшення ШІ, але є нюанс
www.rbc.ua
Thu, 20 Mar 2025 15:45:00 +0200
Нещодавно дослідники презентували один із нових законів масштабування, який, за їхніми словами, здатен значно покращити ШІ.
Однак, попри гучні заяви, експерти скептично налаштовані щодо реальної ефективності цього підходу.
У чому полягає метод і чому багато фахівців залишаються в роздумах, розповідає РБКУкраїна проект Styler з посиланням на сайт новин у сфері технологій TechCrunch.
Як закони масштабування ШІ можуть змінити індустрію Що таке пошук на етапі виконання і як він працює Сумніви з боку експертів ШІіндустрія в пошуках нових методів масштабування Як закони масштабування ШІ можуть змінити індустрію Закони масштабування ШІ це неформальне поняття, що описує, як покращується продуктивність моделей ШІ в міру збільшення розмірів навчальних наборів даних і обчислювальних потужностей.
До минулого року домінуючим підходом було масштабування переднавчання створення розширених моделей, які навчаються на дедалі більших обсягах даних.
Цей принцип застосовували більшість провідних лабораторій у сфері ШІ.
Хоча переднавчання, як і раніше, актуальне, зявилися два додаткові закони масштабування Масштабування постнавчання налаштування поведінки моделі після основного етапу навчання Масштабування на етапі виконання використання додаткових обчислень під час роботи моделі для посилення її логічних здібностей.
Нещодавно дослідники з Google і Каліфорнійського університету в Берклі запропонували те, що деякі коментатори назвали четвертим законом пошук на етапі виконання inferencetime search.
Що таке пошук на етапі виконання і як він працює Цей метод дає змогу моделі генерувати одразу безліч можливих відповідей на запит і потім обирати серед них найкращу.
Дослідники стверджують, що такий підхід може підвищити продуктивність навіть застарілих моделей.
Наприклад, Google Gemini 1.5 Pro нібито перевершив модель OpenAI o1preview у тестах з математики та природничих наук.
Просто вибравши випадкові 200 відповідей і перевіривши їх самостійно, Gemini 1.5 стародавня за мірками ШІмодель початку 2024 року обходить o1preview і наближається до o1, написав у X Twitter один з авторів дослідження, докторський стипендіат Google Ерік Чжао.
Він також зазначив, що самоперевірка стає простішою при збільшенні масштабів.
Інтуїтивно здається, що чим більше рішень розглядає модель, тим складніше вибрати правильне, але на практиці все навпаки.
Gemini 1.5, більш рання модель, вибравши і перевіривши 200 відповідей, перевершує o1Preview і наближається до o1 фото X/ericzhao28 Сумніви з боку експертів Незважаючи на такі заяви, низка дослідників вважають, що метод пошуку на етапі виконання не універсальний і здебільшого марний.
За словами Меттью Гуздіала, дослідника ШІ та доцента Університету Альберти, цей метод ефективний лише тоді, коли можна чітко визначити, яка відповідь є найкращою.
Якщо ми не можемо запрограмувати чіткі критерії правильної відповіді, то пошук на етапі виконання марний.
Для звичайної взаємодії з мовною моделлю це не працює.
Це не найвдаліший підхід для вирішення більшості завдань, зазначив він.
З ним згоден Майк Кук, науковий співробітник Королівського коледжу Лондона.
Він підкреслив, що цей метод не покращує процес логічного висновку в моделі, а лише допомагає обходити її обмеження.
Пошук на етапі виконання не робить модель розумнішою.
Це всього лише спосіб обійти недоліки технологій, які можуть робити помилки, але робити це з повною впевненістю.
Логічно, що якщо модель помиляється в 5 випадків, то, перевіривши 200 спроб рішення, ми швидше помітимо помилки, сказав Кук.
ШІіндустрія в пошуках нових методів масштабування Обмеження методу пошуку на етапі виконання навряд чи потішать AIіндустрію, яка прагне поліпшити логічні здібності моделей за мінімальних витрат обчислювальних потужностей.
Як зазначають дослідники, сучасні моделі, орієнтовані на логічне мислення, можуть витрачати тисячі доларів обчислювальних ресурсів на розвязання однієї математичної задачі.
Поки що пошук нових методів масштабування триває.
Вас може зацікавити Як сучасні технології могли б розкрити вбивство Кеннеді Головні міфи про ШІ, у які досі вірять мільйони людей Як ШІ переверне ігрову індустрію в найближчі роки
Останні новини
більше новин