Завдяки новому методу, розробленому в MIT, LLM поводиться більше як студент, пишучи нотатки, які він вивчає, щоб запам’ятовувати нову інформацію.У аудиторії MIT професор читає лекцію, поки студенти старанно записують нотатки, які вони перечитають пізніше, щоб вивчити та засвоїти ключову інформацію перед іспитом.
Люди знають, як вивчати нову інформацію, але моделі великих мов не можуть робити це так само.Після того, як повністю навчений LLM розгорнуто, його «мозок» статичний і не може постійно адаптуватися до нових знань. Це означає, що якщо користувач сьогодні повідомить LLM щось важливе, він не запам’ятає цю інформацію наступного разу, коли ця людина почне нову розмову з чат-ботом.
Тепер новий підхід, розроблений дослідниками MIT, дозволяє LLM оновлюватися таким чином, щоб постійно засвоювати нову інформацію.Так само, як студент, LLM генерує власні навчальні аркуші на основі введених користувачем даних, які він використовує для запам’ятовування інформації, оновлюючи свою внутрішню роботу.
Модель генерує кілька саморедагувань, щоб навчатися на основі одного вхідного даних, а потім застосовує кожне з них, щоб побачити, яке з них найбільше покращує її продуктивність.Цей процес спроб і помилок навчає модель найкращому способу самонавчання. Дослідники виявили, що цей підхід покращив точність LLM у завданнях відповідей на запитання та розпізнавання образів, і це дозволило невеликій моделі перевершити набагато більші LLM. Хоча все ще існують обмеження, які необхідно подолати, ця техніка може колись допомогти агентам штучного інтелекту послідовно адаптуватися до нових завдань та досягати змінних цілей у середовищах, що розвиваються.
«Так само, як і люди, складні системи штучного інтелекту не можуть залишатися статичними протягом усього свого життя. Ці LLM не розгортаються в статичних середовищах. Вони постійно стикаються з новими вхідними даними від користувачів. Ми хочемо створити модель, яка трохи більше схожа на людину – таку, яка може постійно вдосконалюватися», – каже Джйотіш Парі, аспірант MIT та співавтор статті про цю техніку. До нього в роботі приєдналися співавтор Адам Цвайгер, студент MIT; аспіранти Хан Го та Екін Акюрек; та старші автори Юн Кім, доцент кафедри електротехніки та інформатики (EECS) та член Лабораторії інформатики та штучного інтелекту (CSAIL), і Пулкіт Агравал, доцент EECS та член CSAIL. Дослідження буде представлено на конференції з нейронних систем обробки інформації.
Навчання моделі як вчитися
LLM – це моделі нейронних мереж, які мають мільярди параметрів, що називаються вагами, що містять знання моделі та обробляють вхідні дані для прогнозування. Під час навчання модель адаптує ці ваги, щоб вивчити нову інформацію, що міститься в її навчальних даних. Але після розгортання ваги статичні та більше не можуть бути постійно оновлені. Однак LLM дуже добре справляються з процесом, який називається навчанням у контексті, в якому навчена модель вивчає нове завдання, побачивши кілька прикладів. Ці приклади керують відповідями моделі, але знання зникають до наступної розмови.
Дослідники MIT хотіли використати потужні можливості навчання моделі в контексті, щоб навчити її постійно оновлювати свої ваги, коли вона стикається з новими знаннями. Розроблена ними структура під назвою SEAL (самоадаптивні LLM) дозволяє LLM генерувати нові синтетичні дані на основі вхідних даних, а потім визначати найкращий спосіб адаптації та навчання з цих синтетичних даних. Кожен фрагмент синтетичних даних – це саморедагування, яке модель може застосувати. У випадку з мовою, LLM створює синтетичні дані, переписуючи інформацію та її наслідки у вхідному уривку. Це схоже на те, як студенти створюють навчальні аркуші, переписуючи та підсумовуючи оригінальний зміст лекції.
LLM робить це кілька разів, а потім перевіряє себе щодо кожного самостійного редагування, щоб побачити, яке з них призвело до найбільшого підвищення продуктивності у наступному завданні, такому як відповіді на запитання. Вона використовує метод спроб і помилок, відомий як навчання з підкріпленням, де модель отримує винагороду за найбільше підвищення продуктивності. Потім модель запам’ятовує найкращий навчальний аркуш, оновлюючи свої ваги, щоб засвоїти інформацію з цього самостійного редагування.
«Ми сподіваємося, що модель навчиться створювати найкращий тип навчального аркуша — такий, що має правильну довжину та належну різноманітність інформації – таким чином, щоб оновлення моделі на його основі призвело до кращої моделі», – пояснює Цвайгер.
Вибір найкращого методу
Фреймворк також дозволяє моделі вибирати спосіб, яким вона хоче вивчати інформацію. Наприклад, модель може вибрати синтетичні дані, які вона хоче використовувати, швидкість навчання та кількість ітерацій, на яких вона хоче навчатися. У цьому випадку модель не лише генерує власні навчальні дані, але й налаштовує оптимізацію, яка застосовує це самостійне редагування до її ваг.
«Як люди, ми знаємо, як ми навчаємося найкраще. Ми хочемо надати таку ж можливість моделям великих мов. Надаючи моделі можливість контролювати, як вона обробляє цю інформацію, вона може визначити найкращий спосіб розбору всіх даних, що надходять», – каже Парі.
SEAL перевершив кілька базових методів у низці завдань, включаючи вивчення нової навички з кількох прикладів та використання знань з уривку тексту. У відповідях на запитання SEAL покращив точність моделі майже на 15 відсотків, а в деяких завданнях на навчання навичкам він збільшив рівень успіху більш ніж на 50 відсотків.
Але одним обмеженням цього підходу є проблема, яка називається катастрофічним забуванням: оскільки модель неодноразово адаптується до нової інформації, її продуктивність у попередніх завданнях повільно знижується. Дослідники планують зменшити катастрофічне забування в майбутній роботі. Вони також хочуть застосувати цю техніку в багатоагентному середовищі, де кілька LLM навчають один одного.
«Однією з ключових перешкод для LLM, які можуть проводити змістовні наукові дослідження, є їхня нездатність оновлюватися на основі взаємодії з новою інформацією. Хоча повністю розгорнуті самоадаптивні моделі ще далекі, ми сподіваємося, що системи, здатні навчатися таким чином, зрештою зможуть подолати це та допомогти розвитку науки», – каже Цвайгер.