Все більше на вечірках та просто зустрічах з друзями заходить мова про генеруючі ШІ та мовні моделі (LLM). Отже, ось кілька запитань, на які варто поставити або відповісти, щоб справити враження на своїх друзів, коли розмова неминуче торкнеться цієї теми.
Що таке великі мовні моделі?
Великі мовні моделі (LLM) будуються з великих об’ємів тексту для створення моделей штучного інтелекту, які можуть сприйматися як люди. Люди часто посилаються на тест Тьюринга як мірило успіху.
Google лідирував у розробці LLM, але багато інших пішли за ними. Більшість людей зараз знайомі з ChatGPT, у якому LLM використовується для підтримки сервісу, який дозволяє нам ставити запитання про все що завгодно.
Звідки взялися дані для їх навчання?
LLM обмежені наборами даних, які використовувалися для їх навчання. Для навчання потрібно багато даних, тому більшість організацій збирають публічні тексти, такі як Wikipedia, LinkedIn, WordPress, Flickr та інші публічні блоги.
Текст, який використовувався для навчання моделі, очевидно, впливає на її стиль і світогляд, і багато людей порушували питання різноманітності або, можливо, відсутності різноманітності в даних, які використовуються для навчання більшості великих мовних моделей, які ми маємо сьогодні.
Чим LLM відрізняються від інших людиноподібних чат-ботів?
Протягом багатьох років у нас були чат-боти та маленькі помічники, такі як скріпка Кліппі, але великі мовні моделі являють собою новий рубіж у досягненні можливостей комп’ютерів. Що відрізняє LLM, так це можливість взаємодії з кількома кадрами, де є більше одного раунду підказки та відповіді. Деякі навіть можуть вести розмову.
Щоб вести розмову, необхідно відстежувати об’єкти або людей під час розмови, щоб, наприклад, жінку, згадану на початку, пізніше можна було називати просто «вона». Як люди, ми можемо досить легко відстежувати елементи під час розмови, але до появи LLM штучний інтелект був нездатний це зробити. Саме через цей та інші досягнення так важко відрізнити нові мовні моделі від людей. Саме це робить нові моделі такими потужними та такими небезпечними.
Чи можемо ми видалити упередженість і погану поведінку з моделей чату?
Проблеми з великими мовними моделями були добре задокументовані. Крім більш очевидних зловживань технологією для пригнічення, контролю або позбавлення прав людей, моделі, які були розгорнуті з, здавалося б, благими цілями, можуть демонструвати токсичну поведінку або просто генерувати неправильні результати, які не виправляються.
Один зі способів спробувати обійти ці проблеми — застосувати специфікацію моделі. Це означає навчання моделі з другим, більш спеціалізованим набором даних. Це необхідний крок під час створення моделі для виконання завдання, наприклад автоматизованого обслуговування клієнтів, для якого потрібні предметні знання.
Це також можливість надати керований людиною зворотний зв’язок або застосувати набори правил, щоб спробувати усунути небажану поведінку LLM. Ви можете, наприклад, навчити модель використовувати гендерно-нейтральні займенники, такі як «вони», коли говорять про когось невідомого в статі, замість того, щоб за замовчуванням використовувати «він» для всіх, як люди часто роблять англійською мовою. Ви також можете надати відгук про інші образливі висловлювання, щоб покращити модель.
Неможливо повністю усунути всі форми свідомого чи несвідомого упередження з моделі, оскільки це неможливо зробити для даних, створених людиною. Моделі також обмежені даними, які використовувалися для їхнього навчання, так само як одна людина — це лише сума їхнього досвіду. Навчання моделі може зайти лише так далеко, щоб змінити модель, яка має дуже сильні упередження у своєму навчальному наборі.
Чим корисні LLM?
Поки LLM пропонувалися для таких програм, як покращення обслуговування клієнтів і розуміння великого тексту, але ми навіть не подряпали поверхню того, що ця дивовижна технологія може зробити. Розвиваючись, він впливатиме на все більше аспектів нашого життя, включаючи освіту на всіх рівнях, особистий спосіб життя та робоче місце.
Попри те, що LLM не є запорукою майбутнього, це надзвичайно перспективна технологія, яку ми маємо честь спостерігати за розвитком із самого початку.
Розмірковуючи про те, як нам використовувати LLM, важливо розуміти, що вони дійсно розповідають історію у відповідь на підказку. Оскільки машини починають розширювати свій вплив на наше життя, стає все більш важливим зберігати розуміння їхніх обмежень і контролювати те, як вони інтерпретують дані та діють на них.
Кому вигідні великі мовні моделі?
Подібно до того, як навчальні набори не представляють повний спектр людства, ймовірно, що програми LLM не будуть рівномірно розподілені для всіх. Більшість технологічних компаній винні в тому, що називається цифровим колоніалізмом, коли дані, робоча сила та природні ресурси видобуваються з Глобального Півдня для створення технології, яка значною мірою приносить користь 1% щасливого людства в заможніших країнах.
Чи будуть моделі вдосконалюватись?
Чим більше даних ми зможемо влити в ці великі мовні моделі, тим більш досконалими вони стануть. Ми все ще розвиваємо науку і, безумовно, станемо кращими. Однією великою проблемою для технології зараз є самопосилання. Зростаюча кількість онлайн-контенту зараз створюється LLM. Більше неможливо використовувати загальнодоступні дані для навчання нового LLM без включення великої кількості даних, які були згенеровані іншим LLM. Це з часом погіршить якість моделей.
Таким чином, початковий успіх генеративного штучного інтелекту може стати крахом, оскільки онлайн-контент стає забрудненим згенерованими даними. Або це може принести нову еру мовних моделей, оскільки ми будемо змушені більше думати про джерело навчальних даних, покращуючи як різноманітність, так і походження даних.
