ШІ x Крипто: від нуля до вершин

Вступ

Нещодавній розвиток в галузі ШІ деякі люди вважають четвертою промисловою революцією. Поява великих моделей помітно підвищила ефективність у різних галузях, і компанія Boston Consulting вважає, що GPT підвищила робочу ефективність в Америці приблизно на 20%. Водночас здатність великих моделей до генералізації вважається новою парадигмою програмного дизайну: раніше програмне забезпечення створювалося за допомогою точного коду, тепер же це більш узагальнені рамки великих моделей, інтегровані в програмне забезпечення, яке може демонструвати кращі результати та підтримувати ширший спектр вхідних та вихідних даних. Технології глибокого навчання дійсно принесли четвертий бум в галузі ШІ, і ця хвиля також вплинула на індустрію криптовалют.

У цьому звіті ми детально розглянемо історію розвитку AI-індустрії, класифікацію технологій, а також вплив винаходу технології глибокого навчання на галузь. Потім ми поглиблено проаналізуємо такі елементи, як GPU, хмарні обчислення, джерела даних, пристрої на краю тощо в ланцюжку поставок глибокого навчання, а також їхній поточний стан та тенденції розвитку. Після цього ми суттєво обговоримо взаємозв'язок між криптовалютою та AI-індустрією, а також проаналізуємо структуру AI-ланцюга постачання, пов'язану з криптовалютою.

Історія розвитку індустрії ШІ

Індустрія штучного інтелекту розпочала свій шлях з 50-х років XX століття. Для реалізації бачення штучного інтелекту академічна та промислова сфери в різні епохи та з різними науковими підходами розвинули кілька напрямків для досягнення штучного інтелекту.

Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання", ідея цієї технології полягає в тому, щоб дати можливість машинам покращувати продуктивність системи, спираючись на дані, повторно ітераційно виконуючи завдання. Основні етапи полягають у тому, щоб передати дані алгоритму, використати ці дані для навчання моделі, протестувати модель, розгорнути її та використовувати модель для виконання автоматизованих прогнозних завдань.

Наразі в машинному навчанні існує три основні напрямки: коннекціонізм, символізм та біхевіоризм, які імітують людську нервову систему, мислення та поведінку.

Наразі нейронні мережі, які представляють коннекціонізм, домінують (, також відомі як глибоке навчання ), основна причина полягає в тому, що ця архітектура має один вхідний шар, один вихідний шар, але кілька прихованих шарів. Як тільки кількість шарів і нейронів (, а також параметрів ) стає достатньо великою, з'являється достатньо можливостей для підгонки складних загальних завдань. Через введення даних можна постійно коригувати параметри нейронів, тому в кінцевому підсумку, пройшовши через багато даних, цей нейрон досягне оптимального стану (, параметри ), що також називається "велика сила творить дива", і це також походить від слова "глибина" - достатня кількість шарів і нейронів.

Наприклад, можна просто зрозуміти, що це побудова функції, в яку ми вводимо X=2, тоді Y=3; X=3, тоді Y=5. Якщо ми хочемо, щоб ця функція відповідала всім X, то потрібно постійно додавати ступінь цієї функції та її параметри. Наприклад, я можу побудувати функцію, яка відповідає цим умовам, як Y = 2X -1, але якщо є дані X=2, Y=11, то потрібно перебудувати функцію, яка підійде для цих трьох точок даних. Використовуючи GPU для брутфорсу, виявляємо, що Y = X2 -3X +5, це досить підходяще, але не потрібно повністю збігатися з даними, лише дотримуватися балансу і давати приблизно подібний вихід. Тут X2, X та X0 представляють різні нейрони, а 1, -3, 5 є їхніми параметрами.

У цей момент, якщо ми введемо в нейронну мережу велику кількість даних, ми можемо збільшити кількість нейронів і ітерацій параметрів, щоб підлаштувати нові дані. Таким чином, ми зможемо підлаштувати всі дані.

А технології глибокого навчання на основі нейронних мереж також мають кілька технічних ітерацій та еволюцій, такі як найраніші нейронні мережі, мережі прямої пропускної здатності, RNN, CNN, GAN, які врешті-решт еволюціонували в сучасні великі моделі, такі як GPT тощо, що використовують технологію Transformer. Технологія Transformer є лише одним з напрямків еволюції нейронних мереж, до якої додано перетворювач ( Transformer ), що використовується для кодування всіх модальностей (, таких як аудіо, відео, зображення тощо ), у відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, що дозволяє нейронній мережі адаптуватися до будь-якого типу даних, тобто реалізувати мультимодальність.

Розвиток штучного інтелекту пройшов три технологічні хвилі. Перша хвиля відбулася в 60-ті роки XX століття, через десять років після висунення технології штучного інтелекту. Ця хвиля була спричинена розвитком символістських технологій, які вирішили проблеми загальної обробки природної мови та діалогу між людиною і машиною. У той же період з'явилися експертні системи, зокрема експертна система DENRAL, яка була створена під наглядом Стенфордського університету для NASA. Ця система має дуже глибокі знання з хімії і може робити висновки на основі запитань, щоб генерувати відповіді, подібні до тих, які дає хімічний експерт. Ця хімічна експертна система може розглядатися як поєднання хімічної бази знань і системи висновків.

Після експертних систем, у 90-х роках XX століття ізраїльсько-американський вчений і філософ Юдея Перл(Judea Pearl) запропонував байєсівські мережі, які також називаються мережами віри. У той же час Брукс запропонував поведінкову робототехніку, що ознаменувало народження біхевіоризму.

У 1997 році IBM Deep Blue здолав чемпіона світу з шахів Гаррі Каспарова з рахунком 3.5:2.5, ця перемога вважається знаковою подією в історії штучного інтелекту, яка ознаменувала другу хвилю розвитку AI технологій.

Третя хвиля технологій штучного інтелекту відбулася у 2006 році. Три великі постаті глибокого навчання - Ян ЛеКун, Джеффрі Хінтон та Йошуа Бенгіо - запропонували концепцію глибокого навчання, алгоритму, що базується на архітектурі штучних нейронних мереж, для навчання представлення даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно сформували цю третю технологічну хвилю, і це також був розквіт коннекціонізму.

Багато знакових подій також супроводжувалися дослідженням та еволюцією технологій глибокого навчання, зокрема:

• У 2011 році IBM Watson( виграв у людства в телевізійній вікторині «Jeopardy)» і став чемпіоном.

• У 2014 році Goodfellow запропонував GAN( генеративну змагальну мережу, Generative Adversarial Network), яка навчається шляхом змагання двох нейронних мереж, здатну генерувати фотографії, які важко відрізнити від реальних. Одночасно Goodfellow також написав книгу "Deep Learning", яка називається "квітковою книгою", і є однією з важливих вступних книг у галузі глибокого навчання.

• У 2015 році Гінтон та ін. у журналі «Природа» запропонували алгоритм глибокого навчання, що викликало величезний резонанс у науковому середовищі та промисловості.

• У 2015 році OpenAI було створено, Маск, президент YC Алтман, ангельський інвестор Пітер Тіль(Peter Thiel) та інші оголосили про спільні інвестиції в розмірі 1 мільярда доларів.

• У 2016 році, на основі технології глибокого навчання, AlphaGo зіграв проти чемпіона світу з го, професійного гравця дев'ятого дану Лі Ши Чі, вигравши з рахунком 4:1.

• У 2017 році компанія Hanson Robotics, розташована в Гонконзі, розробила гуманоїдного робота Софію, яку вважають першим у світі роботом, що отримав статус повноправного громадянина. Вона має багатий спектр виразів обличчя та здатність розуміти людську мову.

• У 2017 році компанія Google, яка має багатий кадровий і технологічний резерв у сфері штучного інтелекту, опублікувала статтю «Увага — це все, що вам потрібно», в якій було запропоновано алгоритм Transformer, і почали з'являтися великомасштабні мовні моделі.

• У 2018 році OpenAI випустила GPT( Генеративний попередньо навчений трансформер), побудований на основі алгоритму Transformer, який на той час був одним з найбільших мовних моделей.

• У 2018 році команда Google Deepmind випустила AlphaGo, засновану на глибокому навчанні, яка здатна прогнозувати структуру білків, що вважається величезним досягненням у сфері штучного інтелекту.

• У 2019 році OpenAI випустила GPT-2, ця модель має 1,5 мільярда параметрів.

• У 2020 році OpenAI розробила GPT-3, який має 175 мільярдів параметрів, що в 100 разів більше, ніж попередня версія GPT-2. Ця модель була навчена на 570 ГБ тексту і може досягати передових результатів у кількох завданнях обробки природної мови(, таких як відповіді на запитання, переклад, написання статей).

• У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.

• У січні 2023 року було запущено додаток ChatGPT на базі моделі GPT-4, у березні ChatGPT досягнув ста мільйонів користувачів, ставши найшвидшим додатком в історії, який досягнув ста мільйонів користувачів.

• У 2024 році OpenAI випустить GPT-4 omni.

Примітка: оскільки існує багато наукових статей про штучний інтелект, багато напрямків та різні технології розвитку, тому тут основна увага приділяється історії розвитку глибокого навчання або коннекціонізму, інші напрямки та технології все ще перебувають у процесі швидкого розвитку.

! Newcomer Science Popular丨AI x Crypto: від нуля до піку

Ланцюг глибокого навчання

Сьогодні великі мовні моделі використовують методи глибокого навчання на основі нейронних мереж. Моделі, очолювані GPT, створили хвилю інтересу до штучного інтелекту, і багато гравців увійшли в цю галузь. Ми також виявили, що ринок відчуває величезний попит на дані та обчислювальні ресурси. Тому в цій частині звіту ми в основному досліджуємо виробничий ланцюг алгоритмів глибокого навчання. У галузі штучного інтелекту, де домінують алгоритми глибокого навчання, як складаються його верхні та нижні ланки, якими є їхній стан, співвідношення попиту і пропозиції, а також майбутній розвиток.

По-перше, нам потрібно чітко усвідомити, що під час навчання великих моделей LLMs( на основі технології Transformer, очолюваних GPT), процес ділиться на три етапи.

Перед навчанням, оскільки він оснований на Transformer, перетворювач повинен перетворити текстовий ввід на числові значення, цей процес називається "Tokenization", після чого ці числові значення називаються Token. Згідно з загальним правилом, одне англійське слово або символ можна грубо вважати одним Token, а кожен ієрогліф можна грубо вважати за два Token. Це також є базовою одиницею, що використовується для оцінки GPT.

Перший крок, попереднє навчання. Шляхом надання вхідному шару достатньої кількості пар даних, подібно до прикладів, наведених у першій частині звіту (X,Y), для пошуку найкращих параметрів кожного нейрона моделі, в цей час потрібно багато даних, і цей процес також є найвитратнішим з точки зору обчислювальної потужності, оскільки потрібно багаторазово ітерувати нейрони, намагаючись різні параметри. Після завершення навчання на одній партії даних, зазвичай використовують ту ж партію даних для повторного навчання з метою ітерації параметрів.

Другий крок, доопрацювання. Доопрацювання – це надання невеликої, але дуже якісної вибірки даних для навчання, такі зміни підвищать якість виходу моделі, оскільки попереднє навчання вимагає великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Крок доопрацювання може підвищити якість моделі за рахунок якісних даних.

Третій крок, підкріплене навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета цієї моделі дуже проста: здійснити ранжування виходу результатів, тому реалізація цієї моделі буде досить простою, оскільки бізнес-сценарій досить вузький. Потім ця модель буде використовуватися для визначення, чи є вихід нашої великої моделі високоякісним, таким чином можна використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ( але іноді також потрібно людське втручання для оцінки якості виходу моделі )

Коротко кажучи, під час навчання великих моделей попереднє навчання має дуже високі вимоги до обсягу даних, а також потребує найбільших обчислювальних ресурсів GPU, тоді як тонке налаштування потребує більш якісних даних для покращення параметрів. Посилене навчання може повторно ітеративно налаштовувати параметри через модель винагороди для отримання більш якісних результатів.

У процесі навчання, чим більше параметрів, тим вища межа його узагальнюючої здатності. Наприклад, у прикладі з функцією Y = aX + b, насправді є два нейрони X і X0. Тому, як би не змінювалися параметри, дані, які можна підлаштувати, дуже обмежені, адже по суті це все ще пряма лінія. Якщо нейронів більше, то можна ітераційно налаштовувати більше параметрів, що дозволяє підлаштувати більше даних. Саме тому великі моделі створюють дива, і це також пояснює, чому їх часто називають великими моделями. Суть полягає в величезній кількості нейронів і параметрів, а також великій кількості даних, при цьому потребуючи величезної обчислювальної потужності.

Отже, на продуктивність великих моделей головним чином впливають три аспекти: кількість параметрів, обсяг і якість даних, обчислювальні потужності. Ці три фактори спільно впливають на якість результатів великих моделей та їх здатність до узагальнення. Припустимо, що кількість параметрів дорівнює p, обсяг даних дорівнює n(, розрахованому за кількістю токенів), тоді ми можемо за допомогою загальних емпіричних правил обчислити необхідний обсяг обчислень, що дозволить нам приблизно оцінити, які обчислювальні потужності нам потрібно буде придбати, а також час навчання.

Потужність зазвичай вимірюється в Fl