AI x Crypto: ゼロからピークまで

はじめに

最近、AI業界の発展は一部の人々によって第四次産業革命と見なされています。大規模モデルの出現は、各業界の効率を著しく向上させ、ボストンコンサルティンググループは、GPTがアメリカの作業効率を約20%向上させたと考えています。同時に、大規模モデルがもたらす一般化能力は新しいソフトウェア設計のパラダイムと見なされており、過去のソフトウェア設計は正確なコードでしたが、現在はより一般化された大規模モデルフレームワークがソフトウェアに埋め込まれ、これらのソフトウェアはより良いパフォーマンスを発揮し、より広範囲なモダリティの入力と出力をサポートできるようになっています。深層学習技術は確かにAI業界に第四次の繁栄をもたらし、この潮流は暗号通貨業界にも影響を与えています。

本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術の発明が業界に与えた影響について詳しく探討します。その後、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流、及びその発展状況とトレンドについて深く分析します。次に、本質的に暗号通貨とAI業界の関係について詳しく探討し、暗号通貨に関連するAI産業チェーンの構図を整理します。

! 新人科学丨AI×暗号:ゼロからピークまで

AI業界の歴史

AI業界は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代や異なる学問的背景の下で、さまざまな人工知能を実現する流派を発展させてきました。

現代の人工知能技術は主に「機械学習」という用語を使用しています。この技術の理念は、機械がデータに依存してタスクを反復的に改善し、システムのパフォーマンスを向上させることです。主なステップは、データをアルゴリズムに送信し、このデータを使用してモデルをトレーニングし、モデルをテストして展開し、モデルを使用して自動化された予測タスクを完了することです。

現在、機械学習には3つの主要な流派があります。それは、コネクショニズム、シンボリズム、そして行動主義であり、それぞれ人間の神経系、思考、行動を模倣しています。

現在、神経ネットワークを代表とする結合主義が優勢(、深層学習とも呼ばれています)。このアーキテクチャの主な理由は、入力層と出力層があり、複数の隠れ層があることです。層の数や神経元(のパラメータ)の数が十分に多くなると、複雑な汎用タスクにフィットする十分な機会が得られます。データ入力を通じて、神経元のパラメータを調整し続けることができ、最終的には多くのデータを経験した神経元が最適な状態(のパラメータ)に達することになります。これがいわゆる「大きな力が奇跡を生む」ということであり、これが「深さ」という言葉の由来でもあります——十分な層数と神経元が存在します。

例えば、簡単に理解するために、関数を構築したとしましょう。この関数では、X=2のときY=3、X=3のときY=5とします。この関数がすべてのXに対応するためには、関数の次数とそのパラメータを追加し続ける必要があります。例えば、今私が構築できる条件を満たす関数はY = 2X -1ですが、もしX=2、Y=11というデータがある場合は、これらの三つのデータポイントに適した関数を再構築する必要があります。GPUを使用して暴力的に解決すると、Y = X2 -3X +5が比較的適していることがわかりますが、データと完全に一致する必要はなく、バランスを守り、大体似たような出力が得られればよいのです。この中でX2、X、X0は異なるニューロンを表し、1、-3、5はそのパラメータです。

この時、神経ネットワークに大量のデータを入力すると、ニューロンを増やしたり、パラメータを反復させて新しいデータにフィットさせることができます。これにより、すべてのデータにフィットさせることができます。

神経ネットワークに基づく深層学習技術には、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、複数の技術の反復と進化があり、最終的にはGPTなどで使用される現代の大規模モデルへと進化しました。Transformer技術は神経ネットワークの一つの進化の方向であり、変換器(Transformer)を追加して、音声、動画、画像など(のすべてのモダリティ)のデータを対応する数値にエンコードして表現するために使用されます。その後、神経ネットワークに入力されることで、神経ネットワークはあらゆるタイプのデータにフィットすることができ、つまりマルチモーダルを実現します。

AIの発展は三つの技術的波を経てきました。最初の波は20世紀60年代で、AI技術が提案されてから十年後のことです。この波はシンボリズム技術の発展によって引き起こされ、一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これはスタンフォード大学がアメリカのNASAの指導の下で完成させたDENRAL専門家システムです。このシステムは非常に強力な化学知識を持ち、質問を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは、化学の知識ベースと推論システムの融合と見なすことができます。

専門家システムの後、1990年代にイスラエル系アメリカの科学者および哲学者ジュディア・パール(Judea Pearl)はベイズネットワークを提唱しました。このネットワークは信念ネットワークとも呼ばれます。同時期に、ブルックスは行動に基づくロボティクスを提案し、行動主義の誕生を象徴しました。

1997年、IBMのディープブルーが3.5:2.5でチェスチャンピオンのカスパロフ(カスパロフ)に勝利し、この勝利は人工知能の一つのマイルストーンと見なされ、AI技術は第二次発展の高潮を迎えました。

第三回目のAI技術の波は2006年に発生しました。深層学習の三巨頭であるヤン・ルカン、ジェフリー・ヒントン、ヨシュア・ベンジオは、人工神経ネットワークをアーキテクチャとしたデータ表現学習のアルゴリズムである深層学習の概念を提唱しました。その後、深層学習のアルゴリズムは徐々に進化し、RNN、GANからTransformerやStable Diffusionへと至り、これらの二つのアルゴリズムがこの第三の技術波を形作り、連結主義の最盛期でもありました。

多くの象徴的な出来事が、深層学習技術の探求と進化とともに次第に現れています。これには、:

• 2011年、IBMのワトソン(Watson)は「危険な境界」(Jeopardy)のクイズ番組で人間を打ち負かし、優勝しました。

• 2014年、GoodfellowはGAN(生成的対抗ネットワーク、Generative Adversarial Network)を提案しました。2つのニューラルネットワークが相互に競争することで学習を行い、真に迫った写真を生成することができます。また、Goodfellowは「Deep Learning」という本を書き、これは「花書」と呼ばれ、深層学習分野における重要な入門書の一つです。

• 2015年、ヒントンらは『Nature』誌に深層学習アルゴリズムを提案し、この深層学習手法の提案は、学術界と産業界において直ちに大きな反響を呼び起こしました。

• 2015年、OpenAIが設立され、マスク、YC社長のオルトマン、エンジェル投資家のピーター・ティール(ピーター・ティール)などが共同で10億ドルの資金を発表しました。

• 2016年、深層学習技術に基づくAlphaGoが囲碁の世界チャンピオンである職業九段棋士の李世石と囲碁の人間対コンピュータ戦を行い、4対1の総スコアで勝利した。

• 2017年、中国香港のハンソンロボティクス社(Hanson Robotics)が開発したヒューマノイドロボット、ソフィアは、歴史上初めて一等市民の身分を得たロボットとして知られ、豊かな表情と人間の言語理解能力を備えています。

• 2017年、人工知能の分野で豊富な才能と技術的予備力を持つGoogleは、Transformerアルゴリズムを提案した論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。

※2018年、OpenAIは、当時最大級の言語モデルであったTransformerアルゴリズム上に構築されたGPT(Generative Pre-trained Transformer)をリリースしました。

• 2018年、GoogleチームDeepmindが深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩の象徴と見なされています。

• 2019年、OpenAIはGPT-2を発表しました。このモデルは15億のパラメータを持っています。

• 2020年、OpenAIが開発したGPT-3は、1,750億のパラメータを持ち、以前のバージョンであるGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用してトレーニングされ、複数のNLP(自然言語処理)タスク(において、質問応答、翻訳、文章作成)で最先端の性能を達成できます。

• 2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆のパラメータを持ち、GPT-3の10倍です。

• 2023年1月にGPT-4モデルに基づくChatGPTアプリケーションがリリースされ、3月にはChatGPTが1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなりました。

※2024年、OpenAIはGPT-4 omniを発売します。

注: 人工知能に関する論文は多く、流派もさまざまで、技術の進化も異なるため、ここでは主に深層学習やコネクショニズムの発展の歴史に従います。その他の流派や技術は依然として急速に進化しています。

! 新参者科学人気丨AI×暗号:ゼロからピークまで

ディープラーニング産業チェーン

現在、大規模モデルの言語はすべて神経ネットワークに基づく深層学習手法を使用しています。GPTを筆頭とする大規模モデルは人工知能のブームを引き起こし、多くのプレイヤーがこの分野に参入しました。私たちはまた、市場におけるデータや計算能力の需要が大きく高まっていることを発見しました。したがって、レポートのこの部分では、深層学習アルゴリズムの産業チェーンを主に探求します。深層学習アルゴリズムが主導するAI業界において、その上下流はどのように構成されているのか、そして上下流の現状と需給関係、未来の発展はどのようなものであるかを考察します。

まず明確にする必要があるのは、Transformer技術に基づくGPTを代表とするLLMs(大規模モデル)のトレーニングは、合計で3つのステップに分かれているということです。

トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則では、英単語や文字はおおよそ1つのトークンと見なすことができ、各漢字はおおよそ2つのトークンと見なすことができます。これがGPTの評価に使用される基本単位でもあります。

第一ステップ、事前トレーニング。入力層に十分なデータ対を与えることで、報告の第一部で例示された(X,Y)のように、モデル下の各ニューロンの最適なパラメータを探します。この時、大量のデータが必要であり、このプロセスは最も計算リソースを消費するプロセスでもあります。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからです。一批のデータ対のトレーニングが完了した後、一般的には同じデータセットを使用してパラメータを再度トレーニングします。

第二歩、ファインチューニング。ファインチューニングは、少量であるが非常に高品質なデータを用いてトレーニングすることです。このような変更により、モデルの出力の品質が向上します。なぜなら、事前トレーニングには大量のデータが必要ですが、多くのデータにはエラーや低品質なものが含まれている可能性があるからです。ファインチューニングのステップは、高品質なデータを通じてモデルの品質を向上させることができます。

第三のステップは強化学習です。まず、新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果の順位付けを行うことです。したがって、このモデルの実装は比較的簡単です。なぜなら、ビジネスシナリオが非常に専門的だからです。その後、このモデルを使用して、大モデルの出力が高品質であるかどうかを判断します。こうすることで、報酬モデルを用いて大モデルのパラメータを自動的にイテレートすることができます。(ただし、時には人間の判断が必要な場合もあります。モデルの出力品質を評価するために)

要するに、大規模モデルの訓練プロセスにおいて、事前学習はデータ量に非常に高い要求を持ち、必要なGPU計算能力も最大であり、ファインチューニングはパラメータを改善するためにより高品質なデータを必要とし、強化学習は報酬モデルを通じてパラメータを反復的に更新し、より高品質な結果を出力することができます。

訓練の過程において、パラメータが多ければ多いほど、その一般化能力の上限が高くなります。例えば、関数の例でY = aX + bを考えると、実際には2つのニューロンXおよびX0があります。したがって、パラメータがどのように変化しても、フィッティングできるデータは非常に限られています。なぜなら、その本質は依然として1本の直線だからです。ニューロンが増えれば増えるほど、より多くのパラメータを反復処理でき、より多くのデータをフィットさせることができます。これが大規模モデルが奇跡を生む理由であり、また大規模モデルと呼ばれる理由でもあります。その本質は、膨大なニューロンとパラメータ、膨大なデータ、同時に膨大な計算力を必要とすることです。

したがって、大規模モデルのパフォーマンスは主に3つの要素によって決まります。パラメータの数、データの量と質、計算能力の3つが共同で大規模モデルの結果の質と一般化能力に影響を与えます。パラメータの数をp、データの量をn(トークンの数で計算すると)、一般的な経験則を用いて必要な計算量を計算することができ、これにより大まかに必要な計算能力と訓練時間を予測することができます。

計算能力は一般にFlで表されます