AI x Crypto: Dari nol ke puncak

Pendahuluan

Perkembangan industri AI baru-baru ini dianggap oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, Boston Consulting Group memperkirakan bahwa GPT telah meningkatkan efisiensi kerja di Amerika Serikat sekitar 20%. Pada saat yang sama, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak baru, di mana desain perangkat lunak sebelumnya adalah kode yang tepat, kini menjadi kerangka model besar yang lebih umum yang disematkan ke dalam perangkat lunak, yang mampu memberikan kinerja yang lebih baik dan mendukung input dan output dengan mode yang lebih luas. Teknologi pembelajaran mendalam memang telah membawa kemakmuran keempat bagi industri AI, dan tren ini juga memengaruhi industri mata uang kripto.

Dalam laporan ini, kami akan membahas secara mendetail sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak penemuan teknologi pembelajaran mendalam terhadap industri. Kemudian, kami akan menganalisis secara mendalam rantai pasokan hulu dan hilir dalam pembelajaran mendalam, termasuk GPU, komputasi awan, sumber data, perangkat tepi, serta kondisi dan tren perkembangannya. Setelah itu, kami akan membahas secara mendalam hubungan antara cryptocurrency dan industri AI, serta merangkum pola rantai industri AI yang terkait dengan cryptocurrency.

Sejarah Perkembangan Industri AI

Industri AI dimulai dari tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, kalangan akademis dan industri telah mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan dalam konteks latar belakang disiplin ilmu yang berbeda di berbagai era.

Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", di mana konsep teknologi ini adalah membiarkan mesin meningkatkan kinerja sistem dengan iterasi berulang dalam tugas berdasarkan data. Langkah utama adalah mengirimkan data ke algoritma, menggunakan data ini untuk melatih model, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.

Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia.

Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( juga dikenal sebagai pembelajaran mendalam ), alasan utamanya adalah arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( serta parameter ) cukup banyak, maka akan ada cukup banyak peluang untuk menyelesaikan tugas umum yang kompleks. Melalui masukan data, parameter neuron dapat terus disesuaikan, sehingga setelah mengalami banyak data, neuron tersebut akan mencapai kondisi optimal ( parameter ), inilah yang disebut sebagai "bekerja keras menghasilkan keajaiban", dan inilah asal-usul kata "dalam" – jumlah lapisan dan neuron yang cukup banyak.

Sebagai contoh, dapat dipahami dengan sederhana bahwa kita membangun sebuah fungsi, di mana ketika kita memasukkan X=2, maka Y=3; ketika X=3, maka Y=5. Jika kita ingin fungsi ini berlaku untuk semua X, maka kita perlu terus menambahkan derajat fungsi ini dan parameternya. Misalnya, saat ini saya dapat membangun fungsi yang memenuhi kondisi ini sebagai Y = 2X - 1. Namun, jika ada satu data dengan X=2, Y=11, maka kita perlu membangun kembali fungsi yang cocok untuk ketiga titik data ini. Menggunakan GPU untuk brute force, ditemukan Y = X2 - 3X + 5, yang cukup cocok, tetapi tidak perlu sepenuhnya cocok dengan data, cukup mengikuti keseimbangan dengan output yang kira-kira mirip. Di sini, X2, X, dan X0 mewakili neuron yang berbeda, sedangkan 1, -3, dan 5 adalah parameternya.

Pada saat ini, jika kita memasukkan sejumlah besar data ke dalam jaringan saraf, kita dapat menambah neuron dan mengiterasi parameter untuk menyesuaikan data baru. Dengan demikian, kita dapat menyesuaikan semua data.

Dan teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknis, seperti jaringan saraf awal, jaringan saraf umpan balik, RNN, CNN, GAN, yang akhirnya berevolusi menjadi model besar modern seperti GPT yang menggunakan teknologi Transformer. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah konverter ( Transformer ), untuk mengkodekan semua modalitas ( seperti audio, video, gambar, dll ) menjadi nilai yang sesuai untuk representasi. Kemudian data ini dimasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan diri dengan jenis data apa pun, yaitu untuk mencapai multimodal.

Perkembangan AI telah mengalami tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, sepuluh tahun setelah teknologi AI diperkenalkan. Gelombang ini dipicu oleh perkembangan teknologi simbolisme, yang menyelesaikan masalah pemrosesan bahasa alami yang umum dan dialog antara manusia dan mesin. Pada waktu yang sama, sistem pakar lahir, yang merupakan sistem pakar DENRAL yang diselesaikan di bawah pengawasan NASA oleh Universitas Stanford. Sistem ini memiliki pengetahuan kimia yang sangat kuat, melakukan inferensi berdasarkan pertanyaan untuk menghasilkan jawaban yang setara dengan seorang ahli kimia. Sistem pakar kimia ini dapat dianggap sebagai kombinasi antara basis pengetahuan kimia dan sistem inferensi.

Setelah sistem pakar, pada tahun 1990-an, ilmuwan dan filsuf Amerika keturunan Israel, Judea Pearl(, mengusulkan jaringan Bayesian, yang juga dikenal sebagai jaringan keyakinan. Pada saat yang sama, Brooks mengajukan robotika berbasis perilaku, menandai lahirnya behaviorisme.

Pada tahun 1997, IBM Deep Blue mengalahkan juara catur Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak sejarah dalam kecerdasan buatan, teknologi AI memasuki puncak perkembangan kedua.

Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raksasa pembelajaran mendalam, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengemukakan konsep pembelajaran mendalam, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk melakukan pembelajaran representasi dari data. Setelah itu, algoritma pembelajaran mendalam secara bertahap berevolusi, dari RNN, GAN hingga Transformer dan Stable Diffusion, kedua algoritma ini bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.

Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:

• Pada tahun 2011, Watson) dari IBM mengalahkan manusia dan menjadi juara dalam kuis "Jeopardy(".

• Pada tahun 2014, Goodfellow mengusulkan GAN) Jaringan Generatif Adversarial, Generative Adversarial Network(, yang dapat menghasilkan foto yang tampak nyata melalui cara belajar dengan membiarkan dua jaringan saraf bersaing satu sama lain. Sementara itu, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang dikenal sebagai buku bunga, merupakan salah satu buku pengantar penting di bidang pembelajaran mendalam.

• Pada tahun 2015, Hinton dan rekan-rekannya mengajukan algoritma pembelajaran mendalam di majalah "Nature", yang segera memicu reaksi besar di kalangan akademisi dan industri.

• Pada tahun 2015, OpenAI didirikan, Musk, Presiden YC Altman, dan investor malaikat Peter Thiel ) Peter Thiel ( bersama-sama mengumumkan investasi sebesar 1 miliar dolar.

• Pada tahun 2016, AlphaGo yang berbasis teknologi pembelajaran mendalam bertanding melawan juara dunia Go dan pemain profesional sembilan dan Li Shishi, dengan skor total 4-1.

• Pada tahun 2017, perusahaan teknologi robotika Hanson Robotics) dari Hong Kong, China, mengembangkan robot humanoid Sophia, yang disebut sebagai robot pertama dalam sejarah yang memperoleh status sebagai warga negara tingkat satu, dengan kemampuan ekspresi wajah yang kaya serta pemahaman bahasa manusia.

• Pada tahun 2017, Google yang memiliki banyak bakat dan cadangan teknologi di bidang kecerdasan buatan menerbitkan makalah "Attention is all you need" yang mengusulkan algoritma Transformer, dan model bahasa skala besar mulai muncul.

• Pada tahun 2018, OpenAI merilis GPT( Generative Pre-trained Transformer) yang dibangun berdasarkan algoritma Transformer, yang merupakan salah satu model bahasa terbesar pada saat itu.

• Pada tahun 2018, tim Google Deepmind merilis AlphaGo yang berbasis pembelajaran mendalam, mampu melakukan prediksi struktur protein, yang dianggap sebagai tanda kemajuan besar di bidang kecerdasan buatan.

• Pada tahun 2019, OpenAI merilis GPT-2, model ini memiliki 1,5 miliar parameter.

• Pada tahun 2020, OpenAI mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih banyak dari versi sebelumnya GPT-2. Model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja yang sangat baik dalam berbagai tugas NLP( seperti menjawab pertanyaan, menerjemahkan, dan menulis artikel).

• Pada tahun 2021, OpenAI merilis GPT-4, model ini memiliki 1,76 triliun parameter, sepuluh kali lipat dari GPT-3.

• Aplikasi ChatGPT berbasis model GPT-4 diluncurkan pada Januari 2023, pada bulan Maret ChatGPT mencapai seratus juta pengguna, menjadi aplikasi yang mencapai seratus juta pengguna tercepat dalam sejarah.

• Pada tahun 2024, OpenAI meluncurkan GPT-4 omni.

Catatan: Karena banyaknya makalah tentang kecerdasan buatan, banyak aliran, dan evolusi teknologi yang berbeda, maka di sini kami terutama mengikuti sejarah perkembangan pembelajaran mendalam atau koneksionisme, aliran dan teknologi lainnya masih dalam proses perkembangan yang pesat.

Rantai Industri Pembelajaran Mendalam

Model bahasa besar saat ini semuanya menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dengan GPT sebagai pelopor, model besar ini telah menciptakan gelombang baru dalam kecerdasan buatan, banyak pemain memasuki jalur ini, dan kami juga menemukan bahwa permintaan pasar untuk data dan kekuatan komputasi meledak secara besar-besaran. Oleh karena itu, dalam bagian laporan ini, kami terutama mengeksplorasi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilirnya terbentuk di industri AI yang dipimpin oleh algoritma pembelajaran mendalam, serta bagaimana keadaan hulu dan hilir, hubungan penawaran dan permintaan, dan perkembangan di masa depan.

Pertama-tama, yang perlu kita klarifikasi adalah bahwa saat melakukan pelatihan model besar LLM yang dipimpin oleh GPT berbasis teknologi Transformer(, ada tiga langkah yang harus diikuti.

Sebelum pelatihan, karena didasarkan pada Transformer, maka konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Dalam aturan praktis umum, sebuah kata atau karakter dalam bahasa Inggris dapat secara kasar dianggap sebagai satu Token, sementara setiap karakter Han dapat dianggap secara kasar sebagai dua Token. Ini juga merupakan unit dasar yang digunakan dalam penilaian GPT.

Langkah pertama, pre-training. Dengan memberikan banyak pasangan data ke lapisan input, mirip dengan contoh yang diberikan di bagian pertama laporan )X,Y(, untuk mencari parameter terbaik dari masing-masing neuron di bawah model tersebut, pada saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling memakan daya komputasi, karena harus mengulangi iterasi neuron mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua guna mengiterasi parameter.

Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah kecil data yang berkualitas sangat tinggi untuk dilatih, perubahan seperti ini akan membuat keluaran model memiliki kualitas yang lebih tinggi, karena pre-training memerlukan banyak data, tetapi banyak data mungkin mengandung kesalahan atau berkualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.

Langkah ketiga, pembelajaran penguatan. Pertama-tama akan dibangun sebuah model baru, yang kami sebut "model hadiah", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini akan cukup sederhana, karena skenario bisnisnya cukup vertikal. Kemudian model ini digunakan untuk menentukan apakah keluaran model besar kami berkualitas tinggi, sehingga kami dapat menggunakan model hadiah untuk secara otomatis mengiterasi parameter model besar. ) Namun terkadang juga perlu keterlibatan manusia untuk menilai kualitas keluaran model (.

Singkatnya, dalam proses pelatihan model besar, pra-pelatihan memiliki tuntutan yang sangat tinggi terhadap jumlah data, dan daya komputasi GPU yang diperlukan juga paling banyak, sementara penyesuaian memerlukan data berkualitas lebih tinggi untuk memperbaiki parameter, dan pembelajaran penguatan dapat melakukan iterasi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.

Dalam proses pelatihan, semakin banyak parameter yang ada, semakin tinggi batas kemampuan generalisasinya. Misalnya, dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, sehingga bagaimana parameter berubah, data yang dapat diusulkan sangat terbatas, karena pada dasarnya tetap merupakan garis lurus. Jika neuron semakin banyak, maka lebih banyak parameter dapat diiterasi, sehingga lebih banyak data dapat diusulkan. Inilah alasan mengapa model besar dapat menghasilkan keajaiban, dan juga alasan mengapa disebut model besar, pada dasarnya adalah sejumlah besar neuron dan parameter, serta sejumlah besar data, sekaligus memerlukan daya komputasi yang besar.

Oleh karena itu, kinerja model besar ditentukan terutama oleh tiga aspek, jumlah parameter, jumlah dan kualitas data, serta daya komputasi, yang secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita asumsikan jumlah parameter adalah p, jumlah data adalah n) dihitung berdasarkan jumlah Token(, maka kita dapat menghitung jumlah komputasi yang dibutuhkan berdasarkan aturan umum, sehingga kita dapat memperkirakan kebutuhan daya komputasi yang harus dibeli dan waktu pelatihan.

Kekuatan komputasi biasanya diukur dalam Fl