يعتبر بعض الناس أن تطور صناعة الذكاء الاصطناعي في الآونة الأخيرة هو الثورة الصناعية الرابعة. لقد أدت ظهور النماذج الكبيرة إلى تحسين ملحوظ في كفاءة مختلف الصناعات، حيث تعتقد شركة بوسطن الاستشارية أن GPT قد زادت من كفاءة العمل في الولايات المتحدة بنحو 20%. في الوقت نفسه، يُعتبر القدرة على التعميم التي توفرها النماذج الكبيرة نمط تصميم برمجي جديد، حيث كان تصميم البرمجيات السابق يعتمد على التعليمات البرمجية الدقيقة، بينما الآن يتم دمج إطار نماذج أكبر وأكثر عمومية في البرمجيات، مما يمنح هذه البرمجيات أداءً أفضل ويدعم مجموعة واسعة من المدخلات والمخرجات. لقد جلبت تقنيات التعلم العميق بالفعل ازدهارًا رابعًا لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
في هذا التقرير، سنستعرض بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، بالإضافة إلى تأثير اختراع تقنية التعلم العميق على الصناعة. ثم سنقوم بتحليل عميق لسلسلة القيمة في التعلم العميق، بما في ذلك وحدات معالجة الرسوميات، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية، بالإضافة إلى الوضع الحالي والاتجاهات. بعد ذلك، سنتناول بشكل أساسي العلاقة بين العملات الرقمية وصناعة الذكاء الاصطناعي، وسنقوم بترتيب هيكل سلسلة القيمة المتعلقة بالذكاء الاصطناعي المرتبط بالعملات الرقمية.
بدأت صناعة الذكاء الاصطناعي منذ الخمسينيات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طور الأكاديميون والصناعيون في فترات زمنية مختلفة ومن خلفيات علمية متنوعة مدارس متعددة لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة مصطلح "تعلم الآلة"، حيث تتمثل فكرة هذه التقنية في تمكين الآلات من تحسين أداء النظام من خلال التكرار المتكرر في المهام اعتمادًا على البيانات. تتمثل الخطوات الرئيسية في إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ الآلية.
توجد حاليًا ثلاث مدارس رئيسية في تعلم الآلة، وهي الارتباطية، والرمزية، والسلوكية، التي تحاكي على التوالي النظام العصبي البشري، والتفكير، والسلوك.
في الوقت الحالي، يسيطر الاتصال الذي تمثله الشبكات العصبية، والمعروف أيضًا باسم التعلم العميق، على الساحة. السبب الرئيسي هو أن هذا البناء يحتوي على طبقة إدخال وطبقة إخراج، ولكن به العديد من الطبقات المخفية. بمجرد أن تصبح عدد الطبقات وعدد الخلايا العصبية كافيين، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وعندما تمر البيانات عبرها عدة مرات، ستصل تلك الخلايا العصبية إلى حالة مثالية. وهذا ما يسمى "بالجهد الكبير الذي يحقق المعجزات"، وهو أيضًا سبب وجود كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
كمثال، يمكن فهمه ببساطة على أنه تم بناء دالة، عندما ندخل X=2 تكون Y=3؛ وعندما ندخل X=3 تكون Y=5. إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين علينا إضافة درجة هذه الدالة ومعاملاتها باستمرار، على سبيل المثال يمكنني في هذه اللحظة بناء دالة تلبي هذا الشرط وهي Y = 2X -1، ولكن إذا كانت هناك بيانات مثل X=2، Y=11، فسنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاثة للبيانات. باستخدام وحدة معالجة الرسومات لاكتشاف الحلول بطريقة تجريبية، نجد أن Y = X2 -3X +5 هي الأنسب، لكن لا حاجة لأن تتطابق تمامًا مع البيانات، يكفي أن نلتزم بالتوازن، وأن تكون المخرجات مشابهة بشكل عام. هنا X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معاملاتها.
في هذه الحالة، إذا قمنا بإدخال كميات كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا ملاءمة جميع البيانات.
تكنولوجيا التعلم العميق المعتمدة على الشبكات العصبية شهدت أيضًا عدة تكرارات وتطورات تقنية، بدءًا من الشبكات العصبية المبكرة، الشبكات العصبية التغذوية، RNN، CNN، GAN، وأخيرًا تطورت إلى النماذج الكبيرة الحديثة مثل GPT التي تستخدم تقنية Transformer. تقنية Transformer ليست سوى اتجاه تطوري واحد للشبكات العصبية، حيث أضافت محولًا ( Transformer )، يستخدم لترميز جميع الأنماط ( مثل الصوت، الفيديو، الصور، إلخ ) إلى قيم عددية تمثلها. ثم يتم إدخالها في الشبكة العصبية، وبالتالي يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
شهد تطوير الذكاء الاصطناعي ثلاث موجات تكنولوجية، كانت الموجة الأولى في الستينيات من القرن الماضي، بعد عشر سنوات من طرح تقنية الذكاء الاصطناعي. كانت هذه الموجة ناتجة عن تطوير تقنيات الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والحوار بين الإنسان والآلة. في نفس الفترة، وُلِد نظام الخبراء، وهو نظام DENRAL الذي تم إنجازه تحت إشراف جامعة ستانفورد في وكالة الفضاء الأمريكية، والذي يمتلك معرفة قوية جداً في الكيمياء، حيث يقوم باستنتاج الإجابات كما يفعل خبير الكيمياء من خلال طرح الأسئلة. يمكن اعتبار هذا النظام الخبير في الكيمياء بمثابة دمج لقاعدة بيانات معرفة الكيمياء ونظام الاستنتاج.
بعد نظام الخبراء، اقترح العالم الأمريكي والفيلسوف ذو الأصول الإسرائيلية جوديا بيرل ( Judea Pearl ) في التسعينيات من القرن العشرين الشبكات البايزية، والتي تُعرف أيضًا بشبكات المعتقدات. في نفس الفترة، قدم بروكس الروبوتات القائمة على السلوك، مما يدل على ولادة السلوكية.
في عام 1997، هزم "بلو" من آي بي إم بواقع 3.5:2.5 بطل الشطرنج كاسباروف (Kasparov)، وقد اعتُبرت هذه الانتصار علامة فارقة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة في التطور.
حدثت الموجة الثالثة من تقنيات الذكاء الاصطناعي في عام 2006. قدم ثلاثة عمالقة في التعلم العميق، يان ليكون وجيفري هينتون ويوشوا بنجيو، مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، وهذين الخوارزميتين شكلتا هذه الموجة التقنية الثالثة، وكانت أيضاً فترة الازدهار للربطية.
ظهرت العديد من الأحداث المعروفة بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم IBM واطسون(Watson) الإنسان ليحقق البطولة في برنامج المسابقات "خطر"(Jeopardy).
في عام 2014، قدم جودفيلو شبكة الخصم التوليدية GAN(، والتي تُعرف باسم Generative Adversarial Network)، من خلال جعل شبكتين عصبيتين تتنافسان مع بعضهما البعض من أجل التعلم، مما يمكنها من توليد صور تبدو حقيقية. في الوقت نفسه، كتب جودفيلو أيضًا كتابًا بعنوان "Deep Learning"، المعروف باسم الكتاب الزهري، وهو واحد من الكتب الأساسية في مجال التعلم العميق.
في عام 2015، قدم هينتون وزملاؤه خوارزمية التعلم العميق في مجلة "Nature"، وقد أحدثت هذه الطريقة في التعلم العميق صدى كبيرًا في الأوساط الأكاديمية والصناعية على حد سواء.
في عام 2015، تم إنشاء OpenAI، حيث أعلن ماسك ورئيس Y Combinator ألتمان والمستثمر الملائكي بيتر ثيل ( وغيرهم عن استثمار مشترك قدره مليار دولار.
في عام 2016، خاضت AlphaGo المعتمدة على تقنية التعلم العميق معركة شطرنج ضد بطل العالم في الشطرنج ولاعب الشطرنج المحترف ذو التسع دان لي شي شي، وحققت الفوز بنتيجة إجمالية 4-1.
في عام 2017، قامت شركة هانسون للروبوتات )Hanson Robotics( في هونغ كونغ، الصين، بتطوير الروبوت الشبيه بالإنسان صوفيا، الذي يُعتبر أول روبوت يحصل على وضعية المواطن من الدرجة الأولى في التاريخ، ويتميز بتعبيرات وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت Google، التي لديها قاعدة غنية من المواهب والتقنيات في مجال الذكاء الاصطناعي، ورقة بحثية بعنوان "الاهتمام هو كل ما تحتاجه"، مما أدى إلى ظهور نماذج لغوية كبيرة.
في عام 2018، أصدرت OpenAI نموذج GPT) Generative Pre-trained Transformer( المبني على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت فريق Google Deepmind AlphaGo القائم على التعلم العميق، والذي يمكنه التنبؤ بهيكل البروتين، ويعتبر علامة تقدم كبيرة في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، الذي يمتلك 1.5 مليار معلمة.
في عام 2020، طورت OpenAI نموذج GPT-3 الذي يحتوي على 175 مليار معلمة، وهو أعلى بـ 100 مرة من الإصدار السابق GPT-2. تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في عدة مهام معالجة اللغة الطبيعية، بما في ذلك الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت OpenAI نموذج GPT-4، الذي يحتوي على 1.76 تريليون معلمة، وهو 10 أضعاف GPT-3.
تم إطلاق تطبيق ChatGPT القائم على نموذج GPT-4 في يناير 2023، وفي مارس وصل عدد مستخدمي ChatGPT إلى مائة مليون، ليصبح التطبيق الأسرع في التاريخ للوصول إلى مائة مليون مستخدم.
في عام 2024، أطلقت OpenAI GPT-4 أومي.
ملاحظة: نظرًا لوجود العديد من الأوراق البحثية حول الذكاء الاصطناعي، والعديد من المدارس الفكرية، وتطورات تقنية متنوعة، فإننا هنا نتبع بشكل رئيسي تاريخ تطور التعلم العميق أو الاتصال، بينما لا تزال المدارس الفكرية والتقنيات الأخرى في مرحلة تطور سريع.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
سلسلة صناعة التعلم العميق
تستخدم النماذج الكبيرة الحالية للغة طرق التعلم العميق القائمة على الشبكات العصبية. وقد أدت النماذج الكبيرة التي يقودها GPT إلى موجة من الحماس في مجال الذكاء الاصطناعي، حيث تدفق عدد كبير من اللاعبين إلى هذا المجال. كما اكتشفنا أن السوق يواجه需求 هائلة للبيانات والقدرة الحسابية، لذلك في هذا الجزء من التقرير، نستكشف بشكل أساسي سلسلة الصناعة لخوارزميات التعلم العميق، وكيف تتكون السلسلتان العليا والسفلى في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي حالة العرض والطلب وتطورها في المستقبل.
أولاً، يجب أن نوضح أنه عند إجراء تدريب نماذج LLMs الكبيرة التي تقودها GPT المعتمدة على تقنية Transformer، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، فإن المحول يحتاج إلى تحويل إدخال النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية باسم Token. وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبًا كـ Token واحد، بينما يمكن اعتبار كل حرف صيني تقريبًا كـ Tokenين. وهذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال توفير عدد كافٍ من أزواج البيانات لطبقة الإدخال، مشابهةً لما تم ذكره في الجزء الأول من التقرير مثل (X، Y)، للبحث عن أفضل معلمات لكل عصبون في النموذج، في هذه المرحلة نحتاج إلى كمية كبيرة من البيانات، وهذه العملية هي أيضًا الأكثر استهلاكًا للقدرة الحاسوبية، لأنها تتطلب تكرارًا متكررًا لتجربة العصبونات مع معلمات مختلفة. بعد اكتمال تدريب دفعة البيانات، يتم عادةً استخدام نفس دفعة البيانات للتدريب الثانوي لتكرار المعلمات.
الخطوة الثانية، الضبط الدقيق. الضبط الدقيق هو إعطاء دفعة صغيرة من البيانات ولكن ذات جودة عالية للتدريب، مثل هذا التغيير سيجعل مخرجات النموذج ذات جودة أعلى، لأن التدريب المسبق يتطلب كمية كبيرة من البيانات، ولكن قد تحتوي العديد من البيانات على أخطاء أو جودة منخفضة. يمكن أن تعمل خطوة الضبط الدقيق على تحسين جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً، سيتم إنشاء نموذج جديد تمامًا، نطلق عليه اسم "نموذج المكافأة"، وهدف هذا النموذج بسيط جدًا، وهو ترتيب النتائج الناتجة، لذا سيكون من السهل نسبيًا تنفيذ هذا النموذج، لأن سيناريو العمل عمودي جدًا. بعد ذلك، سيتم استخدام هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، وبهذه الطريقة يمكن استخدام نموذج مكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان، يلزم أيضًا المشاركة البشرية لتقييم جودة مخرجات النموذج )
باختصار، خلال عملية تدريب النماذج الكبيرة، تتطلب مرحلة ما قبل التدريب كمية كبيرة جداً من البيانات، كما أن القوة الحاسوبية لوحدات معالجة الرسوميات (GPU) المطلوبة هي الأعلى، في حين أن تعديل النموذج يحتاج إلى بيانات ذات جودة أعلى لتحسين المعلمات، ويمكن أن تقوم التعلم المعزز بتكرار المعلمات من خلال نموذج مكافأة لإنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زاد عدد المعلمات، زادت قدرة النموذج على التعميم، على سبيل المثال في المثال الذي نستخدم فيه الدالة Y = aX + b، لدينا في الواقع وحدتين عصبيتين X و X0، وبالتالي فإن كيفية تغير المعلمات تحدد البيانات التي يمكن أن يتم تمثيلها، لأنها في جوهرها لا تزال خطاً مستقيماً. إذا زاد عدد الوحدات العصبية، فسوف نتمكن من تكرار المزيد من المعلمات، وبالتالي يمكننا تمثيل المزيد من البيانات، وهذا هو سبب وجود نماذج كبيرة تُحقق معجزات، وهو أيضاً السبب وراء التسمية الشائعة بالنموذج الكبير، إذ أن جوهره يتكون من عدد هائل من الوحدات العصبية والمعلمات وكمية ضخمة من البيانات، وبنفس الوقت يحتاج إلى قدرة حسابية ضخمة.
لذلك، يتم تحديد أداء النماذج الكبيرة بشكل رئيسي من خلال ثلاثة عوامل: عدد المعلمات، كمية وجودة البيانات، والقدرة الحسابية، وهذه العوامل الثلاثة تؤثر معًا على جودة نتائج النموذج وقدرته على التعميم. لنفترض أن عدد المعلمات هو p، وكمية البيانات هي n( محسوبة بناءً على عدد الرموز)، يمكننا من خلال قاعدة التجربة العامة حساب كمية الحساب المطلوبة، مما يمكننا من تقدير الحالة العامة للقدرة الحسابية التي نحتاج إلى شرائها ومدة التدريب.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
تسجيلات الإعجاب 12
أعجبني
12
6
مشاركة
تعليق
0/400
SandwichDetector
· منذ 17 س
لا بأس، سأعود إلى الوطن وأبيع في الشارع.
شاهد النسخة الأصليةرد0
GasGasGasBro
· 07-02 11:09
هذا التحديث جنون
شاهد النسخة الأصليةرد0
FUDwatcher
· 07-02 09:24
آه؟ هل جاء الذكاء الاصطناعي مرة أخرى لجذب الانتباه؟
الذكاء الاصطناعي والأصول الرقمية: تحليل شامل من التاريخ إلى سلسلة الصناعة
الذكاء الاصطناعي x التشفير: من الصفر إلى القمة
المقدمة
يعتبر بعض الناس أن تطور صناعة الذكاء الاصطناعي في الآونة الأخيرة هو الثورة الصناعية الرابعة. لقد أدت ظهور النماذج الكبيرة إلى تحسين ملحوظ في كفاءة مختلف الصناعات، حيث تعتقد شركة بوسطن الاستشارية أن GPT قد زادت من كفاءة العمل في الولايات المتحدة بنحو 20%. في الوقت نفسه، يُعتبر القدرة على التعميم التي توفرها النماذج الكبيرة نمط تصميم برمجي جديد، حيث كان تصميم البرمجيات السابق يعتمد على التعليمات البرمجية الدقيقة، بينما الآن يتم دمج إطار نماذج أكبر وأكثر عمومية في البرمجيات، مما يمنح هذه البرمجيات أداءً أفضل ويدعم مجموعة واسعة من المدخلات والمخرجات. لقد جلبت تقنيات التعلم العميق بالفعل ازدهارًا رابعًا لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
في هذا التقرير، سنستعرض بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، بالإضافة إلى تأثير اختراع تقنية التعلم العميق على الصناعة. ثم سنقوم بتحليل عميق لسلسلة القيمة في التعلم العميق، بما في ذلك وحدات معالجة الرسوميات، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية، بالإضافة إلى الوضع الحالي والاتجاهات. بعد ذلك، سنتناول بشكل أساسي العلاقة بين العملات الرقمية وصناعة الذكاء الاصطناعي، وسنقوم بترتيب هيكل سلسلة القيمة المتعلقة بالذكاء الاصطناعي المرتبط بالعملات الرقمية.
! علم الوافد الجديد 丨 الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي منذ الخمسينيات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طور الأكاديميون والصناعيون في فترات زمنية مختلفة ومن خلفيات علمية متنوعة مدارس متعددة لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة مصطلح "تعلم الآلة"، حيث تتمثل فكرة هذه التقنية في تمكين الآلات من تحسين أداء النظام من خلال التكرار المتكرر في المهام اعتمادًا على البيانات. تتمثل الخطوات الرئيسية في إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ الآلية.
توجد حاليًا ثلاث مدارس رئيسية في تعلم الآلة، وهي الارتباطية، والرمزية، والسلوكية، التي تحاكي على التوالي النظام العصبي البشري، والتفكير، والسلوك.
في الوقت الحالي، يسيطر الاتصال الذي تمثله الشبكات العصبية، والمعروف أيضًا باسم التعلم العميق، على الساحة. السبب الرئيسي هو أن هذا البناء يحتوي على طبقة إدخال وطبقة إخراج، ولكن به العديد من الطبقات المخفية. بمجرد أن تصبح عدد الطبقات وعدد الخلايا العصبية كافيين، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وعندما تمر البيانات عبرها عدة مرات، ستصل تلك الخلايا العصبية إلى حالة مثالية. وهذا ما يسمى "بالجهد الكبير الذي يحقق المعجزات"، وهو أيضًا سبب وجود كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
كمثال، يمكن فهمه ببساطة على أنه تم بناء دالة، عندما ندخل X=2 تكون Y=3؛ وعندما ندخل X=3 تكون Y=5. إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين علينا إضافة درجة هذه الدالة ومعاملاتها باستمرار، على سبيل المثال يمكنني في هذه اللحظة بناء دالة تلبي هذا الشرط وهي Y = 2X -1، ولكن إذا كانت هناك بيانات مثل X=2، Y=11، فسنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاثة للبيانات. باستخدام وحدة معالجة الرسومات لاكتشاف الحلول بطريقة تجريبية، نجد أن Y = X2 -3X +5 هي الأنسب، لكن لا حاجة لأن تتطابق تمامًا مع البيانات، يكفي أن نلتزم بالتوازن، وأن تكون المخرجات مشابهة بشكل عام. هنا X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معاملاتها.
في هذه الحالة، إذا قمنا بإدخال كميات كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا ملاءمة جميع البيانات.
تكنولوجيا التعلم العميق المعتمدة على الشبكات العصبية شهدت أيضًا عدة تكرارات وتطورات تقنية، بدءًا من الشبكات العصبية المبكرة، الشبكات العصبية التغذوية، RNN، CNN، GAN، وأخيرًا تطورت إلى النماذج الكبيرة الحديثة مثل GPT التي تستخدم تقنية Transformer. تقنية Transformer ليست سوى اتجاه تطوري واحد للشبكات العصبية، حيث أضافت محولًا ( Transformer )، يستخدم لترميز جميع الأنماط ( مثل الصوت، الفيديو، الصور، إلخ ) إلى قيم عددية تمثلها. ثم يتم إدخالها في الشبكة العصبية، وبالتالي يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
شهد تطوير الذكاء الاصطناعي ثلاث موجات تكنولوجية، كانت الموجة الأولى في الستينيات من القرن الماضي، بعد عشر سنوات من طرح تقنية الذكاء الاصطناعي. كانت هذه الموجة ناتجة عن تطوير تقنيات الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والحوار بين الإنسان والآلة. في نفس الفترة، وُلِد نظام الخبراء، وهو نظام DENRAL الذي تم إنجازه تحت إشراف جامعة ستانفورد في وكالة الفضاء الأمريكية، والذي يمتلك معرفة قوية جداً في الكيمياء، حيث يقوم باستنتاج الإجابات كما يفعل خبير الكيمياء من خلال طرح الأسئلة. يمكن اعتبار هذا النظام الخبير في الكيمياء بمثابة دمج لقاعدة بيانات معرفة الكيمياء ونظام الاستنتاج.
بعد نظام الخبراء، اقترح العالم الأمريكي والفيلسوف ذو الأصول الإسرائيلية جوديا بيرل ( Judea Pearl ) في التسعينيات من القرن العشرين الشبكات البايزية، والتي تُعرف أيضًا بشبكات المعتقدات. في نفس الفترة، قدم بروكس الروبوتات القائمة على السلوك، مما يدل على ولادة السلوكية.
في عام 1997، هزم "بلو" من آي بي إم بواقع 3.5:2.5 بطل الشطرنج كاسباروف (Kasparov)، وقد اعتُبرت هذه الانتصار علامة فارقة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة في التطور.
حدثت الموجة الثالثة من تقنيات الذكاء الاصطناعي في عام 2006. قدم ثلاثة عمالقة في التعلم العميق، يان ليكون وجيفري هينتون ويوشوا بنجيو، مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، وهذين الخوارزميتين شكلتا هذه الموجة التقنية الثالثة، وكانت أيضاً فترة الازدهار للربطية.
ظهرت العديد من الأحداث المعروفة بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم IBM واطسون(Watson) الإنسان ليحقق البطولة في برنامج المسابقات "خطر"(Jeopardy).
في عام 2014، قدم جودفيلو شبكة الخصم التوليدية GAN(، والتي تُعرف باسم Generative Adversarial Network)، من خلال جعل شبكتين عصبيتين تتنافسان مع بعضهما البعض من أجل التعلم، مما يمكنها من توليد صور تبدو حقيقية. في الوقت نفسه، كتب جودفيلو أيضًا كتابًا بعنوان "Deep Learning"، المعروف باسم الكتاب الزهري، وهو واحد من الكتب الأساسية في مجال التعلم العميق.
في عام 2015، قدم هينتون وزملاؤه خوارزمية التعلم العميق في مجلة "Nature"، وقد أحدثت هذه الطريقة في التعلم العميق صدى كبيرًا في الأوساط الأكاديمية والصناعية على حد سواء.
في عام 2015، تم إنشاء OpenAI، حيث أعلن ماسك ورئيس Y Combinator ألتمان والمستثمر الملائكي بيتر ثيل ( وغيرهم عن استثمار مشترك قدره مليار دولار.
في عام 2016، خاضت AlphaGo المعتمدة على تقنية التعلم العميق معركة شطرنج ضد بطل العالم في الشطرنج ولاعب الشطرنج المحترف ذو التسع دان لي شي شي، وحققت الفوز بنتيجة إجمالية 4-1.
في عام 2017، قامت شركة هانسون للروبوتات )Hanson Robotics( في هونغ كونغ، الصين، بتطوير الروبوت الشبيه بالإنسان صوفيا، الذي يُعتبر أول روبوت يحصل على وضعية المواطن من الدرجة الأولى في التاريخ، ويتميز بتعبيرات وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت Google، التي لديها قاعدة غنية من المواهب والتقنيات في مجال الذكاء الاصطناعي، ورقة بحثية بعنوان "الاهتمام هو كل ما تحتاجه"، مما أدى إلى ظهور نماذج لغوية كبيرة.
في عام 2018، أصدرت OpenAI نموذج GPT) Generative Pre-trained Transformer( المبني على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت فريق Google Deepmind AlphaGo القائم على التعلم العميق، والذي يمكنه التنبؤ بهيكل البروتين، ويعتبر علامة تقدم كبيرة في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، الذي يمتلك 1.5 مليار معلمة.
في عام 2020، طورت OpenAI نموذج GPT-3 الذي يحتوي على 175 مليار معلمة، وهو أعلى بـ 100 مرة من الإصدار السابق GPT-2. تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في عدة مهام معالجة اللغة الطبيعية، بما في ذلك الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت OpenAI نموذج GPT-4، الذي يحتوي على 1.76 تريليون معلمة، وهو 10 أضعاف GPT-3.
تم إطلاق تطبيق ChatGPT القائم على نموذج GPT-4 في يناير 2023، وفي مارس وصل عدد مستخدمي ChatGPT إلى مائة مليون، ليصبح التطبيق الأسرع في التاريخ للوصول إلى مائة مليون مستخدم.
في عام 2024، أطلقت OpenAI GPT-4 أومي.
ملاحظة: نظرًا لوجود العديد من الأوراق البحثية حول الذكاء الاصطناعي، والعديد من المدارس الفكرية، وتطورات تقنية متنوعة، فإننا هنا نتبع بشكل رئيسي تاريخ تطور التعلم العميق أو الاتصال، بينما لا تزال المدارس الفكرية والتقنيات الأخرى في مرحلة تطور سريع.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
سلسلة صناعة التعلم العميق
تستخدم النماذج الكبيرة الحالية للغة طرق التعلم العميق القائمة على الشبكات العصبية. وقد أدت النماذج الكبيرة التي يقودها GPT إلى موجة من الحماس في مجال الذكاء الاصطناعي، حيث تدفق عدد كبير من اللاعبين إلى هذا المجال. كما اكتشفنا أن السوق يواجه需求 هائلة للبيانات والقدرة الحسابية، لذلك في هذا الجزء من التقرير، نستكشف بشكل أساسي سلسلة الصناعة لخوارزميات التعلم العميق، وكيف تتكون السلسلتان العليا والسفلى في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي حالة العرض والطلب وتطورها في المستقبل.
أولاً، يجب أن نوضح أنه عند إجراء تدريب نماذج LLMs الكبيرة التي تقودها GPT المعتمدة على تقنية Transformer، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، فإن المحول يحتاج إلى تحويل إدخال النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية باسم Token. وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبًا كـ Token واحد، بينما يمكن اعتبار كل حرف صيني تقريبًا كـ Tokenين. وهذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال توفير عدد كافٍ من أزواج البيانات لطبقة الإدخال، مشابهةً لما تم ذكره في الجزء الأول من التقرير مثل (X، Y)، للبحث عن أفضل معلمات لكل عصبون في النموذج، في هذه المرحلة نحتاج إلى كمية كبيرة من البيانات، وهذه العملية هي أيضًا الأكثر استهلاكًا للقدرة الحاسوبية، لأنها تتطلب تكرارًا متكررًا لتجربة العصبونات مع معلمات مختلفة. بعد اكتمال تدريب دفعة البيانات، يتم عادةً استخدام نفس دفعة البيانات للتدريب الثانوي لتكرار المعلمات.
الخطوة الثانية، الضبط الدقيق. الضبط الدقيق هو إعطاء دفعة صغيرة من البيانات ولكن ذات جودة عالية للتدريب، مثل هذا التغيير سيجعل مخرجات النموذج ذات جودة أعلى، لأن التدريب المسبق يتطلب كمية كبيرة من البيانات، ولكن قد تحتوي العديد من البيانات على أخطاء أو جودة منخفضة. يمكن أن تعمل خطوة الضبط الدقيق على تحسين جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً، سيتم إنشاء نموذج جديد تمامًا، نطلق عليه اسم "نموذج المكافأة"، وهدف هذا النموذج بسيط جدًا، وهو ترتيب النتائج الناتجة، لذا سيكون من السهل نسبيًا تنفيذ هذا النموذج، لأن سيناريو العمل عمودي جدًا. بعد ذلك، سيتم استخدام هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، وبهذه الطريقة يمكن استخدام نموذج مكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ( ولكن في بعض الأحيان، يلزم أيضًا المشاركة البشرية لتقييم جودة مخرجات النموذج )
باختصار، خلال عملية تدريب النماذج الكبيرة، تتطلب مرحلة ما قبل التدريب كمية كبيرة جداً من البيانات، كما أن القوة الحاسوبية لوحدات معالجة الرسوميات (GPU) المطلوبة هي الأعلى، في حين أن تعديل النموذج يحتاج إلى بيانات ذات جودة أعلى لتحسين المعلمات، ويمكن أن تقوم التعلم المعزز بتكرار المعلمات من خلال نموذج مكافأة لإنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زاد عدد المعلمات، زادت قدرة النموذج على التعميم، على سبيل المثال في المثال الذي نستخدم فيه الدالة Y = aX + b، لدينا في الواقع وحدتين عصبيتين X و X0، وبالتالي فإن كيفية تغير المعلمات تحدد البيانات التي يمكن أن يتم تمثيلها، لأنها في جوهرها لا تزال خطاً مستقيماً. إذا زاد عدد الوحدات العصبية، فسوف نتمكن من تكرار المزيد من المعلمات، وبالتالي يمكننا تمثيل المزيد من البيانات، وهذا هو سبب وجود نماذج كبيرة تُحقق معجزات، وهو أيضاً السبب وراء التسمية الشائعة بالنموذج الكبير، إذ أن جوهره يتكون من عدد هائل من الوحدات العصبية والمعلمات وكمية ضخمة من البيانات، وبنفس الوقت يحتاج إلى قدرة حسابية ضخمة.
لذلك، يتم تحديد أداء النماذج الكبيرة بشكل رئيسي من خلال ثلاثة عوامل: عدد المعلمات، كمية وجودة البيانات، والقدرة الحسابية، وهذه العوامل الثلاثة تؤثر معًا على جودة نتائج النموذج وقدرته على التعميم. لنفترض أن عدد المعلمات هو p، وكمية البيانات هي n( محسوبة بناءً على عدد الرموز)، يمكننا من خلال قاعدة التجربة العامة حساب كمية الحساب المطلوبة، مما يمكننا من تقدير الحالة العامة للقدرة الحسابية التي نحتاج إلى شرائها ومدة التدريب.
تُقاس القدرة الحاسوبية عادةً بـ Fl