IA x Cripto: De cero a la cima

Introducción

El desarrollo reciente de la industria de la IA ha sido visto por algunos como la cuarta revolución industrial. La aparición de grandes modelos ha mejorado significativamente la eficiencia en diversas industrias; Boston Consulting estima que GPT ha aumentado aproximadamente un 20% la eficiencia laboral en Estados Unidos. Al mismo tiempo, la capacidad de generalización que aportan los grandes modelos se considera un nuevo paradigma en el diseño de software. El diseño de software en el pasado se basaba en código preciso, mientras que ahora se integran marcos de grandes modelos más generalizados en el software, lo que permite un mejor rendimiento y el soporte de una gama más amplia de entradas y salidas. La tecnología de aprendizaje profundo ha traído efectivamente la cuarta prosperidad a la industria de la IA, y esta tendencia también ha influido en la industria de las criptomonedas.

En este informe, exploraremos en detalle la historia del desarrollo de la industria de la IA, la clasificación de tecnologías y el impacto de la invención de la tecnología de aprendizaje profundo en la industria. Luego, analizaremos en profundidad la cadena industrial de aprendizaje profundo, incluyendo GPU, computación en la nube, fuentes de datos, dispositivos perimetrales, así como su estado actual y tendencias. Después, discutiremos en detalle la relación entre las criptomonedas y la industria de la IA, organizando el patrón de la cadena industrial relacionada con las criptomonedas.

Historia del desarrollo de la industria de la IA

La industria de la IA comenzó en la década de 1950. Para lograr la visión de la inteligencia artificial, el mundo académico y la industria han desarrollado diversas corrientes para implementar la inteligencia artificial en diferentes épocas y contextos disciplinarios.

La tecnología moderna de inteligencia artificial utiliza principalmente el término "aprendizaje automático". La idea de esta tecnología es permitir que las máquinas mejoren el rendimiento del sistema mediante la iteración repetida en tareas basadas en datos. Los pasos principales son enviar datos al algoritmo, utilizar estos datos para entrenar el modelo, probar el modelo implementado y utilizar el modelo para completar tareas de predicción automatizadas.

Actualmente, el aprendizaje automático tiene tres corrientes principales: el conexionismo, el simbolismo y el conductismo, que imitan respectivamente el sistema nervioso, el pensamiento y el comportamiento humano.

Actualmente, el conexionismo, representado por las redes neuronales, domina ( también conocido como aprendizaje profundo ), la razón principal es que esta arquitectura tiene una capa de entrada, una capa de salida, pero múltiples capas ocultas. Una vez que el número de capas y neuronas ( parámetros ) se vuelve lo suficientemente grande, hay suficientes oportunidades para ajustar tareas complejas y generales. A través de la entrada de datos, se pueden ajustar continuamente los parámetros de las neuronas, y al final, después de haber pasado por múltiples datos, esa neurona alcanzará un estado óptimo ( parámetros ), lo que se conoce como "el gran esfuerzo produce milagros", y este es el origen de la palabra "profundidad" - un número suficiente de capas y neuronas.

Un ejemplo simple sería construir una función. Cuando introducimos X=2, Y=3; y cuando X=3, Y=5. Si queremos que esta función funcione para todos los X, necesitamos seguir añadiendo el grado de esta función y sus parámetros. Por ejemplo, en este momento puedo construir una función que satisfaga esta condición como Y = 2X -1. Sin embargo, si hay un dato donde X=2, Y=11, necesitaríamos reconstruir una función adecuada para estos tres puntos de datos. Usando GPU para un ataque de fuerza bruta, descubrimos que Y = X2 -3X +5 es bastante adecuado, aunque no es necesario que coincida completamente con los datos; solo necesita seguir el equilibrio y proporcionar una salida aproximadamente similar. Aquí, X2, X y X0 representan diferentes neuronas, y 1, -3, 5 son sus parámetros.

En este momento, si introducimos una gran cantidad de datos en la red neuronal, podemos aumentar los neuronas y ajustar los parámetros para adaptar los nuevos datos. De esta manera, podremos ajustar todos los datos.

La tecnología de aprendizaje profundo basada en redes neuronales también ha tenido múltiples iteraciones y evoluciones, desde las primeras redes neuronales, redes neuronales de retroalimentación, RNN, CNN, GAN, hasta la evolución moderna hacia grandes modelos como GPT que utilizan la tecnología Transformer. La tecnología Transformer es solo una dirección de evolución de las redes neuronales, añadiendo un convertidor ( Transformer ), para codificar los datos de todos los modos ( como audio, video, imágenes, etc. ) en valores numéricos correspondientes para representarlos. Luego se ingresan en la red neuronal, permitiendo que la red neuronal se ajuste a cualquier tipo de datos, logrando así la multimodalidad.

El desarrollo de la IA ha pasado por tres olas tecnológicas. La primera ola fue en la década de 1960, una década después de que se propusiera la tecnología de IA. Esta ola fue provocada por el desarrollo de la tecnología del simbolismo, que resolvió problemas de procesamiento de lenguaje natural y diálogo hombre-máquina. Durante el mismo período, nació el sistema experto, que fue completado bajo la supervisión de la NASA por la Universidad de Stanford, el sistema experto DENRAL. Este sistema tiene un conocimiento químico muy fuerte y deduce respuestas similares a las de un experto en química a través de preguntas. Este sistema experto en química puede verse como una combinación de una base de conocimientos químicos y un sistema de inferencia.

Después de los sistemas expertos, en la década de 1990, el científico y filósofo estadounidense de origen israelí Judea Pearl ( propuso la red bayesiana, que también se conoce como red de creencias. En la misma época, Brooks propuso la robótica basada en el comportamiento, marcando el nacimiento del conductismo.

En 1997, IBM Deep Blue venció al campeón de ajedrez Garry Kasparov por 3.5:2.5, esta victoria se considera un hito en la inteligencia artificial, marcando el inicio de un segundo auge en el desarrollo de la tecnología AI.

La tercera ola de la tecnología de la IA ocurrió en 2006. Los tres grandes del aprendizaje profundo, Yann LeCun, Geoffrey Hinton y Yoshua Bengio, propusieron el concepto de aprendizaje profundo, un algoritmo que utiliza arquitecturas de redes neuronales artificiales para el aprendizaje de representaciones de datos. Posteriormente, los algoritmos de aprendizaje profundo evolucionaron gradualmente, desde RNN, GAN hasta Transformer y Stable Diffusion. Estos dos algoritmos dieron forma a esta tercera ola tecnológica, y este también fue el apogeo del conexionismo.

Muchos eventos emblemáticos también han surgido gradualmente junto con la exploración y evolución de la tecnología de aprendizaje profundo, incluyendo:

• En 2011, Watson) de IBM ganó el campeonato en el programa de preguntas y respuestas "Jeopardy(", venciendo a humanos.

• En 2014, Goodfellow propuso la Red Generativa Antagónica GAN), Generative Adversarial Network(, que aprende mediante un juego entre dos redes neuronales, capaz de generar fotos que son indistinguibles de las reales. Al mismo tiempo, Goodfellow también escribió un libro titulado "Deep Learning", conocido como el libro de las flores, que es una de las obras fundamentales para principiantes en el campo del aprendizaje profundo.

• En 2015, Hinton y otros propusieron un algoritmo de aprendizaje profundo en la revista "Nature", la introducción de este método de aprendizaje profundo generó una gran repercusión en el ámbito académico y en la industria.

• En 2015, OpenAI fue fundado, Musk, el presidente de YC Altman, el inversor ángel Peter Thiel ) Peter Thiel ( y otros anunciaron una inversión conjunta de 1,000 millones de dólares.

• En 2016, AlphaGo, basado en tecnología de aprendizaje profundo, se enfrentó al campeón mundial de Go y jugador profesional de nueve dan, Lee Sedol, ganando con un marcador total de 4 a 1.

• En 2017, la empresa de tecnología robótica Hanson Robotics) de Hong Kong, China, desarrolló el robot humanoide Sofía, conocido como el primer robot en la historia en obtener la ciudadanía de primer nivel, que posee una rica variedad de expresiones faciales y habilidades de comprensión del lenguaje humano.

• En 2017, Google, que cuenta con un abundante talento y reservas tecnológicas en el campo de la inteligencia artificial, publicó el artículo "Attention is all you need" que presentó el algoritmo Transformer, dando inicio a la aparición de modelos de lenguaje a gran escala.

• En 2018, OpenAI lanzó el GPT( Generative Pre-trained Transformer) construido sobre el algoritmo Transformer, que fue uno de los modelos de lenguaje más grandes de su tiempo.

• En 2018, el equipo de Google Deepmind lanzó AlphaGo, basado en aprendizaje profundo, capaz de predecir la estructura de proteínas, considerado un gran hito en el campo de la inteligencia artificial.

• En 2019, OpenAI lanzó GPT-2, que cuenta con 1.5 mil millones de parámetros.

• En 2020, OpenAI desarrolló GPT-3, que tiene 175 mil millones de parámetros, 100 veces más que la versión anterior GPT-2. Este modelo fue entrenado con 570 GB de texto y puede lograr un rendimiento de vanguardia en múltiples tareas de procesamiento de lenguaje natural (, como responder preguntas, traducir y redactar artículos ).

• En 2021, OpenAI lanzó GPT-4, que cuenta con 1.76 billones de parámetros, lo que equivale a 10 veces GPT-3.

• En enero de 2023 se lanzó la aplicación ChatGPT basada en el modelo GPT-4, y en marzo ChatGPT alcanzó los cien millones de usuarios, convirtiéndose en la aplicación que más rápido ha llegado a cien millones de usuarios en la historia.

• En 2024, OpenAI lanzará GPT-4 omni.

Nota: Dado que hay muchos artículos sobre inteligencia artificial, muchas corrientes y la evolución técnica varía, aquí principalmente se sigue la historia del desarrollo del aprendizaje profundo o del conexionismo, mientras que otras corrientes y tecnologías todavía están en un proceso de rápido desarrollo.

Cadena de industria de aprendizaje profundo

Los modelos de lenguaje actuales se basan en métodos de aprendizaje profundo basados en redes neuronales. Liderados por GPT, los grandes modelos han generado una ola de entusiasmo por la inteligencia artificial, atrayendo a numerosos participantes a esta carrera. También hemos observado una explosión en la demanda del mercado por datos y poder de cómputo. Por lo tanto, en esta parte del informe, exploramos la cadena de suministro de los algoritmos de aprendizaje profundo. En la industria de la IA dominada por algoritmos de aprendizaje profundo, ¿cómo están compuestos sus sectores upstream y downstream, y cuál es la situación actual de estos sectores, así como la relación de oferta y demanda y su desarrollo futuro?

Primero, debemos aclarar que, al realizar el entrenamiento de modelos grandes LLMs liderados por GPT basados en la tecnología Transformer (, se divide en tres pasos.

Antes del entrenamiento, dado que se basa en Transformer, el convertidor necesita transformar la entrada de texto en valores numéricos, este proceso se llama "Tokenization". Después, estos valores se denominan Token. Según la regla general, una palabra o carácter en inglés se puede considerar aproximadamente como un Token, mientras que cada carácter chino se puede considerar aproximadamente como dos Tokens. Esta también es la unidad básica utilizada para la valoración de GPT.

Primer paso, preentrenamiento. A través de proporcionar suficientes pares de datos a la capa de entrada, similares a los ejemplos dados en la primera parte del informe )X,Y(, para encontrar los mejores parámetros de cada neurona en el modelo, en este momento se requiere una gran cantidad de datos, y este proceso también es el más costoso en términos de computación, porque se deben iterar repetidamente las neuronas probando varios parámetros. Después de completar el entrenamiento de un lote de pares de datos, generalmente se utiliza el mismo lote de datos para un segundo entrenamiento para iterar los parámetros.

El segundo paso, el ajuste fino. El ajuste fino consiste en proporcionar un conjunto de datos más pequeño, pero de calidad muy alta, para el entrenamiento. Este cambio permitirá que la salida del modelo tenga una calidad superior, ya que el preentrenamiento requiere grandes volúmenes de datos, pero muchos de esos datos pueden contener errores o ser de baja calidad. El paso de ajuste fino puede mejorar la calidad del modelo a través de datos de alta calidad.

El tercer paso, el aprendizaje por refuerzo. Primero se establecerá un modelo completamente nuevo, que llamamos "modelo de recompensa", cuyo propósito es muy simple: clasificar los resultados de salida. Por lo tanto, implementar este modelo será relativamente sencillo, ya que el escenario de negocio es bastante vertical. Luego, utilizamos este modelo para determinar si la salida de nuestro modelo grande es de alta calidad, de esta manera podemos usar un modelo de recompensa para iterar automáticamente los parámetros del modelo grande. ) Sin embargo, a veces también es necesario que la participación humana evalúe la calidad de la salida del modelo (.

En resumen, durante el proceso de entrenamiento de grandes modelos, el preentrenamiento tiene una alta demanda de cantidad de datos, y la potencia de cálculo de GPU requerida es la más alta, mientras que el ajuste fino necesita datos de mayor calidad para mejorar los parámetros. El aprendizaje por refuerzo puede iterar los parámetros repetidamente a través de un modelo de recompensa para producir resultados de mayor calidad.

Durante el proceso de entrenamiento, cuantos más parámetros haya, mayor será el techo de su capacidad de generalización. Por ejemplo, en el caso que tomamos como ejemplo de la función Y = aX + b, en realidad hay dos neuronas, X y X0. Por lo tanto, cómo varían los parámetros limita enormemente los datos que se pueden ajustar, porque su esencia sigue siendo una línea recta. Si hay más neuronas, se pueden iterar más parámetros, lo que permite ajustar más datos. Esta es la razón por la cual los grandes modelos producen resultados sorprendentes, y también es por eso que se les llama coloquialmente grandes modelos; su esencia es una gran cantidad de neuronas y parámetros, así como una gran cantidad de datos, y al mismo tiempo requieren una gran cantidad de potencia de cálculo.

Por lo tanto, el rendimiento de los grandes modelos está determinado principalmente por tres aspectos: la cantidad de parámetros, la cantidad y calidad de los datos, y la capacidad de cálculo. Estos tres influyen conjuntamente en la calidad de los resultados y la capacidad de generalización del gran modelo. Supongamos que la cantidad de parámetros es p, la cantidad de datos es n) calculada en función de la cantidad de Tokens(, entonces podemos calcular la cantidad de cálculo necesaria mediante una regla general, lo que nos permitirá estimar aproximadamente la capacidad de cálculo que necesitamos comprar y el tiempo de entrenamiento.

La potencia de cálculo generalmente se expresa en Fl