Évolution de la recherche de données Blockchain : Indexeurs et leurs applications

Importance des données de Blockchain

Les données sont au cœur de la technologie Blockchain et constituent la base du développement d'applications décentralisées (dApp). Les discussions actuelles se concentrent principalement sur la disponibilité des données (DA), c'est-à-dire garantir que les participants au réseau puissent accéder aux données des transactions récentes pour les valider. Cependant, un autre aspect tout aussi important mais souvent négligé est l'accessibilité des données.

À l'ère des Blockchains modulaires, les solutions DA sont devenues une partie indispensable. Ces solutions garantissent que tous les participants peuvent utiliser les données de transaction, permettant ainsi une vérification en temps réel et maintenant l'intégrité du réseau. Cependant, le niveau DA ressemble davantage à un panneau d'affichage qu'à une base de données. Cela signifie que les données ne seront pas conservées indéfiniment, mais seront supprimées au fil du temps, tout comme les affiches sur un panneau d'affichage seront finalement remplacées par de nouvelles affiches.

En revanche, l'accessibilité des données se concentre sur la capacité à récupérer des données historiques, ce qui est crucial pour le développement d'applications décentralisées (dApp) et l'analyse de la Blockchain. Cet aspect est particulièrement important pour les tâches qui nécessitent l'accès à des données historiques afin d'assurer une représentation et une exécution précises. Bien que la discussion sur l'accessibilité des données soit moins fréquente, elle est tout aussi importante que la disponibilité des données. Les deux jouent des rôles différents mais complémentaires dans l'écosystème blockchain, et une approche complète de la gestion des données doit aborder ces deux problèmes simultanément pour soutenir des applications blockchain robustes et efficaces.

Méthodes traditionnelles de recherche de données Blockchain

Depuis sa création, la Blockchain a radicalement transformé les infrastructures, favorisant la création d'applications décentralisées dans des domaines tels que les jeux, la finance et les réseaux sociaux ( dApp ). Cependant, la construction de ces dApp nécessite l'accès à une grande quantité de données de Blockchain, ce qui est à la fois difficile et coûteux.

Pour les développeurs de dApp, une option est d'héberger et d'exécuter leur propre nœud RPC d'archive. Ces nœuds conservent toutes les données historiques de la Blockchain depuis le bloc de genèse, permettant un accès complet aux données. Cependant, le maintien des nœuds d'archive est coûteux, et leur capacité de requête est limitée, ne permettant pas de récupérer les données dans le format requis par les développeurs. Exécuter des nœuds moins chers est une autre option, mais la capacité de récupération des données de ces nœuds est limitée, ce qui peut affecter le fonctionnement de la dApp.

Une autre méthode consiste à utiliser des fournisseurs de nœuds RPC commerciaux. Ces fournisseurs sont responsables des coûts et de la gestion des nœuds, et fournissent des données via des points de terminaison RPC. Bien que les points de terminaison RPC publics soient gratuits, ils ont des limitations de taux, ce qui peut avoir un impact négatif sur l'expérience utilisateur des dApp. Les points de terminaison RPC privés offrent de meilleures performances en réduisant la congestion, mais même la récupération de données simples nécessite une grande quantité de communication aller-retour. Cela les rend inefficaces lors du traitement de requêtes de données complexes. De plus, les points de terminaison RPC privés sont souvent difficiles à évoluer et manquent de compatibilité entre différents réseaux.

Meilleur choix: Blockchain Indexer

Les indexeurs de Blockchain jouent un rôle clé dans l'organisation des données sur la chaîne et leur envoi vers la base de données pour faciliter les requêtes, c'est pourquoi ils sont souvent appelés "Google de la Blockchain". Leur fonctionnement consiste à indexer les données de la blockchain et à les rendre disponibles à tout moment via des API telles que GraphQL en utilisant un langage de requête similaire à SQL (. En fournissant une interface de requête de données unifiée, les indexeurs permettent aux développeurs de récupérer rapidement et avec précision les informations nécessaires en utilisant un langage de requête standardisé, simplifiant considérablement l'ensemble du processus.

Différents types d'indexeurs optimisent la récupération des données de diverses manières :

1. Indexeur de nœud complet : Ces indexeurs exécutent des nœuds complets de la blockchain et extraient directement des données, garantissant l'exactitude et l'intégralité des données, mais nécessitent une grande capacité de stockage et de traitement.

2. Indexeur léger : Ces indexeurs s'appuient sur des nœuds complets pour obtenir des données spécifiques selon les besoins, réduisant ainsi les exigences de stockage mais pouvant augmenter le temps de requête.

3. Indexeurs dédiés : ces indexeurs sont optimisés pour certains types de données ou des blockchains spécifiques, permettant une recherche plus efficace pour des cas d'utilisation spécifiques ) tels que les données NFT ou les transactions DeFi (.

4. Agrégateur d'index: Ces indexeurs extraient des données de plusieurs Blockchains et sources, y compris des informations hors chaîne, et fournissent une interface de requête unifiée, ce qui est particulièrement utile pour les dApps multichaînes.

Ethereum nécessite à lui seul 3 To d'espace de stockage, et avec la croissance continue de la Blockchain, la quantité de données stockées par les nœuds d'archivage Erigon continuera d'augmenter. Le protocole d'indexation a déployé plusieurs indexeurs, capables d'indexer efficacement et de requêter rapidement de grandes quantités de données, ce que le RPC ne peut pas réaliser.

L'indexeur permet également des requêtes complexes, de filtrer facilement les données selon différents critères et d'analyser les données extraites par la suite. Certains indexeurs peuvent également agréger des données provenant de plusieurs sources, évitant ainsi le déploiement de plusieurs API dans une dApp multichaîne. En étant répartis sur plusieurs nœuds, les indexeurs offrent une sécurité et des performances améliorées, tandis que les fournisseurs RPC peuvent rencontrer des interruptions et des pannes en raison de leur nature centralisée.

Dans l'ensemble, par rapport aux fournisseurs de nœuds RPC, les indexeurs améliorent l'efficacité et la fiabilité de la récupération des données, tout en réduisant le coût de déploiement d'un nœud unique. Cela fait du protocole d'indexation Blockchain le choix privilégié des développeurs de dApps.

![Développement de l'accès aux données Web3 : Introduction aux indexeurs et projets connexes])https://img-cdn.gateio.im/webp-social/moments-16396b955382c2c74010c264affdca46.webp(

Cas d'application des indexeurs

Comme mentionné précédemment, la construction d'une dApp nécessite de récupérer et de lire les données de la Blockchain pour faire fonctionner ses services. Cela inclut divers types de dApps, comme les DeFi, les plateformes NFT, les jeux et même les réseaux sociaux, car ces plateformes doivent d'abord lire les données pour exécuter les transactions suivantes.

) DeFi

Les protocoles DeFi nécessitent différentes informations pour fournir aux utilisateurs des prix, des taux, des frais, etc. Les teneurs de marché automatisés ###AMM( ont besoin d'informations sur les prix et la liquidité de certains pools de liquidités pour calculer les taux de swap, tandis que les protocoles de prêt doivent utiliser le taux d'utilisation pour déterminer les taux d'intérêt des prêts et le ratio de dette pour les liquidations. Avant de calculer les taux d'intérêt exécutés par l'utilisateur, il est essentiel d'entrer ces informations dans le dApp.

) jeu

GameFi nécessite un indexage rapide et un accès aux données pour garantir une expérience de jeu fluide pour les utilisateurs. Ce n'est qu'en utilisant une récupération et une exécution rapides des données que les jeux Web3 peuvent rivaliser en performance avec les jeux Web2, attirant ainsi plus d'utilisateurs. Ces jeux nécessitent des données telles que la propriété foncière, le solde des tokens en jeu, et les opérations en jeu. En utilisant des indexeurs, ils peuvent mieux assurer un flux de données stable et un temps de fonctionnement constant pour offrir une expérience de jeu parfaite.

NFT

Les marchés NFT et les plateformes de prêt ont besoin d'indexer des données pour accéder à diverses informations, telles que les métadonnées des NFT, les données de propriété et de transfert, les informations sur les redevances, etc. L'indexation rapide de ces données peut éviter de parcourir chaque NFT un par un pour trouver les données de propriété ou les attributs des NFT.

Que ce soit pour un AMM de DeFi ### nécessitant des informations sur les prix et la liquidité, ou pour une application sociale nécessitant la mise à jour des publications des nouveaux utilisateurs, la capacité de récupérer rapidement des données est essentielle au bon fonctionnement des dApps. Grâce à des indexeurs, elles peuvent récupérer les données de manière efficace et précise, offrant ainsi une expérience utilisateur fluide.

( Analyse

L'indexeur offre une méthode pour extraire des données spécifiques à partir des données brutes de la Blockchain ), y compris les événements de contrats intelligents dans chaque Bloc ###. Cela offre des opportunités pour une analyse de données plus spécifique, fournissant ainsi des aperçus complets.

Par exemple, un protocole de trading perpétuel peut identifier quels jetons ont un volume de transactions élevé, lesquels généreront des frais, afin de décider d'inclure ces jetons en tant que contrats perpétuels sur leur plateforme. Les développeurs de DEX peuvent créer des tableaux de bord pour leurs produits, afin de comprendre en profondeur quels pools de liquidités offrent les meilleurs rendements ou la plus forte liquidité. Ils peuvent également créer des tableaux de bord publics, permettant aux développeurs de consulter librement et de manière flexible tout type de données à afficher sur les graphiques.

Il est essentiel d'identifier les différences entre les protocoles d'indexation, car plusieurs indexeurs Blockchain sont disponibles, afin de garantir que les développeurs choisissent l'indexeur le mieux adapté à leurs besoins.

Aperçu des principaux indexeurs de Blockchain

( The Graph

The Graph est l'un des premiers protocoles d'indexation lancés sur Ethereum, permettant de consulter facilement des données de transaction qui étaient auparavant difficiles d'accès. Il utilise des sous-graphes pour définir et filtrer les sous-ensembles de données collectées sur la Blockchain, comme toutes les transactions liées à un pool de fonds spécifique.

En utilisant la preuve d'index, les indexeurs mettent en jeu le jeton natif GRT pour les services d'indexation et de requête, les délégants peuvent choisir de staker leurs jetons ici. Les curateurs peuvent accéder à des sous-graphes de haute qualité pour aider les indexeurs à déterminer quels sous-graphes compiler des données afin de gagner les meilleures frais de requête. Dans le processus de transition vers une plus grande décentralisation, The Graph finira par arrêter ses services d'hébergement et demandera aux sous-graphes de migrer vers son réseau, tout en fournissant des indexeurs de mise à niveau.

Son infrastructure permet de réduire le coût moyen à 40 dollars pour un million de requêtes, ce qui est beaucoup moins cher que le coût des nœuds auto-hébergés. En utilisant des sources de données de fichiers, il prend également en charge l'indexation parallèle des données on-chain et off-chain pour une récupération efficace des données.

Les récompenses des indexeurs de The Graph ont augmenté régulièrement au cours des derniers trimestres. Cela est en partie dû à l'augmentation du volume des requêtes, mais aussi à la hausse des prix des tokens, car ils prévoient d'intégrer des requêtes assistées par l'intelligence artificielle à l'avenir.

) Subsquid

Subsquid est un lac de données décentralisé, évolutif horizontalement et peer-to-peer, capable d'agréger efficacement une grande quantité de données on-chain et off-chain, tout en les protégeant par des preuves à connaissance nulle. En tant que réseau de travailleurs décentralisé, chaque nœud est responsable du stockage des données provenant d'un sous-ensemble spécifique de blocs, accélérant le processus de récupération des données en identifiant rapidement les nœuds qui conservent les données nécessaires.

Subsquid prend également en charge l'indexation en temps réel, permettant d'indexer avant que le bloc ne soit définitivement validé. Il prend également en charge le stockage des données dans le format choisi par les développeurs, facilitant ainsi une analyse plus aisée à l'aide d'outils tels que BigQuery, Parquet ou CSV. De plus, les sous-graphes peuvent être déployés sur le réseau Subsquid sans avoir besoin de migrer vers le Squid SDK, permettant ainsi un déploiement sans code.

Bien qu'il soit encore en phase de test, Subsquid a obtenu des statistiques impressionnantes, avec plus de 80 000 utilisateurs sur le testnet, plus de 60 000 indexeurs Squid déployés et plus de 20 000 développeurs vérifiés sur le réseau. Récemment, Subsquid a lancé le mainnet de son lac de données.

En plus de l'indexation, le lac de données Subsquid Network peut également remplacer les RPC dans des cas d'utilisation tels que l'analyse, les coprocesseurs ZK/TEE, les agents IA et les Oracle.

SubQuery

SubQuery est un réseau d'infrastructure middleware décentralisé qui fournit des services RPC et d'indexation de données. Il a d'abord pris en charge les réseaux Polkadot et Substrate, et s'est maintenant étendu à plus de 200 chaînes. Son fonctionnement est similaire à celui de The Graph utilisant des preuves d'indexation, où les indexeurs indexent des données et fournissent des demandes de requête, et les délégataires mettent en jeu des parts auprès des indexeurs. Cependant, il introduit des consommateurs pour soumettre des commandes d'achat, afin de garantir que les revenus des indexeurs sont sécurisés, plutôt que ceux des gestionnaires.

Il introduira des nœuds de données SubQuery prenant en charge le sharding, afin d'éviter la synchronisation constante de nouvelles données entre chaque nœud, optimisant ainsi l'efficacité des requêtes, tout en s'orientant vers une plus grande décentralisation. Les utilisateurs peuvent choisir de payer environ 1 SQT en frais de calcul pour chaque 1000 requêtes, ou de définir des frais personnalisés pour les indexeurs via le protocole.

Bien que SubQuery n'ait lancé son jeton que plus tôt cette année, les récompenses de distribution pour les nœuds et les délégataires ont également augmenté en valeur en dollars, ce qui représente une augmentation continue du nombre de services de requête offerts sur sa plateforme. Depuis le TGE, le montant total de SQT staké est passé de 6 millions à 125 millions, mettant en évidence la croissance de la participation à son réseau.

Covalent

Covalent est un réseau d'indexation décentralisé, créé par des producteurs d'échantillons de bloc ###BSP### qui génèrent des copies des données de la Blockchain par un moyen d'exportation en masse. Ces données sont ensuite publiées sur la Blockchain L1 de Covalent avec une preuve. Ces données sont ensuite affinées par des producteurs de résultats de bloc (BRP) en fonction de règles établies, afin de sélectionner les données conformes aux exigences.

Grâce à une API unifiée, les développeurs peuvent facilement extraire des données Blockchain pertinentes avec un format de requête et de réponse cohérent, sans avoir à écrire des requêtes complexes personnalisées pour accéder aux données. Les ensembles de données préconfigurés peuvent être extraits des fournisseurs de réseau en utilisant le jeton CQT réglé sur Moonbeam comme moyen de paiement.

Les récompenses de Covalent semblent globalement en tendance croissante du premier trimestre de 2023 au premier trimestre de 2024, en partie à cause de la hausse du prix du token Covalent CQT.

Facteurs à considérer pour le choix d'un indexeur

( nombre