A evolução do acesso a dados Web3: visão geral de indexadores e projetos relacionados

O núcleo da tecnologia blockchain reside nos dados, que são a base para o desenvolvimento de aplicações descentralizadas (dApp). Embora atualmente a maioria das discussões esteja centrada na disponibilidade de dados (DA), ou seja, garantir que todos os participantes da rede possam acessar os dados de transação mais recentes para validação, há um aspecto igualmente importante, mas frequentemente negligenciado: a acessibilidade dos dados.

Na era das blockchains modularizadas, as soluções DA tornaram-se uma parte indispensável. Estas soluções garantem que todos os participantes possam aceder aos dados das transações, permitindo assim a validação em tempo real e a manutenção da integridade da rede. No entanto, a funcionalidade da camada DA assemelha-se mais a um quadro de avisos temporário do que a uma base de dados permanente. Isso significa que os dados não serão armazenados indefinidamente, mas serão eliminados ao longo do tempo, assim como os cartazes em um quadro de avisos que eventualmente são substituídos por novos cartazes.

Em comparação, a acessibilidade dos dados concentra-se na capacidade de recuperar dados históricos, o que é crucial para o desenvolvimento de dApps e a realização de análises de blockchain. Para tarefas que precisam acessar dados passados para garantir uma representação e execução precisas, esse aspecto é especialmente importante. Embora a acessibilidade dos dados raramente seja discutida, ela é tão importante quanto a disponibilidade dos dados. Ambos desempenham papéis diferentes, mas complementares, no ecossistema de blockchain, e uma abordagem abrangente de gerenciamento de dados deve abordar essas duas questões simultaneamente para apoiar aplicações de blockchain robustas e eficientes.

Métodos tradicionais de recuperação de dados em blockchain

Desde a sua criação, a blockchain transformou completamente a infraestrutura, impulsionando a criação de aplicações descentralizadas (dApp) em vários campos como jogos, finanças e redes sociais. No entanto, construir essas dApps requer acesso a grandes volumes de dados da blockchain, o que é tanto difícil quanto caro.

Para os desenvolvedores de dApp, uma opção é hospedar e executar seus próprios nós de RPC de arquivo. Esses nós armazenam todos os dados históricos da blockchain desde o início, permitindo acesso completo aos dados. No entanto, manter nós de arquivo é caro e a capacidade de consulta é limitada, não conseguindo consultar os dados no formato necessário para os desenvolvedores. Embora executar nós mais baratos seja uma opção, a capacidade de recuperação de dados desses nós é limitada, o que pode afetar o funcionamento do dApp.

Outra abordagem é usar fornecedores de nós RPC comerciais. Esses fornecedores são responsáveis pelos custos e pela gestão dos nós, e fornecem dados através de pontos finais RPC. Os pontos finais RPC públicos são gratuitos, mas têm limites de taxa, o que pode impactar negativamente a experiência do usuário do dApp. Os pontos finais RPC privados oferecem melhor desempenho ao reduzir a congestão, mas mesmo a recuperação de dados simples requer uma quantidade significativa de comunicação de ida e volta. Isso torna as solicitações pesadas e ineficientes para consultas de dados complexas. Além disso, os pontos finais RPC privados geralmente são difíceis de escalar e carecem de compatibilidade entre diferentes redes.

Melhor opção: Indexador de blockchain

Os indexadores de blockchain desempenham um papel fundamental na organização de dados em cadeias e no envio dos mesmos para bases de dados, facilitando a consulta, razão pela qual são frequentemente chamados de "Google do blockchain". O seu funcionamento baseia-se na indexação dos dados da blockchain e na utilização de linguagens de consulta semelhantes ao SQL ( através de APIs como o GraphQL ), tornando-os disponíveis a qualquer momento. Ao fornecer uma interface unificada para consulta de dados, os indexadores permitem que os desenvolvedores recuperem rapidamente e com precisão as informações necessárias, utilizando uma linguagem de consulta padronizada, simplificando assim consideravelmente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Indexador de nós completos: extrai dados diretamente de nós de blockchain completos, garantindo que os dados sejam completos e precisos, mas requer uma grande capacidade de armazenamento e processamento.

2. Indexador leve: depende de nós completos para obter dados específicos conforme necessário, reduzindo a necessidade de armazenamento, mas pode aumentar o tempo de consulta.

3. Indexador dedicado: otimizado para tipos específicos de dados ou blockchains específicas, como dados de NFT ou transações DeFi.

4. Indexador agregador: extrai dados de várias blockchains e fontes (, incluindo informações off-chain ), e fornece uma interface de consulta unificada, especialmente útil para dApps multi-chain.

Apenas o Ethereum requer 3TB de espaço de armazenamento. À medida que a blockchain continua a crescer, a quantidade de dados armazenados nos nós de arquivo Erigon também está aumentando continuamente. O protocolo do indexador implanta vários indexadores, podendo indexar de forma eficiente e consultar rapidamente grandes volumes de dados, algo que não pode ser realizado pelo RPC.

O indexador também suporta consultas complexas, filtra dados facilmente com base em diferentes critérios e analisa dados após a extração. Alguns indexadores permitem a agregação de dados de várias fontes, evitando a necessidade de implantar várias APIs em dApps de múltiplas cadeias. Através da distribuição em vários nós, o indexador oferece segurança e desempenho aprimorados, enquanto provedores de RPC podem sofrer interrupções e tempos de inatividade devido à sua natureza centralizada.

De um modo geral, em comparação com os fornecedores de nós RPC, os indexadores aumentam a eficiência e a fiabilidade da recuperação de dados, ao mesmo tempo que reduzem o custo de implantação de um único nó. Isso torna o protocolo de indexador de blockchain a escolha preferida dos desenvolvedores de dApps.

Casos de uso do indexador

Como mencionado anteriormente, a construção de dApps requer a recuperação e leitura de dados da blockchain para que seus serviços funcionem. Isso inclui qualquer tipo de dApp, como DeFi, plataformas NFT, jogos e até redes sociais, uma vez que essas plataformas precisam ler os dados antes de executar outras transações.

( DeFi

Os protocolos DeFi precisam de informações diferentes para fornecer aos usuários preços, taxas, custos, etc., específicos. Os Market Makers Automáticos )AMM### necessitam de informações sobre preços e liquidez de certos fundos para calcular as taxas de swap, enquanto os protocolos de empréstimo precisam da utilização para determinar as taxas de empréstimo e a proporção de dívida em liquidação. Antes de calcular as taxas executadas pelos usuários, é essencial inserir essas informações no dApp.

( Jogo

O GameFi precisa de indexação rápida e acesso a dados para garantir que os usuários joguem de forma fluida. Apenas através de uma recuperação e execução rápida de dados, os jogos Web3 podem rivalizar em desempenho com os jogos Web2, atraindo assim mais usuários. Esses jogos precisam de dados como propriedade de terrenos, saldo de tokens dentro do jogo, operações dentro do jogo, entre outros. Com o uso de indexadores, eles podem garantir melhor um fluxo de dados estável e um tempo de atividade normal estável, proporcionando uma experiência de jogo perfeita.

) NFT

Os mercados de NFT e as plataformas de empréstimo precisam de indexação de dados para acessar várias informações, como metadados de NFT, dados de propriedade e transferência, informações sobre royalties, etc. A indexação rápida desses dados pode evitar a necessidade de navegar individualmente por cada NFT para encontrar dados de propriedade ou atributos de NFT.

Quer seja um AMM### de DeFi que precisa de informações sobre preços e liquidez ###, ou uma aplicação SocialFi que necessita de atualizar posts de novos usuários, a capacidade de recuperar dados rapidamente é crucial para o funcionamento normal das dApps. Com a ajuda de indexadores, elas podem recuperar dados de forma eficiente e precisa, proporcionando uma experiência de usuário fluida.

( análise

O indexador fornece um método para extrair dados específicos de dados brutos da blockchain ), incluindo eventos de contratos inteligentes em cada bloco ###. Isso oferece uma oportunidade para uma análise de dados mais específica, proporcionando assim uma visão abrangente.

Por exemplo, um protocolo de negociação perpétua pode identificar quais tokens têm um grande volume de negociação e geram altas taxas, decidindo assim se deve listar esses tokens como contratos perpétuos em sua plataforma. Os desenvolvedores de DEX podem criar painéis para seus produtos, obtendo insights sobre quais pools de liquidez têm os maiores retornos ou a maior liquidez. Também é possível criar painéis públicos, permitindo que os desenvolvedores consultem livremente qualquer tipo de dado que desejem exibir nos gráficos.

Devido à disponibilidade de vários indexadores de blockchain, identificar as diferenças entre os protocolos de indexação é crucial para garantir que os desenvolvedores escolham o indexador que melhor atende às suas necessidades.

Visão Geral do Indexador de Blockchain

( The Graph

The Graph é o primeiro protocolo de indexação lançado na Ethereum, que permite consultar facilmente dados de transações que anteriormente eram de difícil acesso. Utiliza subgrafos para definir e filtrar subconjuntos de dados coletados da blockchain, como todas as transações relacionadas ao pool USDC/ETH de um determinado DEX.

Usando prova de índice, os indexadores fazem staking do token nativo GRT para serviços de indexação e consulta, e os delegadores podem optar por fazer staking de seus tokens aqui. Os curadores podem acessar subgráficos de alta qualidade para ajudar os indexadores a determinar quais subgráficos devem ser compilados para ganhar as melhores taxas de consulta. Durante a transição para uma maior descentralização, o The Graph eventualmente interromperá seus serviços de hospedagem e solicitará que os subgráficos sejam atualizados para sua rede, ao mesmo tempo em que fornece indexadores atualizados.

A sua infraestrutura faz com que o custo médio por milhão de consultas seja de 40 dólares, o que é muito mais baixo do que o custo de nós auto-hospedados. Utilizando fontes de dados de arquivos, também suporta a indexação paralela de dados on-chain e off-chain, para uma recuperação eficiente de dados.

As recompensas do indexador do The Graph têm crescido de forma constante nos últimos trimestres. Isso se deve em parte ao aumento do volume de consultas, mas também é atribuído ao aumento do preço dos tokens, uma vez que eles planejam integrar consultas assistidas por inteligência artificial no futuro.

) Subsquid

Subsquid é um lago de dados descentralizado, ponto a ponto e escalável horizontalmente, que agrega de forma eficiente grandes quantidades de dados on-chain e off-chain, e os protege através de provas de conhecimento zero. Como uma rede de trabalhadores descentralizada, cada nó é responsável por armazenar dados de um subconjunto específico de blocos, acelerando o processo de recuperação de dados através da identificação rápida dos nós que armazenam os dados necessários.

Subsquid também suporta indexação em tempo real, permitindo que seja indexado antes da finalização do bloco. Ele também suporta o armazenamento de dados em formatos escolhidos pelos desenvolvedores, facilitando análises mais simples com ferramentas como BigQuery, Parquet ou CSV. Além disso, subgráficos podem ser implantados na rede Subsquid sem a necessidade de migração para o Squid SDK, permitindo uma implantação sem código.

Embora ainda esteja na fase de teste, a Subsquid já obteve estatísticas impressionantes, com mais de 80.000 usuários da rede de testes, mais de 60.000 indexadores Squid implantados e mais de 20.000 desenvolvedores verificados na rede. Recentemente, no dia 3 de junho, a Subsquid lançou a mainnet do seu lago de dados.

Além do índice, o lago de dados da Subsquid Network também pode substituir RPC em casos de uso como análise, co-processadores ZK/TEE, agentes de IA e Oracle.

SubQuery

SubQuery é uma rede de infraestrutura de middleware descentralizada que oferece serviços de RPC e indexação de dados. Inicialmente, suportava redes Polkadot e Substrate, mas agora se expandiu para incluir mais de 200 cadeias. Seu funcionamento é semelhante ao The Graph, que utiliza provas de indexação: os indexadores indexam dados e fornecem solicitações de consulta, enquanto os delegadores fazem stake de suas participações com os indexadores. No entanto, ele introduz consumidores para enviar pedidos de compra, a fim de garantir que a receita dos indexadores esteja assegurada, em vez de ser gerida pelos administradores.

Ele introduzirá nós de dados SubQuery que suportam fragmentação, a fim de evitar a sincronização constante de novos dados entre cada nó, otimizando assim a eficiência das consultas, enquanto avança em direção a uma maior descentralização. Os usuários podem optar por pagar cerca de 1 token SQT em taxas de computação para cada 1000 solicitações, ou definir taxas personalizadas para o indexador através do protocolo.

Embora a SubQuery tenha lançado seu token apenas no início deste ano, as recompensas de emissão para nós e delegadores também aumentaram em valor em dólares, o que representa um aumento no número de serviços de consulta oferecidos em sua plataforma. Desde o TGE, a quantidade total de SQT em staking aumentou de 6 milhões para 125 milhões, destacando o crescimento da participação na rede.

Covalent

Covalent é uma rede de indexadores descentralizada, criada por produtores de amostras de bloco ###BSP### que, através de um método de exportação em massa, criam cópias dos dados da blockchain e publicam provas na blockchain L1 da Covalent. Esses dados são então refinados por produtores de resultados de bloco (BRP) com base em regras estabelecidas, filtrando os dados que atendem aos requisitos.

Através de uma API unificada, os desenvolvedores podem facilmente extrair dados relevantes da blockchain em um formato consistente de pedidos e respostas, sem a necessidade de escrever consultas complexas personalizadas para acessar os dados. Os tokens CQT, que podem ser liquidadas na Moonbeam, podem ser usados como meio de pagamento para extrair esses conjuntos de dados pré-configurados dos operadores de rede.

As recompensas da Covalent parecem mostrar uma tendência geral de crescimento desde o primeiro trimestre de 23 até o primeiro trimestre de 24, em parte devido ao aumento do preço do token Covalent CQT.

Considerações ao escolher um indexador

( Personalização de dados

Alguns indexadores ), como o Covalent ###, são indexadores genéricos que oferecem conjuntos de dados pré-configurados padrão apenas através de API. Embora possam ser rápidos, não conseguem fornecer