Web3数据访问的演进:索引器及相关项目解析

数据是区块链技术的核心,也是去中心化应用(dApp)开发的基础。目前业内讨论较多的是数据可用性(DA),即确保网络参与者可访问最新交易数据进行验证。然而,数据可访问性这一同等重要的方面却常被忽视。

在模块化区块链时代,DA解决方案已成为不可或缺的部分。这些方案确保所有参与者都能使用交易数据,实现实时验证并维护网络完整性。但DA层更像是广告牌而非数据库,数据不会永久存储,会随时间被删除。

相比之下,数据可访问性关注的是检索历史数据的能力,这对dApp开发和区块链分析至关重要。虽然讨论较少,但数据可访问性与数据可用性同样重要。两者在区块链生态中扮演不同但互补的角色,全面的数据管理必须同时解决这两个问题,以支持强大高效的区块链应用。

区块链数据检索的传统方式

自诞生以来,区块链彻底改变了基础设施,推动了游戏、金融和社交网络等领域dApp的创建。然而,构建这些dApp需要访问大量区块链数据,这既困难又昂贵。

对dApp开发者而言,一种选择是自行托管和运行存档RPC节点。这些节点存储全部历史区块链数据,允许完全访问。但维护成本高昂,查询能力有限,无法以开发人员所需格式查询数据。运行较便宜的节点是另一选择,但数据检索能力有限,可能影响dApp运行。

另一种方法是使用商业RPC节点服务。这些提供商负责节点成本和管理,通过RPC端点提供数据。公共RPC端点免费但有速率限制,可能影响用户体验。私有RPC端点性能更好,但简单数据检索也需要大量通信,效率低下且难以扩展。

更优的替代方案:区块链索引器

区块链索引器在组织链上数据并发送至数据库以便查询方面发挥关键作用,因此常被称为"区块链的谷歌"。它们索引区块链数据,通过类似SQL的查询语言(如GraphQL API)使数据可用。索引器提供统一的查询接口,让开发者能用标准化语言快速准确检索所需信息,大大简化了流程。

不同类型的索引器优化数据检索的方式各异:

1. 完整节点索引器:运行完整区块链节点直接提取数据,确保数据完整准确,但需要大量存储和处理能力。

2. 轻量级索引器:依靠完整节点按需获取特定数据,减少存储需求但可能增加查询时间。

3. 专用索引器:针对特定数据类型或区块链优化,如NFT数据或DeFi交易。

4. 聚合索引器:从多个区块链和来源提取数据,包括链下信息,提供统一查询界面,适用于多链dApp。

仅以太坊就需要3TB存储空间,且随区块链增长不断扩大。索引器协议部署多个索引器,能高效索引和高速查询大量数据,这是RPC无法实现的。

索引器还允许复杂查询、轻松过滤数据和提取后分析。部分索引器可聚合多源数据,避免多链dApp部署多个API。通过分布在多节点上,索引器提供更高安全性和性能,而RPC提供商可能因集中化特性出现中断。

总体而言,相比RPC节点服务,索引器提高了数据检索效率和可靠性,同时降低了单节点部署成本。这使区块链索引器协议成为dApp开发者的首选。

索引器应用场景

构建dApp需要检索和读取区块链数据才能运行服务。这包括DeFi、NFT平台、游戏甚至社交网络在内的各类dApp,因为它们需要先读取数据才能执行其他交易。

DeFi

DeFi协议需要不同信息为用户提供特定价格、比率和费用。自动做市商(AMM)需要某些资金池的价格和流动性信息计算掉期利率,借贷协议需要利用率确定借贷利率和清算债务比率。在计算用户执行利率前,将信息输入dApp至关重要。

游戏

GameFi需要快速索引和访问数据,确保用户流畅游戏体验。只有通过快速数据检索和执行,Web3游戏才能在性能上与Web2游戏媲美,吸引更多用户。这些游戏需要土地所有权、游戏内代币余额、游戏内操作等数据。使用索引器,他们可以更好地确保稳定数据流和正常运行时间,保证完美游戏体验。

NFT

NFT市场和借贷平台需要索引数据访问各种信息,如NFT元数据、所有权和转让数据、版税信息等。快速索引此类数据可避免逐个浏览每个NFT查找所有权或属性数据。

无论是需要价格和流动性信息的DeFi AMM,还是需要更新新用户帖子的SocialFi应用,快速检索数据对dApp正常运行至关重要。借助索引器,它们可以高效、正确地检索数据,提供流畅用户体验。

分析

索引器提供了从原始区块链数据(包括每个区块中的智能合约事件)中提取特定数据的方法。这为更具体的数据分析提供机会,从而提供全面见解。

例如,永续交易协议可以找出哪些代币交易量大、产生费用,从而决定是否将其作为永续合约列在平台上。DEX开发人员可为自身产品创建仪表盘,深入了解哪些资金池回报率最高或流动性最强。还可创建公共仪表盘,让开发人员自由灵活地查询要在图表上显示的任何类型数据。

由于有多个区块链索引器可用,识别索引协议间差异对确保开发人员选择最适合需求的索引器至关重要。

区块链索引器概述

The Graph

The Graph是首个在以太坊上启动的索引器协议,可轻松查询以前难以访问的交易数据。它使用子图定义和过滤从区块链收集的数据子集,如与某特定资金池相关的所有交易。

使用索引证明,索引器质押原生代币GRT用于索引和查询服务,委托人可选择将代币质押于此。策展人可访问高质量子图,帮助索引器确定要为哪些子图编制数据以赚取最佳查询费用。在向更大程度去中心化过渡过程中,The Graph最终将停止托管服务,要求子图升级到其网络,同时提供升级索引器。

其基础设施使每百万次查询平均成本达40美元,远低于自托管节点。使用文件数据源,它还支持同时对链上和链下数据进行并行索引,实现高效数据检索。

The Graph的索引器奖励近几个季度稳步增长。这部分由于查询量增加,也归因于代币价格上涨,因为他们计划未来整合AI辅助查询。

Subsquid

Subsquid是点对点、水平可扩展的去中心化数据湖,可高效聚合大量链上和链下数据,并通过零知识证明保护。作为去中心化工作器网络,每个节点负责存储特定区块子集数据,通过快速识别保存所需数据的节点加快数据检索。

Subsquid支持实时索引,允许在区块最终确定前对其索引。它还支持以开发人员选择的格式存储数据,便于使用BigQuery、Parquet或CSV等工具进行分析。此外,子图可在Subsquid网络上部署,无需迁移到Squid SDK,实现无代码部署。

虽仍处测试网阶段,Subsquid已取得令人印象深刻的统计数据:超8万测试网用户,部署超6万Squid索引器,网络上超2万验证开发者。近期,Subsquid启动了其数据湖主网。

除索引外,Subsquid Network数据湖还可替代分析、ZK/TEE协处理器、AI代理和Oracle等用例中的RPC。

SubQuery

SubQuery是去中心化中间件基础设施网络,提供RPC和索引数据服务。最初支持Polkadot和Substrate网络,现已扩展至200多条链。其工作原理类似使用索引证明的The Graph,索引器索引数据并提供查询请求,委托人将股份质押给索引器。然而,它引入消费者提交购买订单,表明索引器收入有保障,而非管理者。

它将引入支持分片的SubQuery数据节点,防止节点间不断同步新数据,优化查询效率,同时走向更大去中心化。用户可选择每1000请求支付约1 SQT代币计算费用,或通过协议为索引器设置自定义费用。

尽管SubQuery今年初才推出代币,但节点和委托人发行奖励以美元价值环比增长,代表其平台上提供的查询服务数量不断增加。自TGE以来,质押SQT总量从600万增至1.25亿,凸显网络参与度增长。

Covalent

Covalent是去中心化索引器网络,由区块样本生产者(BSP)网络节点通过批量导出创建区块链数据副本,并在Covalent L1链上发布证明。这些数据再由区块结果生产者(BRP)节点根据设定规则细化,筛选出符合要求的数据。

通过统一API,开发人员可轻松以一致请求和响应格式提取相关区块链数据,无需编写复杂查询即可访问数据。可使用在Moonbeam上结算的CQT代币作为支付手段从网络运营商处提取这些预配置数据集。

Covalent奖励从23年第一季度到24年第一季度似乎总体呈增长趋势,部分原因是Covalent代币CQT价格上涨。

选择索引器的考虑因素

数据可定制性

一些索引器(如Covalent)是通用索引器,仅通过API提供标准预配置数据集。虽然速度快,但无法为需要自定义数据集的开发人员提供灵活性。使用索引器框架允许更多自定义数据处理,满足特定应用需求。

安全性

索引数据必须安全,否则基于这些索引器构建的dApp也易受攻击。例如,如果交易和钱包余额可被操纵,dApp可能失去流动性,影响用户。虽然所有索引器都通过质押代币采用某种形式安全措施,但其他索引器解决方案可能使用证明进一步提高安全性。

Subsquid提供使用乐观和零知识证明选项,Covalent还发布包含区块哈希值的证明。Graph以乐观挑战窗口期方式针对索引器查询提供争议挑战期,SubQuery为每个区块生成Merkle Mountain证明,计算其数据库中存储的所有数据每个区块的哈希值。

速度和可扩展性

随着区块链不断增长,交易量随之增加,索引大量数据变得更加繁琐,需要更多处理能力和存储空间。随着区块链网络增长,保持效率更加困难,但索引器协议引入解决方案满足这些日益增长的需求。

例如,Subsquid通过添加更多节点存储数据实现水平扩展,随硬件改进能够扩展。Graph提供并行流数据,更快同步数据,SubQuery引入节点分片加快同步过程。

支持的网络

虽然大部分区块链活动仍在以太坊内进行,但随时间推移,不同区块链越来越受欢迎。例如,Layer 2s、Solana、Move区块链和比特币生态系统链都有自己一套不断增长的开发人员和活动,也需要索引服务。

为其他索引器协议不支持的某些链提供支持可获得更多市场份额费用。