Новая эпоха доступа к данным Web3: анализ технологий индексаторов и сравнение основных проектов

Эволюция доступа к данным Web3: анализ индексаторов и связанных проектов

Данные являются核心ом технологии блокчейна и основой для разработки децентрализованных приложений (dApp). В настоящее время в отрасли активно обсуждается доступность данных (DA), то есть обеспечение доступа сетевых участников к последним данным о транзакциях для их проверки. Однако такой же важный аспект, как доступность данных, часто игнорируется.

В эпоху модульных блокчейнов решения DA стали незаменимой частью. Эти решения обеспечивают доступ всех участников к данным о транзакциях, позволяя проводить верификацию в реальном времени и поддерживать целостность сети. Однако уровень DA больше похож на рекламный щит, чем на базу данных, данные не хранятся навсегда и со временем удаляются.

В отличие от этого, доступность данных касается способности извлекать исторические данные, что имеет решающее значение для разработки dApp и анализа блокчейна. Хотя об этом обсуждается меньше, доступность данных так же важна, как и их пригодность. Оба они играют разные, но взаимодополняющие роли в экосистеме блокчейна, и комплексное управление данными должно одновременно решать обе эти проблемы для поддержки мощных и эффективных приложений блокчейна.

Развитие доступа к данным Web3: Введение в индексаторы и связанные проекты

Традиционные методы поиска данных в блокчейне

С момента своего появления блокчейн полностью изменил инфраструктуру, способствуя созданию dApp в таких областях, как игры, финансы и социальные сети. Однако для создания этих dApp требуется доступ к большому объему данных блокчейна, что является как трудным, так и дорогостоящим.

Для разработчиков dApp одним из вариантов является самостоятельное размещение и запуск архивных RPC-узлов. Эти узлы хранят все исторические данные блокчейна, позволяя полный доступ. Однако затраты на обслуживание высоки, а возможности запросов ограничены, что не позволяет запрашивать данные в формате, необходимом разработчику. Запуск более дешевых узлов — это другой вариант, но возможности извлечения данных ограничены, что может повлиять на работу dApp.

Другой способ - использовать коммерческие услуги RPC-узлов. Эти провайдеры отвечают за стоимость и управление узлами, предоставляя данные через RPC-эндпоинты. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, что может повлиять на пользовательский опыт. Частные RPC-эндпоинты имеют лучшую производительность, но простое извлечение данных также требует значительного объема связи, что делает его неэффективным и трудным для масштабирования.

Более оптимальное решение: блокчейн-индексатор

Блокчейн-индексатор играет ключевую роль в организации данных цепочки и их отправке в базу данных для последующего запроса, поэтому его часто называют "Гуглом блокчейна". Они индексируют данные блокчейна, делая их доступными через язык запросов, похожий на SQL (, такой как GraphQL API ). Индексаторы предоставляют единый интерфейс для запросов, позволяя разработчикам быстро и точно извлекать необходимую информацию с помощью стандартизированного языка, что значительно упрощает процесс.

Разные типы индексаторов оптимизируют способы поиска данных по-разному:

  1. Полный узловой индексатор: запускает полный узел блокчейна для прямого извлечения данных, обеспечивая полную и точную информацию, но требует больших объемов хранения и вычислительных мощностей.

  2. Легковесный индексатор: полагается на полные узлы для получения конкретных данных по запросу, уменьшает требования к хранению, но может увеличить время запроса.

  3. Специальный индексатор: оптимизирован для определенных типов данных или блокчейна, таких как данные NFT или транзакции DeFi.

  4. Агент агрегирования: извлечение данных из нескольких блокчейнов и источников, включая внецепочечную информацию, предоставляющее единый интерфейс для запросов, подходящее для многосетевых dApp.

Только для Ethereum требуется 3 ТБ пространства для хранения, и оно постоянно увеличивается с ростом блокчейна. Протокол индексатора развертывает несколько индексаторов, которые могут эффективно индексировать и быстро запрашивать большие объемы данных, что невозможно для RPC.

Индексатор также позволяет выполнять сложные запросы, легко фильтровать данные и извлекать результаты для последующего анализа. Некоторые индексаторы могут агрегировать данные из нескольких источников, избегая развертывания нескольких API для многосетевых dApp. Распределенные по нескольким узлам индексаторы обеспечивают более высокую безопасность и производительность, в то время как поставщики RPC могут столкнуться с прерыванием из-за централизованных характеристик.

В целом, по сравнению с RPC-узловыми службами, индексатор повысил эффективность и надежность извлечения данных, одновременно снизив стоимость развертывания одного узла. Это сделало протокол индексатора блокчейна предпочтительным выбором для разработчиков dApp.

Развитие доступа к данным Web3: Введение в индексаторы и связанные проекты

Сценарии применения индексатора

Для создания dApp необходимо извлекать и считывать данные блокчейна для выполнения услуг. Это включает в себя различные dApp, такие как DeFi, платформы NFT, игры и даже социальные сети, поскольку они должны сначала считывать данные, чтобы выполнить другие транзакции.

Дефи

Протоколы DeFi требуют различной информации для предоставления пользователям конкретных цен, ставок и сборов. Автоматическому маркет-мейкеру (AMM) необходима информация о ценах и ликвидности некоторых пулов для расчета ставок свопа, в то время как кредитные протоколы должны использовать коэффициент использования для определения ставок заимствования и коэффициентов ликвидации долга. Перед расчетом ставок исполнения для пользователей крайне важно вводить информацию в dApp.

Игра

GameFi требует быстрого индексирования и доступа к данным, чтобы обеспечить пользователям плавный игровой опыт. Только с помощью быстрого извлечения данных и выполнения Web3 игры могут сопоставить свою производительность с играми Web2 и привлечь больше пользователей. Эти игры нуждаются в данных о праве собственности на землю, балансе токенов внутри игры, игровых операциях и т. д. С помощью индексаторов они могут лучше гарантировать стабильный поток данных и нормальное время работы, обеспечивая идеальный игровой опыт.

NFT

NFT-рынок и платформы кредитования нуждаются в индексации данных для доступа к различной информации, такой как метаданные NFT, данные о собственности и передаче, информация о роялти и т.д. Быстрая индексация таких данных позволяет избежать просмотра каждого NFT по отдельности для поиска данных о собственности или атрибутах.

Будь то DeFi AMM, который требует информации о ценах и ликвидности, или SocialFi приложения, которые нуждаются в обновлении постов новых пользователей, быстрая обработка данных имеет решающее значение для нормальной работы dApp. С помощью индексатора они могут эффективно и точно извлекать данные, обеспечивая плавный пользовательский опыт.

Анализ

Индексатор предоставляет метод извлечения конкретных данных из исходных данных блокчейна (, включая события смарт-контрактов в каждом блоке ). Это открывает возможности для более конкретного анализа данных, что, в свою очередь, обеспечивает всесторонние инсайты.

Например, протокол бессрочной торговли может определить, какие токены имеют большой объем торгов и генерируют комиссии, чтобы решить, включать ли их в качестве бессрочных контрактов на платформе. Разработчики DEX могут создать панель инструментов для своих продуктов, чтобы глубже понять, какие пулы ликвидности имеют наивысшую доходность или наибольшую ликвидность. Также можно создать общую панель инструментов, чтобы разработчики могли свободно и гибко запрашивать любые типы данных для отображения на графике.

Поскольку доступны несколько индексаторов блокчейна, различие между протоколами индексации имеет жизненно важное значение для обеспечения выбора разработчиками наиболее подходящего индексатора для их потребностей.

Обзор индексатора блокчейна

Граф

The Graph — это первый протокол индексирования, запущенный на Ethereum, который позволяет легко запрашивать ранее труднодоступные данные о транзакциях. Он использует субграфы для определения и фильтрации подмножеств данных, собранных с блокчейна, таких как все транзакции, связанные с конкретным пулом ликвидности.

Используя индексное доказательство, индексаторы ставят нативные токены GRT для индексирования и запросов, а делегаторы могут выбрать ставить токены здесь. Кураторы могут получать доступ к качественным подсетям, помогая индексаторам определить, для каких подсетей собирать данные, чтобы заработать наилучшие сборы за запросы. В процессе перехода к большей децентрализации The Graph в конечном итоге прекратит хостинг-сервисы, требуя от подсетей обновления к своей сети, одновременно предоставляя обновленный индексатор.

Его инфраструктура позволяет снизить среднюю стоимость запроса до 40 долларов за миллион запросов, что значительно ниже, чем у самоуправляемых узлов. Используя файловые источники данных, он также поддерживает параллельное индексирование как ончейн, так и оффчейн данных, обеспечивая эффективный поиск данных.

Награды инIndexer The Graph стабильно росли в последние несколько кварталов. Это связано как с увеличением объема запросов, так и с ростом цен на токены, так как они планируют в будущем интегрировать AI-поддерживаемые запросы.

Подкальмар

Subsquid — это пиринговое, горизонтально масштабируемое децентрализованное озеро данных, которое эффективно агрегирует большие объемы ончейн и оффчейн данных и защищает их с помощью нулевых знаний. В качестве децентрализованной сети рабочих узлов каждый узел отвечает за хранение определенного подмножества данных блоков, ускоряя извлечение данных за счет быстрого определения узлов, хранящих необходимые данные.

Subsquid поддерживает индексацию в реальном времени, позволяя индексировать данные до их окончательной фиксации в блокчейне. Он также поддерживает хранение данных в формате, выбранном разработчиком, что облегчает использование таких инструментов, как BigQuery, Parquet или CSV для анализа. Кроме того, подсети могут быть развернуты в сети Subsquid без необходимости миграции на Squid SDK, что позволяет осуществлять развертывание без кода.

Хотя Subsquid все еще находится на стадии тестовой сети, он уже достиг впечатляющих статистических данных: более 80 000 пользователей тестовой сети, развернуто более 60 000 индексаторов Squid, и более 20 000 разработчиков проверок в сети. Недавно Subsquid запустил свою основную сеть Data Lake.

Помимо индексации, дата-озеро Subsquid Network также может заменить RPC в таких случаях, как анализ, ZK/TEE сопроцессоры, AI-агенты и оракулы.

Подзапрос

SubQuery является децентрализованной инфраструктурной сетью промежуточного программного обеспечения, предоставляющей услуги RPC и индексирования данных. Изначально поддерживала сети Polkadot и Substrate, сейчас расширилась до более чем 200 цепочек. Принцип работы аналогичен The Graph, использующему индексные доказательства: индексаторы индексируют данные и предоставляют запросы на получение, а делегаторы ставят свои доли у индексаторов. Однако она вводит возможность для потребителей подавать заказы на покупку, что гарантирует доход индексаторов, а не управляющих.

Он введет поддерживающие шардирование узлы данных SubQuery, чтобы предотвратить постоянную синхронизацию новых данных между узлами, оптимизируя эффективность запросов и одновременно продвигаясь к большей децентрализации. Пользователи могут выбирать платить около 1 SQT токена за каждые 1000 запросов в качестве вычислительных затрат или устанавливать индивидуальные сборы для индексаторов через протокол.

Несмотря на то, что SubQuery выпустил токены только в начале этого года, вознаграждения для узлов и делегатов по долларовой стоимости увеличиваются в сравнении с предыдущим периодом, что свидетельствует о постоянном росте числа предоставляемых на его платформе сервисов запросов. С момента TGE общее количество стейкнутых SQT увеличилось с 6 миллионов до 125 миллионов, что подчеркивает рост участия в сети.

Развитие доступа к данным Web3: Введение в индексаторы и связанные проекты

Ковалентный

Covalent является децентрализованной сетью индексаторов, в которой узлы сети, производимые образцами блоков (BSP), создают копии данных блокчейна путем пакетного экспорта и публикуют доказательства на L1-цепочке Covalent. Эти данные затем уточняются узлами производителей результатов блоков (BRP) в соответствии с установленными правилами, отбирая данные, соответствующие требованиям.

С помощью единого API разработчики могут легко извлекать соответствующие данные блокчейна в согласованном формате запросов и ответов, не требуя написания сложных запросов для доступа к данным. Для извлечения этих предварительно настроенных наборов данных можно использовать токены CQT, рассчитанные на Moonbeam, в качестве средства платежа от операторов сети.

Награды Covalent, похоже, показывают общую тенденцию к росту с первого квартала 23 года по первый квартал 24 года, отчасти из-за роста цены токена Covalent CQT.

Факторы, которые следует учитывать при выборе индексатора

Настраиваемость данных

Некоторые индексаторы (, такие как Covalent ), являются универсальными индексаторами и предоставляют стандартные преднастроенные наборы данных только через API. Хотя они работают быстро, они не обеспечивают гибкость для разработчиков, которым нужны настраиваемые наборы данных. Использование фреймворка индексаторов позволяет более гибкую обработку данных, чтобы удовлетворить потребности конкретных приложений.

Безопасность

Индексы данных должны быть безопасными, иначе dApp, построенные на этих индексаторах, также подвержены атакам. Например, если транзакции и баланс кошелька могут быть манипулированы, dApp может потерять ликвидность, что повлияет на пользователей. Хотя все индексаторы используют какую-то форму мер безопасности через стекинг токенов, другие решения индексаторов могут использовать доказательства для повышения безопасности.

Subsquid предлагает использовать оптимистичные и нулевые доказательства, Covalent также выпустил доказательства, содержащие хеши блоков. Graph предоставляет период оспаривания для запросов индексатора с оптимистичным окном оспаривания, SubQuery генерирует доказательства Merkle Mountain для каждого блока, вычисляя хеши всех данных, хранящихся в его базе данных для каждого блока.

Скорость и масштабируемость

С ростом блокчейна объем транзакций увеличивается, и индексирование большого объема данных становится все более сложным, требуя больше вычислительной мощности и места для хранения. С увеличением сети блокчейна поддерживать эффективность становится сложнее, но протоколы индексирования предлагают решения для удовлетворения этих растущих потребностей.

Например, Subsquid реализует горизонтальное масштабирование, добавляя больше узлов для хранения данных, что позволяет расширяться с улучшением аппаратного обеспечения. Graph предоставляет параллельные потоковые данные, более быстрое синхронизирование данных, а SubQuery вводит шардирование узлов для ускорения процесса синхронизации.

Поддерживаемая сеть

Хотя большая часть деятельности в области блокчейна все еще проходит в Ethereum, со временем различные блокчейны становятся все более популярными. Например, Layer 2s, Solana, блокчейн Move и экосистема биткойна имеют собственный набор постоянно растущих разработчиков и активности, которые также нуждаются в индексирующих услугах.

Поддержка некоторых цепочек, которые не поддерживаются другими протоколами индексаторов, может привести к получению большей доли рынка.

Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Награда
  • 4
  • Поделиться
комментарий
0/400
ZKSherlockvip
· 19ч назад
на самом деле... DA - это всего лишь половина битвы. настоящий кошмар конфиденциальности начинается с извлечения исторических данных, смh
Посмотреть ОригиналОтветить0
BearMarketHustlervip
· 19ч назад
DA все еще важен? Это просто абсурд.
Посмотреть ОригиналОтветить0
ThatsNotARugPullvip
· 19ч назад
База данных наложила базу данных, карта застряла.
Посмотреть ОригиналОтветить0
UnluckyValidatorvip
· 20ч назад
в блокчейне также есть предупреждение о полном диске?
Посмотреть ОригиналОтветить0
  • Закрепить