Еволюція доступу до даних Web3: огляд індексаторів та пов'язаних проектів

Ядром технології блокчейн є дані, які є основою для розробки децентралізованих додатків (dApp). Хоча в даний час більшість обговорень зосереджені на доступності даних (DA), тобто на забезпеченні того, щоб усі учасники мережі могли отримати доступ до останніх транзакційних даних для перевірки, існує ще один так само важливий, але часто ігнорований аспект: доступність даних.

У епоху модульних блокчейнів рішення DA стали невід'ємною частиною. Ці рішення забезпечують доступ всіх учасників до даних транзакцій, що дозволяє здійснювати верифікацію в реальному часі та підтримувати цілісність мережі. Однак функціональність рівня DA більше схожа на тимчасову дошку оголошень, ніж на постійну базу даних. Це означає, що дані не зберігаються безмежно, а з часом видаляються, як постери на дошці оголошень врешті-решт замінюються новими.

У порівнянні, доступність даних зосереджується на здатності отримувати історичні дані, що є вкрай важливим для розробки dApp та проведення блокчейн-аналізу. Цей аспект особливо важливий для завдань, які потребують доступу до минулих даних для забезпечення точного представлення та виконання. Незважаючи на те, що доступність даних рідко обговорюється, вона є настільки ж важливою, як і доступність даних. Обидва вони відіграють різні, але взаємодоповнюючі ролі в екосистемі блокчейн, і всебічний підхід до управління даними має одночасно вирішувати ці дві проблеми, щоб підтримувати потужні та ефективні блокчейн-додатки.

Традиційні способи пошуку даних у блокчейні

З моменту свого виникнення, блокчейн кардинально змінив інфраструктуру, сприяючи створенню децентралізованих додатків у різних сферах, таких як ігри, фінанси та соціальні мережі(dApp). Однак, для створення цих dApp потрібно отримувати доступ до величезних обсягів даних блокчейну, що є як складним, так і дорогим.

Для розробників dApp одним із варіантів є хостинг та запуск власного архівного RPC-вузла. Ці вузли з самого початку зберігають усі історичні дані блокчейну, що дозволяє повний доступ до даних. Однак утримання архівного вузла є дорогим, а можливості запиту обмежені, і дані не можуть бути запитувані у форматі, необхідному розробникам. Хоча запуск більш дешевих вузлів є варіантом, можливості отримання даних з цих вузлів обмежені, що може вплинути на роботу dApp.

Інший варіант - це використовувати постачальників комерційних RPC-нод. Ці постачальники відповідають за витрати та управління нодами і надають дані через RPC-інтерфейси. Публічні RPC-інтерфейси є безкоштовними, але мають обмеження по швидкості, що може негативно вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси забезпечують кращу продуктивність, зменшуючи затори, але навіть для простого отримання даних потрібно багато зворотних запитів. Це робить їх вимогливими до запитів і неефективними для складних запитів даних. Крім того, приватні RPC-інтерфейси зазвичай важко масштабуються і не мають сумісності між різними мережами.

Кращий вибір: блокчейн-індексатор

Індексатор блокчейну відіграє ключову роль в організації даних на ланцюгу та їх надсиланні до бази даних для зручності запитів, саме тому їх часто називають "Google блокчейну". Їх принцип роботи полягає в індексації даних блокчейну та їх доступності через API, такі як GraphQL, з використанням запитів, подібних до SQL, (. Завдяки наданню єдиного інтерфейсу для запитів даних, індексатори дозволяють розробникам швидко та точно отримувати потрібну інформацію, значно спрощуючи процес.

Різні типи індексаторів оптимізують пошук даних різними способами:

1. Повний вузол-індексатор: безпосередньо витягує дані з повного вузла блокчейну, забезпечуючи повноту та точність даних, але потребує великого обсягу пам'яті та обробної потужності.

2. Легкий індексатор: покладається на повні вузли для запиту конкретних даних за потребою, зменшуючи вимоги до зберігання, але може збільшити час запиту.

3. Спеціалізований індексатор: оптимізований для певних типів даних або конкретних блокчейнів, таких як дані NFT або DeFi交易.

4. Агент-індексатор: витягує дані з кількох блокчейнів та джерел ), включаючи позаблокчейнову інформацію (, забезпечуючи єдиний інтерфейс запиту, що особливо корисно для багатоланкових dApp.

Для лише Ethereum потрібно 3 ТБ дискового простору, оскільки блокчейн постійно зростає, обсяг даних, які зберігаються вузлом архіву Erigon, також продовжує зростати. Протокол індексування розгортає кілька індексаторів, що дозволяє ефективно індексувати та швидко запитувати великі обсяги даних, чого не може досягти RPC.

Індекси також підтримують складні запити, легку фільтрацію даних за різними критеріями та їх подальший аналіз. Деякі індекси дозволяють агрегувати дані з кількох джерел, уникаючи розгортання кількох API в багатоланкових dApp. Завдяки розподілу на кількох вузлах, індексери забезпечують підвищену безпеку та продуктивність, тоді як постачальники RPC можуть стикатися з перервами та простоєм через свою централізовану природу.

В цілому, на фоні постачальників RPC-нод, індексатори підвищують ефективність і надійність отримання даних, одночасно знижуючи витрати на розгортання одного вузла. Це робить протокол індексації блокчейнів вибором розробників dApp.

![Розвиток доступу до даних Web3: Вступ до індексаторів та пов'язаних проектів])https://img-cdn.gateio.im/webp-social/moments-16396b955382c2c74010c264affdca46.webp(

Приклади використання індексатора

Як згадувалося раніше, для побудови dApp потрібно отримати та прочитати дані з блокчейну, щоб забезпечити його роботу. Це стосується будь-якого типу dApp, такого як DeFi, платформи NFT, ігри або навіть соціальні мережі, оскільки ці платформи спочатку повинні прочитати дані, щоб виконати інші транзакції.

) DeFi

DeFi протоколи потребують різної інформації, щоб надати користувачам конкретні ціни, співвідношення, збори тощо. Автоматизований маркет-мейкер ###AMM( потребує певної інформації про ціни та ліквідність пулів для розрахунку відсоткових ставок свопів, тоді як кредитні протоколи потребують використання для визначення відсоткових ставок позики та співвідношення боргу при ліквідації. Введення цієї інформації в dApp є необхідним перед розрахунком відсоткових ставок, які виконує користувач.

) гра

GameFi потребує швидкого індексування та доступу до даних, щоб забезпечити користувачам безперебійну гру. Лише за допомогою швидкого отримання та виконання даних ігри Web3 можуть досягти продуктивності, що зрівняється з іграми Web2, залучаючи більше користувачів. Ці ігри потребують даних про право власності на землю, баланс токенів у грі, внутрішньоігрові операції тощо. Використовуючи індексатор, вони можуть краще забезпечити стабільний потік даних та стабільний час безвідмовної роботи, щоб запропонувати ідеальний ігровий досвід.

NFT

Ринок NFT та платформи позик потребують індексації даних для доступу до різної інформації, такої як метадані NFT, дані про власність та передачу, інформація про роялті тощо. Швидка індексація таких даних може уникнути необхідності переглядати кожен NFT поодинці для пошуку даних про власність чи атрибути NFT.

Незалежно від того, чи потрібна інформація про ціни та ліквідність для DeFi автоматичних маркет-мейкерів ###AMM(, чи потрібно оновити пости нових користувачів у SocialFi додатках, швидкий доступ до даних є вирішальним для нормального функціонування dApp. Завдяки індексатору вони можуть ефективно та точно отримувати дані, забезпечуючи плавний користувацький досвід.

) аналіз

Індексатор надає спосіб вилучення специфічних даних з первинних блокчейн-даних ###, включаючи події смарт-контрактів у кожному блоці (. Це відкриває можливості для більш конкретного аналізу даних, що забезпечує всебічне розуміння.

Наприклад, протоколи безстрокової торгівлі можуть визначити, які токени мають великий обсяг торгівлі та генерують високі збори, що дозволяє вирішити, чи включати ці токени в якості безстрокових контрактів на їхній платформі. Розробники DEX можуть створювати інформаційні панелі для своїх продуктів, щоб глибше зрозуміти, які ліквідні пули мають найвищу прибутковість або ліквідність. Також можна створювати публічні інформаційні панелі, які дозволяють розробникам вільно та гнучко запитувати будь-які типи даних, які вони хочуть відобразити на графіку.

Оскільки доступно кілька блокчейн-індексаторів, важливо розпізнати різницю між індексними протоколами, щоб забезпечити вибір розробниками найбільш підходящого для їх потреб індексатора.

![Розвиток доступу до даних Web3: Введення в індексатори та пов'язані проекти])https://img-cdn.gateio.im/webp-social/moments-53dbb4fd659cf6a7184990c886901658.webp(

Огляд блокчейн-індексаторів

) Граф

Graph – це перший протокол індексації, запущений на Ethereum, який дозволяє легко запитувати раніше важкодоступні дані про транзакції. Він використовує підграфі для визначення та фільтрації підмножин даних, зібраних з блокчейну, наприклад, усі транзакції, пов'язані з пулом USDC/ETH на певному DEX.

Використовуючи індексне підтвердження, індексатори ставлять рідні токени GRT для індексації та запитів, делегати можуть вибрати ставити свої токени тут. Куратори можуть отримати доступ до високоякісних підграфів, щоб допомогти індексаторам визначити, для яких підграфів збирати дані для отримання найкращих запитних зборів. У процесі переходу до більшої децентралізації The Graph зрештою припинить свої хостингові послуги та вимагатиме оновлення підграфів до своєї мережі, забезпечуючи при цьому оновлені індексатори.

Його інфраструктура забезпечує середню вартість 40 доларів за мільйон запитів, що значно нижче, ніж вартість самостійно управляються вузлів. Використовуючи файлові джерела даних, вона також підтримує паралельне індексування як ончейн, так і оффчейн даних для забезпечення ефективного вилучення даних.

Нагороди індексатора The Graph протягом останніх кількох кварталів стабільно зростали. Це частково пов'язано зі збільшенням обсягу запитів, але також зростанням ціни токенів, оскільки вони планують інтегрувати запити з підтримкою штучного інтелекту в майбутньому.

Кальмари

Subsquid є децентралізованим даним озером, яке працює за принципом рівноправного обміну та горизонтального масштабування, що дозволяє ефективно агрегувати велику кількість даних з блокчейну та поза ним, а також забезпечувати їх захист за допомогою нульових знань. Як децентралізована мережа робочих вузлів, кожен вузол відповідає за зберігання даних з певного підмножини блоків, прискорюючи процес вилучення даних шляхом швидкого визначення вузлів, що зберігають необхідні дані.

Subsquid також підтримує реальний час індексації, що дозволяє індексувати його до остаточного підтвердження блоку. Він також підтримує збереження даних у форматі, обраному розробником, що полегшує аналіз за допомогою таких інструментів, як BigQuery, Parquet або CSV. Крім того, підграфи можуть бути розгорнуті в мережі Subsquid без необхідності мігрувати на Squid SDK, що забезпечує безкодове розгортання.

Хоча Subsquid все ще знаходиться на стадії тестової мережі, він досяг вражаючих статистичних даних, маючи понад 80 000 користувачів тестової мережі, розгорнувши понад 60 000 індексаторів Squid, а на мережі є понад 20 000 перевірених розробників. Нещодавно, 3 червня, Subsquid запустив основну мережу свого дата-озера.

Окрім індексації, дані з湖 Subsquid Network також можуть замінити RPC у випадках використання таких, як аналіз, ZK/TEE ко-програмування, AI-агенти та Oracle.

Підзапит

SubQuery є децентралізованою інфраструктурною мережею проміжного програмного забезпечення, що надає послуги RPC та індексації даних. Спочатку вона підтримувала мережі Polkadot та Substrate, а тепер розширилася на понад 200 ланцюгів. Її робота подібна до The Graph, що використовує індексаційні докази: індексатор індексує дані та надає запити на запит, а делегатор ставить свої частки в заставу до індексатора. Однак вона вводить споживачів для подання замовлень на покупку, щоб забезпечити дохід індексатора, а не менеджера.

Він запровадить підтримку вузлів даних SubQuery з шардингом, щоб запобігти постійній синхронізації нових даних між кожним вузлом, тим самим оптимізуючи ефективність запитів і рухаючись до більшої децентралізації. Користувачі можуть вибрати оплату приблизно 1 SQT токенів за кожні 1000 запитів або встановити власні збори для індексаторів через протокол.

Незважаючи на те, що SubQuery випустила свій токен лише раніше цього року, винагорода за випуск для вузлів та делегатів також зросла в доларовій вартості в порівнянні з попереднім місяцем, що свідчить про постійне зростання кількості запитів, що надаються на їхній платформі. З моменту TGE загальна кількість заблокованих SQT зросла з 6 мільйонів до 125 мільйонів, підкреслюючи зростання участі в їхній мережі.

Ковалентний

Covalent є децентралізованою мережею індексаторів, яка створює копії блокчейн-даних через масовий експорт за допомогою вузлів виробників зразків блоків ###BSP(, і публікує докази на блокчейні Covalent L1. Ці дані потім уточнюються виробниками результатів блоків )BRP( відповідно до встановлених правил, відбираючи дані, що відповідають вимогам.

За допомогою єдиного API розробники можуть легко отримувати відповідні дані блокчейну в єдиному форматі запитів та відповідей, не пишучи складні налаштовані запити для доступу до даних. Можна використовувати токени CQT, що розраховуються на Moonbeam, як засіб оплати для отримання цих попередньо налаштованих наборів даних від операторів мережі.

Нагороди Covalent, схоже, загалом мають тенденцію до зростання з першого кварталу 23 року до першого кварталу 24 року, частково через зростання ціни токена Covalent CQT.

![Розвиток доступу до даних Web3: Вступ до індексаторів та супутніх проектів])https://img-cdn.gateio.im/webp-social/moments-52ee29205aa307720198994a5f3de61f.webp(

Зверніть увагу на вибір індексатора

) Налаштування даних

Деякі індексатори ###, такі як Covalent (, є універсальними індексаторами, які надають стандартні попередньо налаштовані набори даних лише через API. Хоча вони можуть бути швидкими, вони не можуть забезпечити