Новий етап доступу до даних Web3: аналіз технології індексаторів та порівняння основних проектів

Еволюція доступу до даних Web3: аналіз індексаторів та пов'язаних проєктів

Дані є основним елементом технології блокчейн і також є основою для розробки децентралізованих додатків (dApp). Наразі у галузі активно обговорюється доступність даних (DA), тобто забезпечення доступу учасників мережі до останніх даних про транзакції для їх перевірки. Однак, однаково важливий аспект доступності даних часто залишається поза увагою.

У епоху модульних блокчейнів рішення DA стали невід'ємною частиною. Ці рішення гарантують, що всі учасники можуть використовувати торгові дані, забезпечувати миттєву перевірку та підтримувати цілісність мережі. Але рівень DA більше схожий на рекламний щит, ніж на базу даних, дані не зберігаються постійно, а з часом видаляються.

У порівнянні з цим, доступність даних зосереджена на здатності отримувати історичні дані, що є вкрай важливим для розробки dApp та аналізу блокчейнів. Хоча обговорень менше, доступність даних є такою ж важливою, як і їхня доступність. Обидва вони відіграють різні, але взаємодоповнюючі ролі в екосистемі блокчейн, і всебічне управління даними повинно одночасно вирішувати ці дві проблеми для підтримки потужних і ефективних блокчейн-додатків.

Розвиток доступу до Web3 даних: Вступ до індексаторів та пов'язаних проектів

традиційні методи пошуку даних блокчейну

Від часу свого виникнення блокчейн кардинально змінив інфраструктуру, сприяв створенню dApp у таких сферах, як ігри, фінанси та соціальні мережі. Однак для створення цих dApp потрібно отримати доступ до великої кількості даних блокчейну, що є як складним, так і дорогим.

Для розробників dApp одним із варіантів є самостійне хостинг та запуск архівних RPC-узлів. Ці узли зберігають всі історичні дані блокчейну, що дозволяє повний доступ. Але витрати на обслуговування високі, можливості запитів обмежені, неможливо запитувати дані у форматі, потрібному розробникам. Іншим варіантом є запуск дешевших узлів, але можливості отримання даних обмежені, що може вплинути на роботу dApp.

Інший спосіб - це використання комерційних сервісів RPC-нод. Ці постачальники відповідають за витрати та управління вузлами, надаючи дані через кінцеві точки RPC. Публічні кінцеві точки RPC безкоштовні, але мають обмеження швидкості, що може вплинути на досвід користувача. Приватні кінцеві точки RPC мають кращу продуктивність, але простий пошук даних також потребує великої кількості комунікацій, що є неефективним і важким для масштабування.

Кращий альтернативний варіант: блокчейн-індексатор

Індексатор блокчейну відіграє ключову роль в організації даних у ланцюгу та їх відправці до бази даних для запитів, тому його часто називають "Гуглом блокчейну". Вони індексують дані блокчейну, роблячи їх доступними через запитну мову, схожу на SQL, (, таку як GraphQL API ). Індексатори надають єдиний інтерфейс для запитів, що дозволяє розробникам швидко і точно знаходити потрібну інформацію за допомогою стандартизованої мови, що значно спрощує процес.

Різні типи індексаторів оптимізують способи отримання даних по-різному:

  1. Повний вузол індексатор: запускає повний вузол блокчейну для безпосереднього витягування даних, забезпечуючи їх повноту та точність, але вимагає великої потужності зберігання та обробки.

  2. Легкий індексатор: покладається на повні вузли для отримання специфічних даних за запитом, зменшуючи вимоги до зберігання, але може збільшити час запиту.

  3. Спеціалізований індексатор: оптимізований для специфічних типів даних або блокчейнів, таких як дані NFT або DeFi-транзакції.

  4. Агент агрегування: витягує дані з кількох блокчейнів та джерел, включаючи інформацію поза ланцюгом, надає єдиний інтерфейс для запитів, підходить для багатоланцюгових dApp.

Тільки для Ethereum потрібно 3 ТБ дискового простору, і він постійно збільшується з ростом блокчейну. Протокол індексатора розгортає кілька індексаторів, що забезпечує ефективну індексацію та швидкий запит на велику кількість даних, чого не може забезпечити RPC.

Індексувач також дозволяє складні запити, легке фільтрування даних та аналіз після витягування. Деякі індексувачі можуть агрегувати дані з кількох джерел, уникаючи необхідності розгортання кількох API для багатоланкових dApp. Завдяки розподілу по кількох вузлах, індексувач забезпечує вищу безпеку та продуктивність, тоді як постачальники RPC можуть зазнавати перерв через централізовані характеристики.

Загалом, порівняно з RPC-вузловими сервісами, індексатор підвищує ефективність і надійність отримання даних, водночас знижуючи витрати на розгортання одного вузла. Це робить протокол індексатора блокчейну першим вибором для розробників dApp.

Розвиток доступу до даних Web3: Введення до індексаторів та пов'язаних проектів

Сценарії застосування індексаторів

Щоб створити dApp, потрібно отримати та прочитати дані з блокчейну для роботи сервісу. Це включає в себе різні dApp, такі як DeFi, NFT платформи, ігри та навіть соціальні мережі, оскільки їм потрібно спочатку прочитати дані, щоб виконати інші транзакції.

DeFi

DeFi-угоди потребують різної інформації для надання користувачам специфічних цін, коефіцієнтів та витрат. Автоматичний маркет-мейкер (AMM) потребує ціни та інформації про ліквідність певних ліквідних пулів для розрахунку процентних ставок свопу, протоколи кредитування потребують використання для визначення процентних ставок позик та співвідношення ліквідації боргів. Перед розрахунком процентних ставок, які користувач виконує, критично важливо ввести інформацію до dApp.

Гра

GameFi потребує швидкого індексування та доступу до даних, щоб забезпечити користувачам плавний ігровий досвід. Лише через швидкий доступ до даних та виконання Web3 ігри можуть конкурувати з Web2 іграми за продуктивністю, залучаючи більше користувачів. Ці ігри потребують даних про право власності на землю, залишок токенів у грі, операції в грі тощо. Використовуючи індексатор, вони можуть краще забезпечити стабільний потік даних та нормальний час роботи, гарантуючи ідеальний ігровий досвід.

NFT

NFT ринок і платформи кредитування потребують індексації даних для доступу до різної інформації, такої як метадані NFT, дані про власність і передачу, інформація про роялті тощо. Швидка індексація таких даних може уникнути перегляду кожного NFT окремо для пошуку даних про власність або атрибути.

Незалежно від того, чи це DeFi AMM, який потребує інформації про ціни та ліквідність, чи SocialFi застосунок, який потребує оновлення постів нових користувачів, швидкий доступ до даних є критично важливим для нормальної роботи dApp. Завдяки індексатору вони можуть ефективно та коректно отримувати дані, забезпечуючи плавний досвід для користувачів.

Аналіз

Індексатор надає можливість витягувати конкретні дані з оригінальних блокчейн-даних (, включаючи події смарт-контрактів у кожному блоці ). Це створює можливості для більш детального аналізу даних, що забезпечує всебічне розуміння.

Наприклад, протоколи безстрокової торгівлі можуть визначити, які токени мають великий обсяг торгівлі та генерують збори, щоб вирішити, чи включити їх до платформи як безстрокові контракти. Розробники DEX можуть створити інформаційні панелі для своїх продуктів, щоб глибше зрозуміти, які пулі капіталу мають найвищу прибутковість або найвищу ліквідність. Вони також можуть створити публічні інформаційні панелі, що дозволяє розробникам вільно і гнучко запитувати будь-які типи даних, які потрібно відобразити на графіках.

Оскільки доступно кілька індексаторів блокчейнів, важливо виявити різницю між індексними протоколами, щоб забезпечити вибір розробниками найбільш підходящого індексатора для їхніх потреб.

Огляд блокчейн-індексатора

Граф

The Graph є першим протоколом індексації, запущеним на Ethereum, який дозволяє легко запитувати раніше важкодоступні дані про транзакції. Він використовує підграфи для визначення та фільтрації підмножин даних, зібраних з блокчейну, таких як усі транзакції, пов'язані з певним пулом ліквідності.

Використовуючи доказ підтвердження індексу, індексатор ставить під заставу рідний токен GRT для індексації та запитів, делегат може вибрати ставити токени під заставу тут. Курятори можуть отримати доступ до високоякісних підграфіків, щоб допомогти індексатору визначити, для яких підграфіків збирати дані, щоб отримати найкращі комісії за запити. У процесі переходу до більшої децентралізації The Graph в кінцевому підсумку припинить хостинг служби, вимагатиме оновлення підграфіків до своєї мережі, одночасно забезпечуючи оновлені індексатори.

Її інфраструктура забезпечує середню вартість 40 доларів за мільйон запитів, що значно нижче, ніж у випадку з самостійно керованими вузлами. Використовуючи файлові джерела даних, вона також підтримує паралельне індексування як онлайнових, так і оффлайнових даних, що забезпечує ефективний доступ до даних.

Нагороди індексаторів The Graph стабільно зростають протягом останніх кількох кварталів. Це частково пов'язано зі збільшенням обсягу запитів, а також зростанням ціни токена, оскільки вони планують у майбутньому інтеграцію запитів із штучним інтелектом.

Кальмари

Subsquid – це децентралізоване сховище даних, що працює за принципом рівномірного масштабування, яке ефективно агрегує велику кількість даних з блокчейнів та поза ними та захищає їх за допомогою нульових знань. Як децентралізована мережа робочих вузлів, кожен вузол відповідає за зберігання специфічних підмножин даних блоків, прискорюючи пошук даних шляхом швидкої ідентифікації вузлів, що зберігають потрібні дані.

Subsquid підтримує реальний моніторинг, дозволяючи індексувати дані перед їх остаточним підтвердженням у блоці. Він також підтримує зберігання даних у форматі, обраному розробником, що полегшує аналіз за допомогою таких інструментів, як BigQuery, Parquet або CSV. Крім того, підграфи можуть бути розгорнуті в мережі Subsquid без необхідності міграції на Squid SDK, що забезпечує безкодове розгортання.

Хоча Subsquid все ще перебуває на етапі тестової мережі, він досяг вражаючих статистичних даних: понад 80 тисяч користувачів тестової мережі, розгорнуто понад 60 тисяч індексаторів Squid, на мережі понад 20 тисяч розробників-перевіряльників. Нещодавно Subsquid запустив свою основну мережу Data Lake.

Окрім індексації, дані з Subsquid Network можуть бути використані як RPC у таких випадках, як аналіз, ZK/TEE ко-процесори, AI агенти та Oracle.

Підзапит

SubQuery є децентралізованою мережею інфраструктури проміжного програмного забезпечення, яка надає послуги RPC та індексації даних. Спочатку підтримувала мережі Polkadot та Substrate, а тепер розширилася на понад 200 ланцюгів. Її принцип роботи подібний до The Graph, що використовує індексні докази, де індексатор індексує дані та надає запити на пошук, а делегатор закладає свої частки у індексатора. Проте, вона вводить споживачів, які подають замовлення на купівлю, що свідчить про гарантований дохід індексатора, а не управителя.

Він введе підтримку шардінгових даних вузлів SubQuery, щоб запобігти безперервній синхронізації нових даних між вузлами, оптимізуючи ефективність запитів, а також спрямуючи до більшої децентралізації. Користувачі можуть вибрати оплату приблизно 1 SQT токена за кожні 1000 запитів, або встановити користувацькі збори для індексаторів через протокол.

Хоча SubQuery випустила токени лише на початку цього року, винагороди для вузлів і делегатів у доларовій вартості зросли в порівнянні з попереднім місяцем, що свідчить про зростання кількості запитів, що надаються на їхній платформі. З моменту TGE загальний обсяг заблокованих SQT зріс з 6 мільйонів до 125 мільйонів, що підкреслює зростання участі в мережі.

Розвиток доступу до даних Web3: Вступ до індексаторів та пов'язаних проектів

Ковалентний

Covalent є децентралізованою мережею індексаторів, що створює копії блокчейн-даних шляхом масового експорту блокових зразків виробниками блоків (BSP) та публікує докази на L1-ланцюзі Covalent. Ці дані потім уточнюються виробниками блокових результатів (BRP) відповідно до встановлених правил, відбираючи дані, що відповідають вимогам.

За допомогою єдиного API розробники можуть легко отримувати відповідні дані блокчейну у єдиному форматі запитів і відповідей, не вдаючись до написання складних запитів для доступу до даних. Можна використовувати токени CQT, які розраховуються на Moonbeam, як засіб оплати для отримання цих попередньо налаштованих наборів даних від операторів мережі.

Нагороди Covalent, здається, загалом зростають з першого кварталу 2023 року до першого кварталу 2024 року, частково через зростання ціни токена Covalent CQT.

фактори для вибору індексаторів

Налаштування даних

Деякі індексатори (, такі як Covalent ), є універсальними індексаторами, які надають стандартні попередньо налаштовані набори даних лише через API. Хоча вони швидкі, але не можуть забезпечити гнучкість для розробників, які потребують налаштованих наборів даних. Використання фреймворку індексаторів дозволяє більше налаштувати обробку даних, щоб задовольнити специфічні вимоги застосування.

Безпека

Індексаційні дані повинні бути безпечними, інакше dApp, побудовані на основі цих індексаторів, також можуть бути вразливими. Наприклад, якщо транзакції та баланс гаманця можуть бути маніпульованими, dApp може втратити ліквідність, що вплине на користувачів. Хоча всі індексатори застосовують якусь форму заходів безпеки через стейкінг токенів, інші рішення індексаторів можуть використовувати докази для подальшого підвищення безпеки.

Subsquid пропонує використання оптимістичних і нульових доказів, Covalent також випустив докази, що містять хеш-значення блоків. Graph пропонує період оскарження для запитів індексаторів у вигляді оптимістичного вікна оскарження, SubQuery генерує Merkle Mountain докази для кожного блоку, обчислюючи хеш-значення всіх даних, збережених у його базі даних для кожного блоку.

Швидкість та масштабованість

З ростом блокчейну обсяги торгівлі також зростають, індексація великої кількості даних стає більш складною, вимагаючи більше обчислювальної потужності та місця для зберігання. З ростом блокчейн-мереж підтримувати ефективність стає важче, але протоколи індексації пропонують рішення для задоволення цих зростаючих потреб.

Наприклад, Subsquid реалізує горизонтальне масштабування, додаючи більше вузлів для зберігання даних, і може масштабуватися разом з удосконаленнями апаратного забезпечення. Graph надає паралельні потоки даних, що дозволяє швидше синхронізувати дані, а SubQuery впроваджує шардінг вузлів для прискорення процесу синхронізації.

Підтримувані мережі

Хоча більшість блокчейн-активностей все ще відбувається в Ethereum, з часом різні блокчейни стають все більш популярними. Наприклад, Layer 2s, Solana, Move-блокчейн і екосистема Bitcoin мають власний набір дедалі зростаючих розробників і активностей, які також потребують індексних послуг.

Підтримка певних ланцюгів, які не підтримуються іншими протоколами індексаторів, може привести до отримання більшої частки ринку.

Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Нагородити
  • 4
  • Поділіться
Прокоментувати
0/400
ZKSherlockvip
· 13год тому
насправді... DA - це лише половина битви. справжній кошмар конфіденційності починається з отримання історичних даних, смх
Переглянути оригіналвідповісти на0
BearMarketHustlervip
· 13год тому
DA ще важливий? Це абсурд.
Переглянути оригіналвідповісти на0
ThatsNotARugPullvip
· 14год тому
База даних накладається на базу даних, картка застрягла.
Переглянути оригіналвідповісти на0
UnluckyValidatorvip
· 14год тому
у блокчейні також є попередження про повний жорсткий диск?
Переглянути оригіналвідповісти на0
  • Закріпити