Децентрализация хранения: от концепции до реализации трудный путь

Хранение было одной из популярных ниш в индустрии блокчейн. Filecoin, как представитель последнего бычьего рынка, когда-то имел капитализацию свыше 10 миллиардов долларов. Arweave же выделялся своим предложением постоянного хранения, достигнув максимальной капитализации в 3,5 миллиарда долларов. Однако с учетом сомнений в доступности холодного хранения данных необходимость постоянного хранения также стала предметом обсуждения, и перспектива Децентрализация хранения оказалась под угрозой.

Появление Walrus привлекло новое внимание к давно затихшему сектору хранения данных. Недавно запущенный проект Shelby, совместно разработанный Aptos и Jump Crypto, нацелен на то, чтобы поднять децентрализованное хранение в области горячих данных на новый уровень. Итак, есть ли надежда на то, что децентрализованное хранение сможет вернуться на сцену и найти более широкое применение? Или это всего лишь еще один раунд концептуальной спекуляции? В этой статье мы начнем с анализа развития четырех проектов: Filecoin, Arweave, Walrus и Shelby, чтобы рассмотреть процесс эволюции децентрализованного хранения и обсудить его перспективы развития.

Filecoin: имя хранения, суть майнинга

Filecoin является одним из первых криптовалютных проектов, который возник, и его направление развития, естественно, сосредоточено на Децентрализации. Это общая черта ранних криптопроектов — искать смысл Децентрализации в различных традиционных сферах. Filecoin сочетает хранение и Децентрализацию, предлагая решения для недостатков централизованного хранения. Однако некоторые компромиссы, сделанные для достижения Децентрализации, на самом деле стали болевыми точками, которые позже пытались решить такие проекты, как Arweave или Walrus. Чтобы понять, что Filecoin по сути является лишь проектом с майнингом, необходимо осознать объективные ограничения его базовой технологии IPFS в обработке горячих данных.

IPFS:Децентрализация架构的传输瓶颈

IPFS( Межгалактическая файловая система) была представлена еще в 2015 году с целью разрушить традиционный протокол HTTP с помощью адресации по содержимому. Главным недостатком IPFS является крайне медленная скорость получения. В эпоху, когда традиционные провайдеры данных могут обеспечить отклик в миллисекундах, для получения файла в IPFS требуется еще десятки секунд, что затрудняет его внедрение в практическое применение и объясняет, почему, кроме некоторых блокчейн-проектов, он редко используется в традиционных отраслях.

Основной P2P-протокол IPFS в основном подходит для "холодных данных", то есть для статического контента, который не часто изменяется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения на основе искусственного интеллекта, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.

Хотя IPFS сам по себе не является блокчейном, концепция его направленного ациклического графа (DAG ) в большой степени соответствует многим публичным цепочкам и протоколам Web3, что делает его естественно подходящим для использования в качестве основной строительной рамки для блокчейна. Поэтому, даже если у него есть недостатки в практическом применении, как основная структура, поддерживающая нарратив блокчейна, этого уже достаточно. Ранние криптопроекты могли начать свои большие амбиции с одного работающего фрейма, но когда Filecoin достиг определенного этапа, присущие проблемы IPFS начали препятствовать его дальнейшему развитию.

Логика майнинг-монет под оболочкой хранения

Первоначальная идея дизайна IPFS заключалась в том, чтобы позволить пользователям, хранящим данные, также стать частью сети хранения. Однако в условиях отсутствия экономических стимулов пользователям сложно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут только хранить файлы в IPFS, но не будут вносить свой собственный объем хранения и не будут хранить файлы других. Именно на таком фоне и появился Filecoin.

В экономической модели токенов Filecoin основными ролями являются три: пользователи отвечают за оплату за хранение данных; майнеры хранилищ получают токеновые вознаграждения за хранение пользовательских данных; майнеры извлечения предоставляют данные по мере необходимости пользователям и получают вознаграждения.

Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут после предоставления хранилища заполнить его мусорными данными, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут запрашиваться, даже если они будут потеряны, это не вызовет механизма наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус о доказательстве копирования Filecoin может лишь гарантировать, что пользовательские данные не были удалены без разрешения, но не может предотвратить заполнение мусорными данными.

Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Хотя проект продолжает итерации, на текущем этапе построение экосистемы Filecoin больше соответствует "логике майнинга", а не "приложенческой" модели хранения.

Arweave: Долгосрочные выгоды и потери

Если говорить о том, что цель дизайна Filecoin заключается в создании стимулирующей, доказуемой Децентрализация "облачной системы хранения данных", то Arweave идет в другом, экстремальном направлении хранения: предоставляя данные с возможностью постоянного хранения. Arweave не пытается создать распределенную вычислительную платформу, вся его система основана на одной ключевой гипотезе - важные данные должны храниться один раз и навсегда оставаться в сети. Эта крайняя долгосрочность делает Arweave во всех аспектах, от механизмов до моделей стимулов, от аппаратных требований до нарративных точек зрения, совершенно отличным от Filecoin.

Arweave использует биткойн в качестве объекта изучения и пытается постоянно оптимизировать свою сеть постоянного хранения на протяжении долгих периодов, измеряемых годами. Arweave не уделяет внимания маркетингу и не заботится о конкурентах и рыночных тенденциях. Он просто продолжает двигаться вперед по пути итерации сетевой архитектуры, даже если никто не обращает на это внимания, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался большой популярностью в предыдущем бычьем рынке; также из-за долгосрочности, даже если он упадет на дно, Arweave все равно может пережить несколько раундов быков и медведей. Но будет ли у Arweave место в будущем децентрализованного хранения?

С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на потерю интереса со стороны рынка, она постоянно стремилась позволить более широкому кругу майнеров участвовать в сети с минимальными затратами и мотивировать майнеров максимально хранить данные, тем самым постоянно повышая надежность всей сети. Arweave хорошо осознает, что не соответствует рыночным предпочтениям, поэтому она выбрала консервативный путь, не принимая майнерские сообщества, экосистема полностью остановилась, чтобы обновить основную сеть с минимальными затратами, постоянно снижая порог аппаратных требований без ущерба для безопасности сети.

Обзор обновления версии 1.5-2.9

Версия Arweave 1.5 обнаружила уязвимость, позволяющую майнерам полагаться на стек GPU вместо реального хранилища для оптимизации вероятности генерации блоков. Чтобы сдержать эту тенденцию, в версии 1.7 был введен алгоритм RandomX, который ограничивает использование специализированной вычислительной мощности и требует участия универсальных CPU в майнинге, тем самым ослабляя централизацию вычислительной мощности.

Версия 2.0 использует SPoA, преобразуя доказательство данных в упрощенный путь структуры дерева Меркла и вводя транзакции формата 2 для снижения нагрузки на синхронизацию. Эта архитектура уменьшает давление на пропускную способность сети, значительно усиливая способность узлов к сотрудничеству. Однако некоторые майнеры все еще могут избежать реальной ответственности за хранение данных с помощью стратегии централизованных высокоскоростных хранилищ.

В версии 2.4 был представлен механизм SPoRA, который вводит глобальный индекс и медленный хеш-случайный доступ, требуя от майнеров реального владения блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. В версии 2.6 была введена хеш-цепочка для контроля темпа создания блоков, что сбалансировало предельную полезность высокопроизводительных устройств и предоставило справедливое пространство для участия малым и средним майнерам.

В следующих версиях дополнительно усиливаются возможности сетевого сотрудничества и разнообразие хранения: 2.7 добавляет механизмы совместного майнинга и пула, повышая конкурентоспособность мелких майнеров; 2.8 вводит механизм комплексной упаковки, позволяя крупным низкоскоростным устройствам гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутую цепь модели майнинга, ориентированной на данные.

В целом, путь обновления Arweave ясно демонстрирует его долгосрочную стратегию, ориентированную на хранение: при постоянном сопротивлении тенденции концентрации вычислительной мощности, продолжает снижать порог участия, обеспечивая возможность долгосрочной работы протокола.

Walrus: Принятие инноваций и ограничений горячих данных

Дизайнерская концепция Walrus совершенно отличается от Filecoin и Arweave. Исходная точка Filecoin заключается в создании децентрализованной проверяемой системы хранения, ценой которой является хранение холодных данных; исходная точка Arweave заключается в создании онлайновой Александрийской библиотеки, которая может навсегда хранить данные, ценой которой является ограниченное применение; исходная точка Walrus заключается в оптимизации затрат на хранение протокола хранения горячих данных.

RedStuff: Инновации в затратах или старая идея в новой упаковке?

В плане проектирования затрат на хранение Walrus считает, что расходы на хранение Filecoin и Arweave являются неоправданными. Оба последних используют архитектуру полной репликации, основное преимущество которой заключается в том, что каждый узел имеет полную копию, обеспечивая высокую отказоустойчивость и независимость узлов. Эта архитектура гарантирует, что даже если часть узлов отключена, сеть все равно будет обладать доступностью данных. Однако это также означает, что системе требуется многократная избыточность для поддержания надежности, что повышает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые решения по низким затратам могут представлять более высокий риск потери данных. Walrus пытается найти баланс между двумя, его механизм контролирует затраты на репликацию, одновременно усиливая доступность через структурированную избыточность, тем самым создавая новый компромиссный путь между доступностью данных и эффективностью затрат.

Технология RedStuff, разработанная Walrus, является ключевой для снижения избыточности узлов, она основана на кодировании Reed-Solomon(RS). Кодирование RS — это традиционный алгоритм кодирования с исправлением ошибок, который может быть использован для восстановления исходных данных. От CD-ROM до спутниковой связи и QR-кодов, он широко применяется в повседневной жизни.

Кодирование с коррекцией ошибок позволяет расширить блок данных ( размером 1MB) до двойного размера (2MB), где дополнительные 1MB представляют собой специальные данные для коррекции ошибок. Даже если любой байт в блоке потерян, его можно легко восстановить с помощью этих кодов. Даже в случае потери данных объемом до 1MB, весь блок все равно может быть восстановлен. Технология позволяет компьютерам считывать все данные с поврежденных CD-ROM.

В настоящее время наиболее распространены коды Рида-Соломона (RS-коды). Реализация начинается с k информационных блоков, строятся связанные многочлены, и они оцениваются в различных координатах x для получения кодированных блоков. Используя RS-коды для исправления ошибок, вероятность случайной потери больших объемов данных крайне мала.

Основная особенность RedStuff заключается в том, что благодаря улучшенному алгоритму кодирования с исправлением ошибок Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые хранятся в сети узлов хранения. Даже если будет потеряно до двух третей фрагментов, оригинальные блоки данных можно быстро восстановить, используя часть фрагментов. Это стало возможным при поддержании фактора репликации всего 4-5 раз.

Поэтому определение Walrus как легковесного протокола резервирования и восстановления, переработанного для децентрализованного сценария, является оправданным. В отличие от традиционных кодов для случайных ошибок (, таких как Рид-Самуэль ), RedStuff больше не стремится к строгой математической согласованности, а вместо этого проводит реалистичные компромиссы в отношении распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от механизма немедленного декодирования, необходимого для централизованного планирования, и вместо этого использует проверку Proof на блокчейне для проверки наличия у узлов определенных копий данных, что позволяет адаптироваться к более динамичной и маргинализированной сетевой структуре.

Ядро дизайна RedStuff заключается в разделении данных на два типа: основные сегменты и второстепенные сегменты. Основные сегменты используются для восстановления исходных данных, их создание и распределение подлежат строгому контролю, порог восстановления составляет f+1, и требуется 2f+1 подписей в качестве подтверждения доступности; второстепенные сегменты создаются с помощью простых операций, таких как XOR, и служат для обеспечения гибкой устойчивости к ошибкам, повышая общую надежность системы. Эта структура по сути снижает требования к согласованности данных - позволяет различным узлам временно хранить разные версии данных, подчеркивая практический путь "конечной согласованности". Хотя она аналогична более свободным требованиям к обратным блокам в системах, таких как Arweave, и достигла определенных результатов в снижении нагрузки на сеть, это также ослабляет гарантии мгновенной доступности и целостности данных.

нельзя