Давление данных кажется простым делом, но на практике поджидает множество ловушек. Чтобы снизить затраты на хранение и передачу при сохранении целостности данных, сжатие является необходимым средством. Но есть один важный момент — ваш алгоритм сжатия должен поддерживать случайный доступ, чтобы эффективно проводить выборочную проверку, и нельзя ради достижения высокой степени сжатия потерять эту возможность.
На самом деле, между степенью сжатия и затратами на распаковку существует явный баланс. Если сжать слишком сильно, вычислительные затраты на распаковку увеличатся в разы, что в конечном итоге снизит эффективность проверки узлов. Особенно в сценариях распределенного хранения этот баланс становится еще более сложным. Нужно учитывать также сетевую передачу, дисковый ввод-вывод и другие аспекты; чрезмерная оптимизация одного из них часто ведет к ухудшению общей производительности. Поэтому ключ — найти тот самый оптимальный критический уровень.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
6 Лайков
Награда
6
3
Репост
Поделиться
комментарий
0/400
rugdoc.eth
· 01-11 16:37
Соотношение сжатия и доступности действительно является сложной задачей, одностороннее стремление к высокой степени сжатия — это глупо
Найти баланс сложнее всего, особенно в распределенной системе, это действительно как цепная реакция
Когда расходы на распаковку взрываются, уже поздно жаловаться, нужно снова настраивать параметры
Посмотреть ОригиналОтветить0
UncleWhale
· 01-11 16:35
Действительно, высокая степень сжатия не всегда является хорошей, иногда затраты на распаковку могут быть очень большими...
Балансировка действительно сложна, если оптимизировать один этап, другие могут пострадать
Правильно сказано о случайном доступе, нельзя жертвовать практичностью ради показателей
Распределённое хранение данных — это именно так, везде подстерегают ловушки, нужно найти тот самый баланс
Посмотреть ОригиналОтветить0
MevSandwich
· 01-11 16:26
哈哈,压缩率 и расходы на распаковку这个 trade-off действительно является вечной болью
Вот почему многие проекты в Web3 сталкиваются с этим: хотят добиться взрывного сжатия, а в результате узлы верификации просто зависают
Короче говоря, нужно найти баланс, случайный доступ нельзя потерять
Давление данных кажется простым делом, но на практике поджидает множество ловушек. Чтобы снизить затраты на хранение и передачу при сохранении целостности данных, сжатие является необходимым средством. Но есть один важный момент — ваш алгоритм сжатия должен поддерживать случайный доступ, чтобы эффективно проводить выборочную проверку, и нельзя ради достижения высокой степени сжатия потерять эту возможность.
На самом деле, между степенью сжатия и затратами на распаковку существует явный баланс. Если сжать слишком сильно, вычислительные затраты на распаковку увеличатся в разы, что в конечном итоге снизит эффективность проверки узлов. Особенно в сценариях распределенного хранения этот баланс становится еще более сложным. Нужно учитывать также сетевую передачу, дисковый ввод-вывод и другие аспекты; чрезмерная оптимизация одного из них часто ведет к ухудшению общей производительности. Поэтому ключ — найти тот самый оптимальный критический уровень.