Javascript must be enabled to continue!
Миграция высоконагруженного кластера с Redis на Apache Cassandra: архитектурные решения и анализ производительности
View through CrossRef
В работе представлен кейс миграции высоконагруженной системы с Redis 6.2.x на Apache Cassandra 4.1.x в конфигурации двух дата‑центров (RF=3+3, `LOCAL_QUORUM`). Приведена воспроизводимая методика нагрузочного тестирования (YCSB‑A, Zipf, 100 млн ключей, 1 КБ запись, прогрев/замер) и сравнение задержек p95/p99 и пропускной способности с учётом конфигураций операционной системы, файловой структуры, дискового пространства и конфигурации виртуальной JAVA-машины. Показаны результаты испытаний на отказ при потере узла и потере дата-центра. Представлены регламенты эксплуатации, включая восстановление и резервное копирование. Обсуждены варианты компромиссной оптимизации выбора стратегии уплотнения данных с анализом альтернативных подходов, таких как стратегия равномерного уплотнения LCS и стратегия для временных рядов TWCS). Рассмотрено влияние фоновых задач уплотнения и синхронизация данных между узлами в высоконагруженной распределённой системе хранения данных на «хвосты задержек» - временные скачки длительности задержки, ведущие к деградации производительности системы при высоких нагрузках.
The paper presents a case study of migrating a high-load system from Redis 6.2.x to Apache Cassandra 4.1.x in a configuration of two data centers (RF=3+3, 'LOCAL_QUORUM'). A reproducible load testing methodology (YCSBA, Zipf, 100 million keys, 1 KB write, warm-up/metering) and a comparison of p95/p99 latency and bandwidth are given, taking into account the configurations of the operating system, file structure, disk space and the configuration of the JAVA virtual machine. The results of failure tests for node loss and data center loss are shown. Operating procedures, including recovery and backup, are presented. Options for compromise optimization of the choice of data compaction strategy are discussed with the analysis of alternative approaches, such as the LCS uniform compaction strategy and the TWCS time series strategy. The influence of background compaction tasks and data synchronization between nodes in a high-load distributed data storage system on "latency tails" - temporary jumps in latency leading to system performance degradation under high loads is considered.
Internet Media League
Title: Миграция высоконагруженного кластера с Redis на Apache Cassandra: архитектурные решения и анализ производительности
Description:
В работе представлен кейс миграции высоконагруженной системы с Redis 6.
2.
x на Apache Cassandra 4.
1.
x в конфигурации двух дата‑центров (RF=3+3, `LOCAL_QUORUM`).
Приведена воспроизводимая методика нагрузочного тестирования (YCSB‑A, Zipf, 100 млн ключей, 1 КБ запись, прогрев/замер) и сравнение задержек p95/p99 и пропускной способности с учётом конфигураций операционной системы, файловой структуры, дискового пространства и конфигурации виртуальной JAVA-машины.
Показаны результаты испытаний на отказ при потере узла и потере дата-центра.
Представлены регламенты эксплуатации, включая восстановление и резервное копирование.
Обсуждены варианты компромиссной оптимизации выбора стратегии уплотнения данных с анализом альтернативных подходов, таких как стратегия равномерного уплотнения LCS и стратегия для временных рядов TWCS).
Рассмотрено влияние фоновых задач уплотнения и синхронизация данных между узлами в высоконагруженной распределённой системе хранения данных на «хвосты задержек» - временные скачки длительности задержки, ведущие к деградации производительности системы при высоких нагрузках.
The paper presents a case study of migrating a high-load system from Redis 6.
2.
x to Apache Cassandra 4.
1.
x in a configuration of two data centers (RF=3+3, 'LOCAL_QUORUM').
A reproducible load testing methodology (YCSBA, Zipf, 100 million keys, 1 KB write, warm-up/metering) and a comparison of p95/p99 latency and bandwidth are given, taking into account the configurations of the operating system, file structure, disk space and the configuration of the JAVA virtual machine.
The results of failure tests for node loss and data center loss are shown.
Operating procedures, including recovery and backup, are presented.
Options for compromise optimization of the choice of data compaction strategy are discussed with the analysis of alternative approaches, such as the LCS uniform compaction strategy and the TWCS time series strategy.
The influence of background compaction tasks and data synchronization between nodes in a high-load distributed data storage system on "latency tails" - temporary jumps in latency leading to system performance degradation under high loads is considered.
Related Results
Особливості хірургічної тактики при протяжних рубцевих стриктурах стравоходу
Особливості хірургічної тактики при протяжних рубцевих стриктурах стравоходу
Мета дослідження - поліпшення результатів лікування хворих з протяжними післяопіковими рубцевими стриктурами стравоходу (ППРСС) шляхом удосконалення існуючої хірургічної тактики.
...
Cassandra Through a Feminist View: Christa Wolf’s Reinterpretation of Cassandra
Cassandra Through a Feminist View: Christa Wolf’s Reinterpretation of Cassandra
This thesis offers a feminist interpretation of Cassandra, the Trojan princess who appears in the Trojan War in the Greek myth of the Iliad. East German novelist Christa Wolf summo...
Validity of Acute Physiology and Chronic Health Evaluation (APACHE) IV for the Prediction of Prolonged Intensive Care Unit (ICU) Length of Stay in Dr. Sardjito General Hospital in the COVID Era
Validity of Acute Physiology and Chronic Health Evaluation (APACHE) IV for the Prediction of Prolonged Intensive Care Unit (ICU) Length of Stay in Dr. Sardjito General Hospital in the COVID Era
Introduction: APACHE IV was a good predictor of ICU length of stay in the USA and some countries outside the USA but poor in others. It is important to develop a scoring system for...
КЛАСТЕРЫ: ОРГАНИЗАЦИОННО-ЭКОНОМИЧЕСКАЯ ПРИРОДА И ОСНОВНЫЕ РАЗНОВИДНОСТИ
КЛАСТЕРЫ: ОРГАНИЗАЦИОННО-ЭКОНОМИЧЕСКАЯ ПРИРОДА И ОСНОВНЫЕ РАЗНОВИДНОСТИ
В эпоху глобализации экономики в разных странах мира, и с развитой экономикой, и только развивающихся, широко распространено создание кластеров. Образование кластера дает возможнос...
Tools and techniques for real-time data processing: A review
Tools and techniques for real-time data processing: A review
Real-time data processing is an essential component in the modern data landscape, where vast amounts of data are generated continuously from various sources such as Internet of Thi...
Разрешимость псевдогиперболического уравнения с нелинейным граничным условием
Разрешимость псевдогиперболического уравнения с нелинейным граничным условием
Данная работа посвящена фундаментальной проблеме исследования разрешимости начальнокраевой задачи для квазилинейного псевдогиперболического уравнения (называемых также уравнениями ...
Software analysis of scientific texts: comparative study of distributed computing frameworks
Software analysis of scientific texts: comparative study of distributed computing frameworks
The relevance of this study is related to the need for efficient analysis of scientific texts in the context of the growing amount of information. This study aims to conduct a stud...
Comparison of APACHE-II, SAPS and SOFA as the best predictor of mor-tality among critically ill patients.
Comparison of APACHE-II, SAPS and SOFA as the best predictor of mor-tality among critically ill patients.
Objective: To find out the predictive ability of various scoring system including APACHE II, SOFA and SAPS II in finding the prognosis of critically ill patients.Methodology: This ...

