Javascript must be enabled to continue!
Миграция высоконагруженного кластера с Redis на Apache Cassandra: архитектурные решения и анализ производительности
View through CrossRef
В работе представлен кейс миграции высоконагруженной системы с Redis 6.2.x на Apache Cassandra 4.1.x в конфигурации двух дата‑центров (RF=3+3, `LOCAL_QUORUM`). Приведена воспроизводимая методика нагрузочного тестирования (YCSB‑A, Zipf, 100 млн ключей, 1 КБ запись, прогрев/замер) и сравнение задержек p95/p99 и пропускной способности с учётом конфигураций операционной системы, файловой структуры, дискового пространства и конфигурации виртуальной JAVA-машины. Показаны результаты испытаний на отказ при потере узла и потере дата-центра. Представлены регламенты эксплуатации, включая восстановление и резервное копирование. Обсуждены варианты компромиссной оптимизации выбора стратегии уплотнения данных с анализом альтернативных подходов, таких как стратегия равномерного уплотнения LCS и стратегия для временных рядов TWCS). Рассмотрено влияние фоновых задач уплотнения и синхронизация данных между узлами в высоконагруженной распределённой системе хранения данных на «хвосты задержек» - временные скачки длительности задержки, ведущие к деградации производительности системы при высоких нагрузках.
The paper presents a case study of migrating a high-load system from Redis 6.2.x to Apache Cassandra 4.1.x in a configuration of two data centers (RF=3+3, 'LOCAL_QUORUM'). A reproducible load testing methodology (YCSBA, Zipf, 100 million keys, 1 KB write, warm-up/metering) and a comparison of p95/p99 latency and bandwidth are given, taking into account the configurations of the operating system, file structure, disk space and the configuration of the JAVA virtual machine. The results of failure tests for node loss and data center loss are shown. Operating procedures, including recovery and backup, are presented. Options for compromise optimization of the choice of data compaction strategy are discussed with the analysis of alternative approaches, such as the LCS uniform compaction strategy and the TWCS time series strategy. The influence of background compaction tasks and data synchronization between nodes in a high-load distributed data storage system on "latency tails" - temporary jumps in latency leading to system performance degradation under high loads is considered.
Internet Media League
Title: Миграция высоконагруженного кластера с Redis на Apache Cassandra: архитектурные решения и анализ производительности
Description:
В работе представлен кейс миграции высоконагруженной системы с Redis 6.
2.
x на Apache Cassandra 4.
1.
x в конфигурации двух дата‑центров (RF=3+3, `LOCAL_QUORUM`).
Приведена воспроизводимая методика нагрузочного тестирования (YCSB‑A, Zipf, 100 млн ключей, 1 КБ запись, прогрев/замер) и сравнение задержек p95/p99 и пропускной способности с учётом конфигураций операционной системы, файловой структуры, дискового пространства и конфигурации виртуальной JAVA-машины.
Показаны результаты испытаний на отказ при потере узла и потере дата-центра.
Представлены регламенты эксплуатации, включая восстановление и резервное копирование.
Обсуждены варианты компромиссной оптимизации выбора стратегии уплотнения данных с анализом альтернативных подходов, таких как стратегия равномерного уплотнения LCS и стратегия для временных рядов TWCS).
Рассмотрено влияние фоновых задач уплотнения и синхронизация данных между узлами в высоконагруженной распределённой системе хранения данных на «хвосты задержек» - временные скачки длительности задержки, ведущие к деградации производительности системы при высоких нагрузках.
The paper presents a case study of migrating a high-load system from Redis 6.
2.
x to Apache Cassandra 4.
1.
x in a configuration of two data centers (RF=3+3, 'LOCAL_QUORUM').
A reproducible load testing methodology (YCSBA, Zipf, 100 million keys, 1 KB write, warm-up/metering) and a comparison of p95/p99 latency and bandwidth are given, taking into account the configurations of the operating system, file structure, disk space and the configuration of the JAVA virtual machine.
The results of failure tests for node loss and data center loss are shown.
Operating procedures, including recovery and backup, are presented.
Options for compromise optimization of the choice of data compaction strategy are discussed with the analysis of alternative approaches, such as the LCS uniform compaction strategy and the TWCS time series strategy.
The influence of background compaction tasks and data synchronization between nodes in a high-load distributed data storage system on "latency tails" - temporary jumps in latency leading to system performance degradation under high loads is considered.
Related Results
Особливості хірургічної тактики при протяжних рубцевих стриктурах стравоходу
Особливості хірургічної тактики при протяжних рубцевих стриктурах стравоходу
Мета дослідження - поліпшення результатів лікування хворих з протяжними післяопіковими рубцевими стриктурами стравоходу (ППРСС) шляхом удосконалення існуючої хірургічної тактики.
...
Tools and techniques for real-time data processing: A review
Tools and techniques for real-time data processing: A review
Real-time data processing is an essential component in the modern data landscape, where vast amounts of data are generated continuously from various sources such as Internet of Thi...
Software analysis of scientific texts: comparative study of distributed computing frameworks
Software analysis of scientific texts: comparative study of distributed computing frameworks
The relevance of this study is related to the need for efficient analysis of scientific texts in the context of the growing amount of information. This study aims to conduct a stud...
MoSDeF Cassandra: A complete Python interface for the Cassandra Monte Carlo software
MoSDeF Cassandra: A complete Python interface for the Cassandra Monte Carlo software
AbstractWe introduce a new Python interface for the Cassandra Monte Carlo software, molecular simulation design framework (MoSDeF) Cassandra. MoSDeF Cassandra provides a simplified...
Sequential Organ Failure Assessment (SOFA) score for predicting mortality in patients with sepsis in Vietnamese intensive care units: A multicentre, cross-sectional study
Sequential Organ Failure Assessment (SOFA) score for predicting mortality in patients with sepsis in Vietnamese intensive care units: A multicentre, cross-sectional study
ABSTRACTObjectivesTo compare the accuracy of the SOFA and APACHE II scores in predicting mortality among ICU patients with sepsis in an LMIC.DesignA multicentre, cross-sectional st...
NGHIÊN CỨU MỘT SỐ YẾU TỐ TIÊN LƯỢNG NẶNG Ở BỆNH NHÂN NHIỄM KHUẨN HUYẾT TẠI BỆNH VIỆN TRUNG ƯƠNG HUẾ NĂM 2018-2019
NGHIÊN CỨU MỘT SỐ YẾU TỐ TIÊN LƯỢNG NẶNG Ở BỆNH NHÂN NHIỄM KHUẨN HUYẾT TẠI BỆNH VIỆN TRUNG ƯƠNG HUẾ NĂM 2018-2019
Mục tiêu: Khảo sát một số yếu tố tiên lượng nặng ở bệnh nhân nhiễm khuẩn huyết.
Đối tượng và phương pháp: 84 bệnh nhân trên 15 tuổi được chẩn đoán nhiễm khuẩn huyết, điều trị...
Фармакоэкономическая оценка лекарственного обеспечения химиотерапии мелкоклеточного рака легкого
Фармакоэкономическая оценка лекарственного обеспечения химиотерапии мелкоклеточного рака легкого
Введение. За последние десятилетия значительно продвинулся фармакоэкономический анализ множественных заболеваний: в частности, наиболее распространенным является анализ экономическ...
Christa Wolf’s Cassandra
Christa Wolf’s Cassandra
Christa Wolf’s Cassandra: A Novel and Four Essays was published in English in 1984. Wolf makes Cassandra the focalizing voice of her text. Through her, Wolf reevaluates epic narrat...

