Объёмы данных в корпоративных системах растут, а вместе с ними — расходы на инфраструктуру. При этом исследования показывают: до 80% записей в типичной базе данных используются редко или вовсе не востребованы. Платить за их хранение в оперативной памяти — дорого и нецелесообразно.
Горячее и холодное: в чём разница
Горячие данные — активные сессии, текущие транзакции, свежая аналитика. К ним обращаются постоянно, и задержка должна быть минимальной — микросекунды и миллисекунды. Такие данные держат в оперативной памяти.
Холодные данные — история транзакций, архивные логи, данные для аудита. Они востребованы редко, и задержка в несколько секунд вполне приемлема. Их можно хранить на обычных дисках или в объектных хранилищах.
Разница в стоимости хранения при этом принципиальная: 1 ГБ оперативной памяти обходится в 10–50 раз дороже, чем 1 ГБ на диске.
Сколько можно сэкономить
Если база весит 10 ТБ и хранится целиком в памяти, ежемесячные расходы могут достигать 5–10 млн рублей. Перенос 80% холодных данных на диск снижает этот счёт до 1–2 млн рублей.
Это не теория. Тестирование механизма охлаждения в реальных проектах на Tarantool DB показало: после переноса 74% данных на дисковое хранилище потребление оперативной памяти сократилось с 9,6 ТБ до 2,5 ТБ, а экономия составила около 4,2 млн рублей в месяц. При этом скорость работы с горячими данными не изменилась — по-прежнему 0,5 мс.
Как это работает в Tarantool DB
Tarantool DB реализует встроенный механизм охлаждения — Cooler. Он работает в фоновом режиме и автоматически перемещает данные между памятью и диском по заданным правилам: например, по времени последнего обращения к записи или давности её создания. Писать скрипты или строить отдельную инфраструктуру не нужно — приложение продолжает работать как прежде и не замечает разделения.
Дополнительные плюсы такого подхода: быстрее создаются резервные копии, проще масштабирование, а у ряда СУБД лицензирование привязано к объёму памяти — меньше памяти означает и меньше лицензионных платежей.
С чего начать
Универсальная отправная точка — анализ реального распределения нагрузки. Посмотрите, как давно обращались к каждой группе записей. Скорее всего, окажется, что большая часть данных давно неактивна — и именно здесь скрыт основной потенциал для экономии.
Дальше — пилот на одной таблице или сервисе, мониторинг скорости ответов и постепенная корректировка политик охлаждения. При правильной настройке итоговая экономия на инфраструктуре составляет 3–5 раз.