Предпосылки
Компания "Курьер Сервис Экспресс" на рынке курьерских услуг с 1997 года. На сегодняшний день это один из лидеров и крупнейших компаний в отрасли.
Основная корпоративная БД 1С:Карго построена на платформе 1С 8.3 в сочетании с MSSQLServer.
За свою многолетнюю историю база данных выросла до нескольких терабайт. Постепенно стали всё сильнее проявляться некоторые проблемы, типичные для баз такого объёма. Основные из них это:
· длительность обслуживания индексов и статистик;
· быстродействие операций по отдельным наиболее крупным таблицам;
· длительность резервирования и восстановления копий;
· избыточное потребление дисковых ресурсов под размещение базы данных и ее копий.
При этом база со временем продолжает быстро расти. И становится очевидно, что ситуация будет усугубляться, и уже очень скоро проблемы из-за размера БД начнут заворачиваться в такой клубок, что разрешить их будет чем дальше, тем сложнее и дороже. Поэтому было решено выполнить свёртку базы данных, удалив исторический «хвост» по 31.12.2017г.
Решение
Свёртка базы данных объёмом около 4х Тб – задача в любом случае нетривиальная, даже если в вашем распоряжении неограниченный ресурс времени, опытные специалисты, неоднократно выполнявшие такие проекты, идеальная инфраструктура и прочее. В реальности же, как правило, всё не так уж идеально, присутствует много сопутствующих осложнений. И задача оказывается крайне сложной.
Для реализации проекта была выбрана компания Софтпоинт. Причина в том, что она предлагает для этой задачи эффективную проверенную методику (о ней ниже), и уже имеет в своем багаже успешные проекты такого профиля.
Если очень коротко, предложенная методика заключается в следующем:
· Разворачивается копия продуктивной базы и подключается к рабочему контуру обмена на основе технологии DBReplication. DBReplication – это технология скоростного обмена данными от Софтпоинт. Таким образом, эта копия оперативно получает из рабочего контура все изменения данных, вносимых пользователями 1С.
· Затем выполняется обрезка базы-копии, и верификация данных в ней. Всё это время благодаря системе обмена данными сворачиваемая БД постоянно синхронна с рабочей БД - получает данные оперативного периода.
· Затем в обрезанную базу переключаются пользователи.
Ключевое преимущество этого подхода в том, что снимается ограничение по времени как на сам процесс обрезки, так и на последующую верификацию данных. А это значит, сворачивать и верифицировать базу можно настолько скрупулёзно, насколько потребуется, чтобы добиться максимального качества и эффекта обрезки, и максимально снять все риски.
Сам по себе механизм свертки разрабатывали также специалисты Софтпоинт. Механизм был реализован в основном средствами TSQL, а в части ввода начальных остатков – средствами 1С.
Результат
Проект выполнен успешно. Подход с обрезкой бд-копии еще раз подтвердил свою эффективность. Рабочая БД уменьшилась почти в два раза. Все поставленные цели достигнуты.