Развитие баз данных: актуальные проблемы

Данная статья рассказывает о развитии хранилищ данных и актуальных проблемах их развития, выявленных из опыта работы компании «РДТЕХ».

Основные этапы развития КИХ (корпоративных информационных хранилищ)

По мере расширения бизнеса любая компания сталкивается с необходимостью создания хранилищ, которые позволили бы оперативно находить и обрабатывать требуемую информацию. Но если ранее создание подобных хранилищ предполагало лишь решение конкретно поставленных задач (а по мере появления новых требовалось создавать другие КИХ, объединяя их с ранее созданными), на современном этапе компания «РДТЕХ» активно использует готовые бизнес-решения от корпорации Oracle.

Такие решения, как OFSA (Oracle Financial Services Applications) способствуют решению типовых задач: учета доходности и расходности, бюджетирования — что позволяет принимать эффективные управленческие решения. Однако наша компания вносит существенные доработки в ПО, локализуя его, ведь нередко западная методология (для которой решения и реализованы) не применима в условиях российского рынка.

Особенности методики загрузки информации в хранилища:

• Историчность (фиксация последовательности изменений в справочнике, позволяющая отслеживать состояние системы в интересующий период времени). Историчность реализуется разными способами: ранее использовались каскадные схемы обновления нижестоящих таблиц (механизм пирамид), а на современном этапе применяется метод глобальных ключей (каждый элемент имеет свой неизменный ключ, которые и связывает первичные ключи источников в таблицах). Главное достоинство актуальной методики – ускорение обработки новой поступающей информации, а значит — повышение производительности хранилища;
• Историчность справочной информации (нормативно-справочная информация синхронизируется с исходным экземпляром, и на него равняются локальные системы). Для обеспечения историчности справочных данных наша компания используется системы MDM, которая интегрируется с хранилищами PFSA и механизмами глобальных ключей. Вследствие этого хранилище выступает финальным потребителем информации, а отслеживание изменений ведется внутри него. Это дает возможность отслеживать появление и дальнейшее форматирование строк, преобразовывать ключи и отправлять данные в источник при их изменении.
• Загрузка данных в режиме «псевдоонлайн» (нормативно-справочная информация оперативно обновляется при изменении в источнике, то есть, загрузка производится наиболее быстро, а информация остается актуальной). Для этого мы внедряем системы слежения за изменениями (для хранилищ с функцией ведения журнала), а в остальных случаях применяется функция отслеживания хэш-тегов. Скорость загрузки – результат разделения информации на историческую и актуальную, а формат ее хранения определяется методикой контроля над жизненным циклом информации ILNM от Oracle.

Единые модели хранилищ информации

В своей работе мы применяем централизованную архитектуру, снижающую риск при строении хранилища и позволяющую создать восприятие объединенной предметной сферы. Мы также локализуем единые модели западных образцов под отечественные нужды. При этом существует несколько особенностей локализации моделей:

• модели не ориентированы на работу приложений;
• для моделей разрабатываются механизмы межпортфельных переносов;
• создание нескольких таблиц для разных видов сделок;
• учет всех типов сделок с максимальной детализацией;
• возможность участия экспертов в методологии расчетов.

Актуальные проблемы

Наиболее актуальна проблема зависимости хранилища от системы-источника, а также необходимости загружать технические счета. Пока нет единого алгоритма для их исключения, ведь ни один алгоритм не универсален для всех видов отчетности, а потому — все еще важно дорабатывать системы-источники при построении хранилищ, ведь последние нередко «наследуют» недостатки первых.

Подготовлено: www.rdtex.ru