1 ИСПОЛЬЗУЕМЫЕ СОКРАЩЕНИЯ
2 ВВЕДЕНИЕ.
3 ОБЗОР СОВРЕМЕННОГО СОСТОЯНИЯ СИСТЕМ
МНОГОМЕРНОГО АНАЛИЗА ДАННЫХ
3.1 Общая архитектура систем поддержки принятия решений.
3.2 Особенности систем многомерного анализа данных.. в
3.3 Передача данных по сети в системах
3.4 Обзор литературы мммминмммммимиммимимтммнмммм
3.5 Структу ра диссертационной работы. .
3.6 Выводы.
4 ОБЩИЕ ВОПРОСЫ СИСТЕМ МНОГОМЕРНОГО АНАЛИЗА.
Л 4.1 Размеры реляционного и многомерного хранилищ данных.
4.2 Модель агрегации данных .
4.3 Особенности учета передачи данных но сети
4.4 Производительность систем многомерного анализа данных .
4.5 Выводы
5 ЗАГРУЗКА ДАННЫХ.
5.1 Способы извлечения данных. Ч1ЖIММЖИИИИНИЖИЖЖММЖНИЖМЖННИ
5.2 Основные способы загрузки данных .
5.3 Скорость изменения данных
5.4 Определение частоты обновления данных
4 5.5 Эффективная загрузка данных
5.6 Выводы. МИЖНШ1МЖНИЖЖИНЖНММШ11НММИИИЧНММ1ИНИ1ИНМ1
6 ОБРАБОТКА ПОЛЬЗОВАТЕЛЬСКИХ ЗАПРОСОВ.
6.1 Модель обращения к реляционным данным. .....
6.2 Модель расчетов на стороне клиента ..
6.3 Вы поды
7 ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ.
7.1 Условия проведения эксперимента и исходные данные
7.2 Проверка адекватности модели предварительного расчета количества ячеек
агрегированных данных ..
7.3 Эксперименты по загрузке данных
7.3.1 Извлечение данных из источников
7.3.2 Определение эффективной частоты обновления данных
7.4 Эксперименты по обработке пользовательских запросов
7.4.1 Простое извлечение данных из многомерной базы данных.
7.4.2 Проверка модели гибридного
7.5 Имитационное моделирование ....
7.5.1 Простая модель гибридной системы
7.5.2 Модель многопользовательского режима при децентрализованных вычислениях
7.5.3 Полная модель системы многомерного анализа данных
7.6 Выводы . ..
8 ЗАКЛЮЧЕНИЕ.
9 СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЕ.
.1 Условные обозначения МИМИИМ1ИИ1ИМННЖИМЖМНМНММ1МНтМММММ1НМММ1ММНК
.2 Исходные тексты программ и скриптов
.2.1 Функция на языке , для определения размера таблицы.
4 .2.2 Скрипт для создания и заполнения хранилища данных
.2.3 Запросы, для определения размеров данных в реляционных источниках данных.
.2.4 Тестовая программа для .
.2.5 Запрос на заполнение хранилища данных случайным образом
.2.6 Программа на языке x для определения числа заполненных ячеек во всех
.ф, кубоидах многомерного куба
.2.7 Макросы на языке Vi i для .
.2.8 Программа на языке для простой модели .
.2.9 Программа на языке для многопользовательского режима при децентрализованных
вычислениях
.2. Программа на языке для обобщенной модели системы многомерного анализа
.3 Результаты экспериментов
.3.1 Извлечение данных
.3.2 Результаты экспериментов по загрузке данных
.3.3 Плотности кубоидов.
.3.4 Результаты эксперимента для многопользовательского режима при децентрализованных вычислениях
.4 Структура пакета данных протокола ОНО ммижии1мшмнтммммми1мнм1мммнммтмт
.5 Функции и переменные имитационных моделей
.5.1 Функции модели гибридного
.5.2 Переменные модели гибридного
.5.3 Переменные модели децсгтрализованного вычисления
1 Используемые сокращения
БД база данных
МБД многомерная база данных
РСУБД реляционная система управления базами данных
СППР систем поддержки принятия решений
СУБД система управления базами данных
ХД хранилище данных
i Гибридный
iii Многомерный
i i i системы оперативного анализа данных
i i i системы оперативной обработки транзакций
i Реляционный
2 Введение
В последнее время на рынке систем, позволяющих осуществлять анализ данных, все большую популярность приобретают системы многомерного анализа известные также как i i i системы. Популярность этих систем заключается в том, что они позволяют пользователю, являющемуся специалистом в конкретной бизнес области, самостоятельно формировать различные запросы к базе данных, для выполнения анализа имеющихся данных. Эта легкость получения данных и обусловлена так называемой многомерностью, которая заключается в разделении данных на показатели, содержащие данные о различных событиях, анализируемой предметной области, и измерения, формирующие контекст рассматриваемых событий. Вторым и, пожалуй, наиболее важным моментом, делающим этот инструмент анализа данных столь эффективным, является наличие предварительно рассчитанных обобщенных или, как их еще принято называть, агрегированных данных, с которыми, в конечном итоге, в основном работает аналитик. Использование агрегированных показателей позволяет более наглядно отображать информацию о различных процессах, что значительно упрощает процесс принятия решения руководителем.
Передача данных по сети в системах многомерного анализа происходит при загрузке данных из внешних источников в многомерную базу данных и при обработке пользовательских запросов. Эти два процесса характеризуются различными свойствами. Так, загрузка данных осуществляется в определенные моменты времени, обычно по ночам, и характеризуется относительно большими объемами данных, передаваемых по сети, по сравнению с результатами пользовательских запросов. Источники данных по отношению к системе многомерного анализа являются внешними и в большинстве случаев не подлежат, каким либо существенным изменениям. Уменьшить сетевую нагрузку при загрузке данных можно с помощью рациональной организации процесса обновления и в первую очередь изменяя частоту обновления данных.
Работа пользователей с системой характеризуется высокой интенсивностью запросов, адресуемых в непредсказуемые моменты времени, но при этом относительно малыми объемами данных, передаваемых по сети. Многомерные базы данных хранят не все значения, необходимые для выполнения анализа, поэтому часть показателей рассчитывается оперативно при обработке пользовательского запроса. Некоторые продукты позволяют частично разгрузить сервер многомерной базы данных, перенеся вычисление некоторых показателей на рабочие станции пользователей. Что при определенных условиях приводит к увеличению трафика между сервером многомерной базы данных и пользователем, так как обычно для вычисления агрегированных показателей, требуется обращение к детальным данным, которые скорей всего не содержались в запросе. Другим аспектом обработки пользовательских запросов, приводящем к значительным нагрузкам на сеть, является обращение к реляционным данным, которое проявляется при использовании гибридной или реляционной архитектур системы многомерного анализа.
Подробнее эти, а также некоторые другие вопросы, связанные с уменьшением сетевой нагрузки в системах многомерного анализа, рассматриваются в соответствующих разделах данной работы.
Актуальность
- Київ+380960830922