Электронная библиотека Веда
Цели библиотеки
Скачать бесплатно
Доставка литературы
Доставка диссертаций
Размещение литературы
Контактные данные
Я ищу:
Библиотечный каталог российских и украинских диссертаций

Вы находитесь:
Диссертационные работы России
Технические науки
Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Диссертационная работа:

Самарев Роман Станиславович. Методы и модели проектирования параллельных СУБД : диссертация ... кандидата технических наук : 05.13.11 Москва, 2007 254 с., Библиогр.: с. 240-253 РГБ ОД, 61:07-5/4226

смотреть содержание
смотреть введение
Содержание к работе:

ВВЕДЕНИЕ 8

Актуальность темы 8

Цели и основные задачи 11

Объект исследования 12

Предмет исследования 12

Научная новизна 12

1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ ПОСТРОЕНИЯ ПАРАЛЛЕЛЬНЫХ СУБД И ИС НА ИХ ОСНОВЕ, АНАЛИЗ МЕТОДОВ МОДЕЛИРОВАНИЯ 13

1.1. Анализ существующих методов построения параллельных СУБД. Особенности организации 13

1.1. L Модели данных 14

1.1.2. Схема данных и языки запросов 16

1.1.3. Архитектура ВС для СУБД 21

1.1.4. Методы размещения данных 24

1.1.5. Транзакциотtan обработка данных 27

1.1.6. Блокировка данных т 30

1.1.7. Методы организагщи параллельного выполнения запросов 32

1.1.8. Архитектура взаимодействия клиента и сервера СУБД. 39

1.2. Анализ методов моделирования производигельностиИС 42

L2.1. Анализ математических методов моделирования 42

1.2.2. Применение методов моделирования для оценки характеристик производительности СУБД 72

1.2.3. Средства моделирования СУБДиИС 86

1.3. Анализ ОСУ БД ODB-Jupiter как объекта исследования 88

1.3.1. ИПС «Обзор СМИ» 94

1.4. ВЫВОДЫ 96

2. РАЗРАБОТКА МЕТОДА МОДЕЛИРОВАНИЯ ПРОИЗВОДИТЕЛЬНОСТИ ИС, ИСПОЛЬЗУЮЩЕЙ СУБД. 99

2Л. Расширение свойств алгеьрыРЕРА 99

2.1.1. Формальное определение алгебры прогщссов 99

2.2. Решение моделей 102

2.2.1. Генерация сокращенной марковской цепи 103

2.2.2. Генерация полной марковской цепа 104

2.3. Весовое расширение алгебры 105

2.3.1. Структурные и параметрические ограничители 108

2.3.2. Выбор факторов в векторе потребления ресурсов ПО

2.3.3. Анализ целесообразности введения операции взаимоисключения вРЕРА 130

2А Модели пюизводительности ИС, использующей СУБД 133

2.4. 1. Модель выполнения запросов 133

2.4.2. Анализ обработки запросов в ОСУБД QDB-Jupiter и ИПС «Обзор СМИ» 135

2.4.3. У прощенная модель сервера СУБД 142

2.4.4. Модель запросов подсистемы поиска 143

2.4.5. Полная модель ИС 149

2.4.6. Модели пропускной способности подсистемы памяти 153

2.4.7. Модель дляоценки чиелаобработчиковпараллелизатора 159

2.5. ВЫВОДЫ 163

3. УЛУЧШЕНИЕ ХАРАКТЕРИСТИК ПРОИЗВОДИТЕЛЬНОСТИ СУБД С ИСПОЛЬЗОВАНИЕМ АДАПТИВНОГО ПЛАНИРОВЩИКА ПАРАЛЛЕЛЬНЫХ ЗАПРОСОВ 164

3.1. Разработка параллелизатога запросов 167

3.1.1. Синхронное адаптивное управление 172

3.1.2. Асинхронное адаптивное управление 176

3.1.3. Выбор параллельного планировщика, .179

3.1.4. Оценка применимости выбранных параметров

планировщика для идентификации состояния системы 184

3.2. Реализация модуля параллелизатора 192

3.3. Выводы 197

4. МЕТОДИКИ ПРОЕКТИРОВАНИЯ ПАРАЛЛЕЛЬНЫХ СУБД 198

4.1. Методика реорганизации СУБД в соответствии с заданными характеристиками 198

4.2. Методика нагрузочного тестирования сервера ОСУБД в составе ИС 199

4.3. Методика оценки характеристик производительности ИС на ОСНОВЕ СУБД 201

4.4. Методика разбиения последовательного кода программы на независимые 202

4.5. Методика параметризации моделей для различных ВС с различными методами доступа к ОЗУ 203

4.6. Метод использования параллелизатора в тексте программ 205

4.6.1. Пример применения метода 205

4.7. Применение методики нагрузочного тестирования СЕРВЕРА ОСУБД в составе ИС 207

4.7J. Выбор средства анализа программного кода. 207

4.7.2. Выбор метода измерения временных интервалов 208

4.7.3. Трассировка выполнения программы 209

4.7.4. Выбор способа организации синхронизации потоков 213

4.7.5. Организация нагрузочного тестированияИС. 215

4.7.6. Измерение показателей ИС 217

4.7.7. Съем данных с реальной системы 218

4,8. Выводы 219

5. ВЫПОЛНЕНИЕ МОДЕЛЬНЫХ И НАТУРНЫХ ЭКСПЕРИМЕНТОВ, АНАЛИЗ РЕЗУЛЬТАТОВ 221

5Л. Выполнение модельного эксперимента с разработанными МОДЕЛЯМИ 221

5.1.1. Модель запросов подсистемы поиска по реквизитам 221

5.1.2. Модели пропускной способности подсистемы памяти 223

5.2. Анализ результатов моделирования 225

5.2.1. Эксперимент и моделирование подсистемы полнотекстового поиска ИС 225

5.3- Анализ экспериментальных данных 231

5.4. ВЫВОДЫ 236

6. ЗАКЛЮЧЕНИЕ 237

7. ОБЩИЕ ВЫВОДЫ 238

8- ЛИТЕРАТУРА 240 

Введение к работе:

Актуальность темы

Интенсивное развитие вычислительной техники в последние годы, привело к массовому использованию многопроцессорных высокопроизводительных вычислительных систем (ВС) общего назначения. Тем не менее, применяемые ранее разработанные (унаследованные) СУБД, обычно неэффективно используют предоставляемые ресурсы ВС. Несмотря на то, что межзапросный параллелизм в СУБД используется часто, внутризапросные формы параллелизма в унаследованных СУБД практически не используются. Следствием этого является явное несоответствие возможностей ВС и производительности неоптимизи-ровашюй СУБД, не рассчитанной на параллельное выполнение одиночных запросов- В результате, при малой плотности запросов, СУБД может использовать лишь минимально необходимое количество ресурсов системы, так что, в конечном счеге, добавление новых процессоров или параллельных дисковых накопителей не приводнт к какому-либо улучшению её характеристик. Если же при выборе оборудования ориентироваться на пиковую нагрузку, то в среднем вычислительная система будет серьезно недогружена.

Другой проблемой использования СУБД является то, что монопольное использование вычислительной системы не всегда возможно. В большинстве малых и средних коммерческих организациях, на ВС, на которой работает СУБД, работают и другие программы, также требующие значительных ресурсов. При малой плотности запросов к СУБД, влияние других программ может быть незначительным, однако, например в случае использования СУБД в сочетании с Web-сервером, вполне возможна ситуация полной загрузки вычислительной системы. Операционная система, типа MS Windows на ВС с вытесняющей многозадачностью с архитектурой х8б, не способна оптимально разрешить ситуацию одновременного использования процессора или НЖМД при большом количестве одновременно работающих процессов/потоков. Таким образом, линейное увеличение количества параллельных процессов в различных программах приводит к нелинейному снижению производительности системы в целом, поскольку доля служебных операций по переключению потоков, вытеснению памяти, позиционированию головок НЖМД на нужный сектор занимает значительное время. К аналогичным последствиям приведет неограниченное параллельное выполнение запросов при большой их входной плотности [114].

В настоящее время широко распространены параллельные СУБД для вычислительных систем без общей памяти, однако, массовое использование архитектуры х86 не позволяет использовать классические параллельные СУБД в чистом виде. Кластер, построенный путем объединения отдельных х86-систем, можно рассматривать как единую систему, с несколькими независимыми узлами, не имеющими общей памяти. При этом каждый узел може г быть многопроцессорным, что требует реализации соответствующих алгоритмов, а кроме того, создание кластера на х86 требует организации быстродействующего межпроцессорного обмена данными, что также является проблемой.

Итак, оптимальной СУБД с точки зрения про изводи тел ьности и времени отклика будет СУБД, реализующая впутризапросный параллелизм, причем доступные в данный момент времени ресурсы ВС используются максимально, но с учетом того, что превышение некоторого предела загрузки ВС приведет к релейному падению производительности системы в целом.

Рассмотрим актуальность проблемы моделирования производительности СУБД и РІС на их основе. На рис. 1 приведена обобщенная схема анализа производительности СУБД.

Моделирование характеристик СУБД актуально в следующих случаях:

- Создание новой СУБД;

- Проверка допустимых режимов работы существующей СУБД;

- Выполнение оптимизации работы существующих приложений.

Архитектура СУБД наиболее существенно влияет на производительность будущих систем, построенных с применением данной СУБД. Поэтому целесообразно проводить моделирование работы СУБД и возможных последствий от введения каких-либо элементов архитектуры СУБД на ранних стадиях разработки. Кроме того, существует возможность оценить возможные области применения СУБД по предельно допустимым режимам работы.

В случае, когда СУБД уже разработана, необходимо знать ее допустимые режимы эксплуатации (типы приложений и наборы операций, которые не приведут к снижению производительности), а также иметь возможность оценивать требуемые параметры оборудования, такие как быстродействие процессоров, дисков, их количество, схему объединения в кластер и пр.

Если СУБД находится в эксплуатации, уже разработаны ее приложения, и выясняется, что имеющаяся ВС не обеспечивает необходимого уровня производительности, либо необходимую ВС невозможно реализовать на данном уровне развития техники, то либо требуется полное проектирование новой системы, либо проведение оптимизации характеристик существующей. Среди способов оптимизации производительности можно выделить использование специальных подсистем кэширования, которые обеспечивали бы не только хранение информации, полученной из медленных источников данных, по и хранение промежуточных результатов, а также изменение структуры индексов, в частности за счет введения не только одномерных индексов, но и создание многомерных индексов под конкретный набор операций [75]. В общем случае требуется существенная переработка архитектуры СУБД в целом и механизмов обработки запросов в частности.

Цели и основные задачи

Целью работы является разработка методов и моделей проектирования параллельных СУБД и их приложений с заданными характеристиками, а также оценка предельных характеристик СУБД и приложений. Для достижения поставленной цели в работе решаются следующие задачи:

- Анализ параллельных архитектур СУБД и методов повышения эффективности использования системных ресурсов. Выбор критериев производительности СУБД.

- Разработка алгебраической модели параллельной объектной СУБД. Метод оценки характеристик производительности систем на основе СУБД.

- Моделирование и исследование свойств модели.

- Разработка параллелизатора запросов для асинхронного выполнения операций в СУБД

- Разработка метода измерения производительности реальной системы.

- Создание инженерных методик реорганизации СУБД в соответствии с заданными характеристиками с использованием предложенных моделей. Исследование характеристик производительности систем на основе СУБД с использованием этих методик. Реализация методик для улучшения характеристик сервера ОСУБД.

Объект исследования

Обьектом исследования является класс систем, предназначенных для работы на многопроцессорных ВС общего назначения, включающих в себя объектные системы управления базами данных, в частности ОСУБД ODB-Jupiter и ИС на её основе.

Предмет исследования

Предметом исследования является анализ процессов обработки запросов в параллельных объектных системах управления базами данных и информационных систем на их основе.

Научная новизна

В работе получены следующие новые результаты:

На основе стохастической алгебры процессов "РЕРА" (англ.) разработан метод, позволяющий проводить расширенный анализ сложной информационной системы на основе алгебраических моделей, включая анализ по каждому параллельному процессу в отдельности, а также весовое расширение "PEPА", позволяющее анализировать модель с позиции потребления различных ресурсов системы, описываемых как многомерный вектор.

Разработана комплексная модель сервера ОСУБД ODB-Jupiter, а также модели отдельных подсистем с использованием алгебраического подхода.

Разработан метод параллельного выполнения внутренних операций с учетом доступных ресурсов ВС па момент начала обработки.

Подобные работы
Смирнов Сергей Владимирович
Модели и методы автоматизированного проектирования информационных систем со сложно структурированными графическими данными
Апанасевич Дмитрий Александрович
Математическое и программное обеспечение асинхронной репликации данных реляционных СУБД методом выделения объектов
Смыслов Вячеслав Юрьевич
Разработка методов управления доступом в трехуровневых распределенных реляционных СУБД
Плешачков Петр Олегович
Методы управления транзакциями в XML-ориентированных СУБД
Перевезенцев Александр Александрович
Разработка моделей, методов и программного обеспечения для поддержки коммуникационно-информационной деятельности в сетях на базе многоагентного подхода
Курганская Галина Сергеевна
Модели, методы и технология дифференцированного обучения на базе Интернет
Борисов Алексей Вадимович
АВТОРЕФЕРАТ Модели, методы и программное обеспечение для поддержки принятия решения в системах контроля доступа и обеспечения безопасности на основе агентно-ориентированного подхода и многозначных логик
Садчиков Сергей Михайлович
Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий
Старовойтов Илья Владимирович
Разработка и исследование моделей, методов и средств оценивания процесса производства программного обеспечения
Паронджанов Сергей Сергеевич
Модели, методы и программные средства организации взаимодействия интеллектуальных агентов

© Научная электронная библиотека «Веда», 2003-2013.
info@lib.ua-ru.net