Учебное пособие содержит семестровый курс лекций по проектированию хранилищ данных для систем бизнес-аналитики на технологической платформе MS SQL Server 2008 с использованием современных CASE-средств. В курсе изучается весь комплекс вопросов...

Предисловие......11Благодарности......15Лекция 1. Хранилища данных......16Концепция систем складирования данных......16Концепция хранилищ данных......27Типы хранилищ данных......43Резюме......50Лекция 2. Архитектура хранилищ данных......51Введение......51Основные типы программно-аппаратной архитектуры хранилища данных......53Подходы в организации работ по созданию хранилища данных......58Характеристика решений ведущих производителей......60Типовые программно-аппаратные решения (технологические решения)......63Корпоративные информационные фабрики......75Хранилища данных с архитектурой шины данных......81Объединенное (федеративное) ХД......82Резюме......84Лекция 3. Модель типового проекта создания хранилища данных......86Введение......86Жизненный цикл разработки хранилища данных......87Модель жизненного цикла хранилища данных......90Бизнес-модель типового проекта создания хранилища данных......105Резюме......114Лекция 4. Системы деловой осведомленности (Business Intelligence Systems) и хранилища данных......115Введение......115Определение систем деловой осведомленности......116Информационная безопасность систем бизнес-аналитики......122Технологии обработки данных......126Архитектура систем бизнес-уровня......131Решение от компании Microsoft......138Построение систем бизнес-аналитики: проблемы и решения......142Хранилища данных и системы бизнес-аналитики......150Резюме......152Лекция 5. Метод моделирования «сущность-связь»......154Введение......154Понятие предметной области и архитектура данных......155Моделирование методом «сущность-связь»......162Резюме......182Лекция 6. Моделирование темпоральных (временных) данных в хранилищах данных......184Темпоральные данные и базы данных......184Введение в моделирование темпоральных данных......190Основные приемы моделирования темпоральных данных......201Резюме......209Лекция 7. Метод многомерного моделирования......211Основные понятия метода многомерного моделирования......211Многомерная модель......213Факты......215Ключи в таблицах фактов......218Таблицы фактов......220Измерения......222Основные схемы многомерной модели......222Моделирование таблиц фактов......227Моделирование таблиц измерений......232Резюме......245Лекция 8. Создание физической модели хранилища данных......246Объекты физической модели данных......247Моделирование объектов физической модели хранилища данных......259Разработка скрипта для создания объектов физической модели хранилища данных......269Резюме......296Лекция 9. Метаданные в хранилищах данных......298Метаданные......298Функции метаданных в хранилище данных......300Состав метаданных в хранилище данных......302Логическая структура метаданных хранилища данных......307Стандарты метаданных......315Выбор метамодели при проектировании хранилища данных......321Проектирование логической модели метаданных хранилища данных......322Резюме......327Лекция 10. Проектирование и разработка процесса ETL......328Введение......328Подходы к реализации ETL-процесса......330Разработка ETL-процесса......333Элементы ETL-процесса......338Проектирование процессов преобразования данных с помощью CASE-инструментов......340Резюме......352Лекция 11. Создание модели хранилища данных на основе корпоративной модели данных......353Корпоративная модель данных......353Алгоритм преобразования корпоративной модели данных в модель хранилища данных......358Использование CASE-инструментов для создания многомерной модели на основе корпоративной модели данных......371Секционирование таблиц многомерной модели данных в PowerDesigner......383Резюме......387Лекция 12. Метод моделирования «Свод данных»......388Введение......388Метод моделирования «Свод данных» (Data Vault)......389Пример проектирования модели «Свод данных»......402Заполнение данными объектов «Свода данных»......412Резюме......414Лекция 13. Физическая модель хранилища данных: учет влияния транзакций, денормализация таблиц......415Определение транзакций базы данных......415Денормализация......421Методы разбиения таблиц......428Денормализация колонок......444Резюме......445Лекция 14. Создание физической модели базы данных: проектирование производительности......446Введение......447Повышение производительности запросов: индексы......447Повышение производительности запросов: секционирование......463Повышение производительности запросов: кластеры......484Резюме......492Лекция 15. SQL в хранилищах данных: агрегация и суммирование......494Введение......494Оператор SELECT и схема «звезда»......495Расширение оператора SELECT для обработки данных......503Функция GROUPING......514Управление иерархией в предложениях ROLLUP и CUBE......518Резюме......520Лекция 16. SQL в хранилищах данных: аналитическая обработка данных......522SQL для анализа данных......522Агрегатные и статистические функции......524Медианы......529Оконные функции......530Функции ранжирования......534Функции, генерирующие отчеты......542CASE-выражения и создание гистограмм......545Статистические функции в других диалектах SQL......547Резюме......550Лекция 17. Настройка производительности запросов к хранилищу данных......551Введение......551Оптимизация запросов......554Оптимизатор СУБД семейства MS SQL Server......560Статистики, используемые оптимизатором запросов СУБД MS SQL Server......561Статистическая коллекция MS SQL Server......566Анализ запросов с целью повышения скорости их выполнения......568Оптимизация запросов для схем типа «звезда»......574Резюме......581Лекция 18. Проектирование кубов данных......582Введение......582OLAP на клиенте и на сервере......583Технические аспекты многомерного хранения данных......585Основные понятия OLAP......586Проектирование кубов данных с использованием CASE-инструментов......592Генерация куба данных......605Резюме......610Литература......612

Туманов В.Е.
Туманов Владимир Евгеньевич окончил факультет кибернетики Московского инженерно-физического института (г. Обнинск) по специальности «прикладная математика», кандидат химических наук. Заведующий сектором информационного обеспечения научных исследований института проблем химической физики РАН. Автор более 100 научных и научно-практических публикаций. Лауреат Премии «Международной академической издательской компании «Наука» за лучшую публикацию в издаваемых ею журналах (1997 г.). Соавтор учебного пособия «Введение в SQL для баз данных в архитектуре клиент-сервер», (Туманов В.Е, Гайфуллин Б.Н., Сгибнев В.Я.) и учебно-справочного пособия СВ. «Проектирование реляционных хранилищ данных» (Туманов В.Е., Маклаков СВ.). Со студенческой скамьи начал заниматься преподавательской деятельностью. Преподавал физику и математику в физико-математической школе при институте, информатику в средней образовательной школе. Среди учеников — победители областных и республиканских олимпиад. На протяжении последних десяти лет читал в Авторизированном учебном центре компании «Интерфейс» Лтд. авторские курсы по разработке и проектированию информационных систем, проектированию баз данных и хранилищ данных, проводил тренинги по инструментальным средствам Bpwin и Erwin, администрированию СУБД SQLBase и Oracle. Область научных интересов - корпоративные информационные системы, прикладные экспертные системы, системы поддержки и принятия решений и BI-систсмы, Knowledge Discovery and Data mining в научных базах данных.