Курс знакомит слушателей с технологией Data Mining. Подробно рассматриваются методы, задачи, применение, а также инструментальные средства и способы внедрения Data Mining в информационную инфраструктуру компании.Курс ориентирован на студентов высших учебных заведений, обучающихся по специальностям в области информационных технологий.

Раздел 1. Введение в Data Mining......15Лекция 1. Что такое Data Mining......15Понятие Статистики......16Понятие Машинного обучения......17Понятие Искусственного интеллекта......17Сравнение статистики, машинного обучения и Data mining......18Развитие технологии баз данных......18Понятие Data Mining......19Data Mining как часть рынка информационных технологий......20Лекция 2. Данные......27Что такое данные......27Набор данных и их атрибутов......27Измерения......29Шкалы......30Типы наборов данных......32Форматы хранения данных......34Базы данных. Основные положения......34Системы управления базами данных, СУБД......35Классификация видов данных......37Метаданные......38Лекция 3. Методы и стадии Data Mining......40Классификация стадий Data mining......41Классификация методов Data Mining......44Свойства методов Data Mining......48Лекция 4. Задачи Data Mining. Информация и знания......51Задачи Data Mining......51Связь понятий......55Информация......58Свойства информации......59Требования, предъявляемые к информации......60Знания......60Сопоставление и сравнение понятий «информация», «данные», «знание»......61Лекция 5. Задачи Data Mining. Классификация и кластеризация......63Задача классификации......63Процесс классификации......66Методы, применяемые для решения задач классификации......68Точность классификации: оценка уровня ошибок......69Оценивание классификационных методов......69Задача кластеризации......70Оценка качества кластеризации......73Процесс кластеризации......73Применение кластерного анализа......74Выводы......75Лекция 6. Задачи Data Mining. Прогнозирование и визуализация......76Задача прогнозирования......76Задача визуализации......84Лекция 7. Сферы применения Data Mining......88Применение Data Mining для решения бизнес-задач......89Исследования для правительства......94Data Mining для научных исследований......95Web Mining......96Text Mining......98Call Mining......98Раздел 2. Методы и алгоритмы Data Mining......100Лекция 8. Основы анализа данных......100Анализ данных в Microsoft Excel......101Описательная статистика......101Корреляционный анализ......105Регрессионный анализ......107Выводы......114Лекция 9. Методы классификации и прогнозирования. Деревья решений......115Алгоритмы......123Выводы......126Лекция 10. Методы классификации и прогнозирования. Метод опорных векторов. Метод «ближайшего соседа». Байесовская классификация......127Метод опорных векторов......127Метод «ближайшего соседа» или системы рассуждений на основе аналогичных случаев......131Байесовская классификация......136Лекция 11. Методы классификации и прогнозирования. Нейронные сети......139Элементы нейронных сетей......140Архитектура нейронных сетей......142Обучение нейронных сетей......143Модели нейронных сетей......146Программное обеспечение для работы с нейронными сетями......147Пример решения задачи......148Пакет Matlab......152Лекция 12. Нейронные сети. Самоорганизующиеся карты Кохонена......155Классификация нейронных сетей......155Подготовка данных для обучения......157Выбор структуры нейронной сети......157Карты Кохонена......158Выводы......168Лекция 13. Методы кластерного анализа. Иерархические методы......169Методы кластерного анализа......173Лекция 14. Методы кластерного анализа. Итеративные методы......182Алгоритм k-средних (k-means)......182Алгоритм РАМ (partitioning around Medoids)......185Предварительное сокращение размерности......185Факторный анализ......185Итеративная кластеризация в SPSS......186Процесс кластерного анализа. Рекомендуемые этапы......188Сложности и проблемы, которые могут возникнуть при применении кластерного анализа......189Сравнительный анализ иерархических и неиерархических методов кластеризации......189Новые алгоритмы и некоторые модификации алгоритмов кластерного анализа......191Лекция 15. Методы поиска ассоциативных правил......194Введение в ассоциативные правила......195Часто встречающиеся шаблоны или образцы......196Поддержка......196Характеристики ассоциативных правил......197Границы поддержки и достоверности ассоциативного правила......198Методы поиска ассоциативных правил......198Пример работы Apriori алгоритма на базе данных D......200Разновидности алгоритма Apriori......201Пример решения задачи поиска ассоциативных правил......202Лекция 16. Способы визуального представления данных. Методы визуализации......209Визуализация инструментов Data Mining......210Визуализация Data Mining моделей......210Методы визуализации......212Качество визуализации......216Представление пространственных характеристик......217Основные тенденции в области визуализации......217Выводы......220Раздел 3. Процесс Data Mining......221Лекция 17. Комплексный поход к внедрению Data Mining, OLAP и хранилищ данных в СППР......221Классификация СППР......224OIAP-системы......225OIAP-продукты......226Интеграция OLAP и Data Mining......227Хранилища данных......229Преимущества использования хранилищ данных......230Лекция 18. Процесс Data Mining. Начальные этапы......233Этап 1. Анализ предметной области......233Этап 2. Постановка задачи......234Этап 3. Подготовка данных......235Выводы......243Лекция 19. Процесс Data Mining. Очистка данных......244Инструменты очистки данных......244Проблема......249Выводы по подготовке данных......252Лекция 20. Процесс Data Mining. Построение и использование модели......253Моделирование......253Виды моделей......255Математическая модель......257Этап 4. Построение модели......258Этап 5. Проверка и оценка моделей......260Этап 6. Выбор модели......261Этап 7. Применение модели......261Этап 8. Коррекция и обновление модели......262Погрешности в процессе Data Mining......263Выводы......264Лекция 21. Организационные и человеческие факторы в Data Mining. Стандарты Data Mining......265Организационные Факторы......265Человеческие факторы. Роли в Data Mining......266CRISP-DM методология......270SEMMA методология......272Другие стандарты Data Mining......273Стандарт PMML......273Стандарты, относящиеся к унификации интерфейсов......274Раздел 4. Инструменты Data Mining......276Лекция 22. Рынок инструментов Data Mining......276Поставщики Data Mining......277Классификация инструментов Data Mining......282Программное обеспечение Data Mining для поиска ассоциативных правил......284Программное обеспечение для решения задач кластеризации и сегментации......285Программное обеспечение для решения задач классификации......287Программное обеспечение Data Mining для решения задач оценивания и прогнозирования......287Выводы......288Лекция 23. Инструменты Data Mining. SAS Enterprise Miner......289Обзор программного продукта......290Графический интерфейс (GUI) для анализа данных......290Инструментарий для углубленного интеллектуального анализа данных......290Набор инструментов для подготовки, агрегации и исследования данных......291Интегрированный комплекс разнообразных методов моделирования......292Интегрированные средства сравнения моделей и пакеты результатов......292Скоринг по модели и простота развертывания модели......293Гибкость благодаря открытости и расширяемости......294Встроенная стратегия обнаружения данных......294Распределенная система интеллектуального анализа данных, ориентированная на крупные предприятия......294Основные характеристики пакета SAS Enterprise Miner 5.1......295Специализированное хранилище данных......303Подход SAS к созданию информационно-аналитических систем......303Технические требования пакета SAS Enterprise Miner......305Лекция 24. Инструменты Data Mining. Система PolyAnalyst......306Архитектура системы......306PolyAnalyst Workplace - лаборатория аналитика......307Аналитический инструментарий PolyAnalyst......308Модули для построения числовых моделей и прогноза числовых переменных......309Алгоритмы кластеризации......310Алгоритмы классификации......311Алгоритмы ассоциации......312Модули текстового анализа......313Визуализация......315Эволюционное программирование......316Общесистемные характеристики PolyAnalyst......317PolyAnalyst Scheduler - режим пакетной обработки......318WebAnalyst......318Лекция 25. Инструменты Data Mining. Программные продукты Cognos и система STATISTICA Data Miner......321Программные продукты Cognos......321Особенности методологии моделирования с применением Cognos 4Thought......324Система STATISTICA Data Miner......329Средства анализа STATISTICA Data Miner......331Лекция 26. Инструменты Oracle Data Mining и Deductor......338Oracle Data Mining......338Аналитическая платформа Deductor......341Лекция 27. Инструмент KXEN......354Реинжиниринг аналитического процесса......355Технические характеристики продукта......356Предпосылки создания KXEN......357Структура KXEN Analytic Framework Version 3.0......360Технология IOLAP......363Лекция 28. Data Mining консалтинг......364Data Mining услуги......365Работа с клиентом......367Примеры решения......369Выводы......374Список использованной и рекомендуемой литературы......375

Чубукова И.А.
Ведущий инженер-программист Национального банка Украины