Обучение с подкреплением является одной из наиболее активно развивающихся областей, связанных с созданием искусственных интеллектуальных систем. Оно основано на том, что агент пытается максимизировать получаемый выигрыш, действуя в сложной среде с высоким уровнем неопределенности. Дается исчерпывающее и ясное изложение идей, методов и алгоритмов обучения с подкреплением, при этом диапазон излагаемого материала - от истоков возникновения рассматриваемых концепций до современных результатов в данной области. Для специалистов в области искусственного интеллекта, нейросетевого моделирования и управления, а также студентов и аспирантов соответствующих специальностей. Рекомендуем!

Предисловие редактора серии "Adaptive computation
and machine learning"
Предисловие
Часть I. Постановка задачи и подходы к ее
решению
Глава 1. Введение
1.1. Обучение с подкреплением
1.2. Примеры
1.3. Элементы обучения с подкреплением
1.4. Подробный пример: крестики-нолики
1.5. Итоги
1.6. История обучения с подкреплением
1.7. Библиографические и исторические справки
Глава 2. Оценочная обратная связь
2.1. Задача об n-руком бандите
2.2. Методы вычисления значений ценности
действий
2.3. Выбор действия с помощью операции softmax
2.4. Оценивание в сравнении с инструктированием
2.5. Пошаговая реализация обучения
2.6. Нестационарные задачи
2.7. Оптимистичные начальные оценки
2.8. Сравнение с подкреплением
2.9. Методы преследования
2.10. Ассоциативный поиск
2.11. Итоги
2.12. Библиографические и исторические справки
Глава 3. Задача обучения с подкреплением
3.1. Взаимосвязь агент - окружающая среда
3.2. Цели и вознаграждения
3.3. Выгода
3.4. Единые обозначения для непрерывных
заданий и заданий, состоящих изэпизодов
3.5. Марковское свойство
3.6. Марковские процессы принятия решений
3.7. Функции ценности
3.8. Оптимальные функции ценности
3.9. Оптимальность и аппроксимация
3.10. Итоги
3.11. Библиографические и исторические справки
Часть II. Фундаментальные методы решения
Глава 4. Динамическое программирование
4.1. Оценка стратегии
4.2. Улучшение стратегии
4.3. Итерация по стратегиям
4.4. Итерация по ценностям
4.5. Асинхронное динамическое программирование
4.6. Обобщенная итерация по стратегиям
4.7. Эффективность динамического
программирования
4.8. Итоги
4.9. Библиографические и исторические справки
Глава 5. Методы Монте-Карло
5.1. Оценка стратегии методами Монте-Карло
5.2. Оценка ценности действия методом
Монте-Карло
5.3. Формирование управления методом
Монте-Карло
5.4. Управление по методу Монте-Карло с
интегрированной оценкой ценности стратегий
5.5. Оценивание одной стратегии при
использовании другой
5.6. Управление по методу Монте-Карло с
разделенной оценкой ценности стратегий
5.7. Пошаговая реализация
5.8. Итоги
5.9. Библиографические и исторические справки
Глава 6. Обучение на основе временных различий
6.1. Предсказание на основе временных различий
6.2. Преимущества TD-методов предсказания
6.3. Оптимальность метода TD(0)
6.4. SARSA: управление по TD-методу с
интегрированной оценкой ценности стратегий
6.5. Q-обучение: управление по TD-методу с
разделенной оценкой ценности стратегий
6.6. Методы исполнитель-критик
6.7. R-обучение для неприведенных
продолжающихся задач
6.8. Игры, послесостояния и другие особые случаи
6.9. Итоги
6.10. Библиографические и исторические справки
Часть III. Единый подход
Глава 7. Следыприемлемости
7.1. n-шаговое TD-прогнозирование
7.2. Прямой подход к методам TD(?)
7.3. Обратный подход к методам TD(?)
7.4. Эквивалентность прямого и обратного
представлений
7.5. SARSA(?)
7.6. Метод Q(?)
7.7. Следы приемлемости для методов типа
исполнитель-критик
7.8. Замещающие следы
7.9. Проблемы реализации
7.10. Переменный параметр
7.11. Итоги
7.12. Библиографические и исторические справки
Глава 8. Обобщение и аппроксимация функций
8.1. Прогнозирование ценности при помощи
аппроксимации функции
8.2. Методы наискорейшего спуска
8.3. Линейные методы
8.4. Управление с аппроксимацией функции
8.5. Самонастройка с разделенной оценкой
ценности стратегий
8.6. Нужна ли самонастройка?
8.7. Итоги
8.8. Библиографические и исторические справки
Глава 9. Планирование и обучение
9.1. Модели и планирование
9.2. Объединение планирования, исполнения и
обучения
9.3. Когда модель неверна
9.4. Приоритетная прогонка
9.5. Сравнение полного и выборочного вариантов
дублирования
9.6. Траекторная выборка
9.7. Эвристический поиск
9.8. Итоги
9.9. Библиографические и исторические справки
Глава 10. Важнейшие аспекты обучения с
подкреплением
10.1. Единый подход
10.2. Некоторые другие новые направления
Глава 11. Конкретные примеры
11.1. Программа TD-Gammon
11.2. Программа игры в шашки Сэмюеля
11.3. Акробот
11.4. Управление лифтом
11.5. Динамическое распределение каналов
11.6. Задача планирования
Список обозначений
Список литературы
Предметный указатель

Саттон Р.
Роберт Саттон является создателем и профессором Менеджмента и прикладных наук в Стэнфордском университете. Он имеет степень доктора психологии в организационной психологии и является сооснователем Стэнфордской Программы Технологических Экспериментов. Кроме того он является сооснователем и активным учасником новой «к. школы», многопредметной программы, которая исповедует и распространяет «конструкторское мышление».