Книга посвящена вопросам практического планирования и управления мощностями интернет-проектов. Вы научитесь использовать реальные инструменты и адаптироваться к изменениям нагрузки на веб-сайт, которая будет возрастать со временем. В книге рассмотрены процессы планирования мощностей для развивающихся веб-сайтов, включая сбор данных, закупку и развертывание компонентов, а также некоторые популярные и проверенные временем средства и методы измерений. Инженерам приходится учиться работать с высокими нагрузками. Мало того, им приходится учиться работать с растущими нагрузками. Как масштабируется back-end? Сколько посетителей система может обслужить за час? Что делать, когда число посетителей удвоится? Когда нужно закупать серверы? Сколько их нужно и какими они должны быть? Как обосновать расходы на оборудование? Все эти вопросы неминуемо возникают, когда интернет-проект начинает набирать популярность. Настоящих профессионалов в данной области сравнительно мало, поэтому очень важно иметь возможность изучать положительный опыт коллег по цеху. В предлагаемой книге Джон Оллспоу в увлекательной манере описывает практические решения, которые применяются во Flickr. Основы планирования мощностей, которые здесь приведены, являются универсальными и подходят для любых интернет-ресурсов.

Предисловие к русскому изданию
Предисловие
Почему я написал эту книгу
Направленность и основные темы
Для кого написана эта книга
Структура материала
Использование примеров кода
Благодарности
Глава 1. Цели, проблемы и процессы планирования
мощностей
Приблизительные вычисления
Прогнозирование сбоев систем
Извлекайте полезную информацию из статистики
использования системы
Приобретение оборудования: закупка как процесс
Не путайте производительность с мощностями
Влияние социальных веб-сайтов и открытых API
Глава 2. Определение целей
Разные виды требований и метрик
Интерпретация формальных результатов
измерений
Соглашения об уровне обслуживания
Требования к мощностям в сфере "бизнес-бизнес"
Ожидания пользователей
Архитектурные решения
Аппаратные решения (вертикальное,
горизонтальное и диагональное масштабирование)
Глава 3. Сбор данных: как измеряются мощности
Средства сбора метрических данных
Основы и элементы систем сбора метрических
данных
Формат RRD и RRDTool
Ganglia
SNMP
Метрическая интерпретация журналов
Мониторинг как инструмент срочного выявления
проблем
Сбор данных и планирование сетевых ресурсов
Балансировка нагрузки
Применение мониторинга
Сбор данных прикладного уровня
Хранение данных
База данных
Реальный пример: сбор метрик для базы данных
Системы кэширования
Установление потолков системы кэширования
Особые случаи и многофункциональные серверы
Использование API и его влияние на мощности
Примеры и реальность
Итоги
Глава 4. Прогнозирование
На волне
Тренды, аппроксимация и время
Привязка метрик прикладного уровня к системной
статистике: пример с базой данных
Прогнозирование использования пиковых ресурсов:
веб-сервер
Проблемы с малыми наборами данных
Автоматизация прогнозирования
Запас прочности
Закупка оборудования
Эффект наращивания мощностей
Долгосрочные тенденции
Итерации и уточнение
Итоги
Глава 5. Развертывание
Философия автоматизированного развертывания
Цель: минимальное время запуска новых мощностей
Цель: централизация изменений
Цель: централизация управления
Цель: автоматизация настройки новых серверов
Инструменты автоматизации установки
Автоматизация настройки
Управление пользователями и доступом
Итоги
Приложение А. Виртуализация и облачные
вычисления
Виртуализация
Облачные инфраструктуры
Конкретные примеры использования облачного
сервиса
Пример: анонимная фирма-разработчик ПО для
настольных систем
Пример: WordPress.com
Пример: анонимный агрегатор новостей
Пример: SmugMug.com
Итоги
Приложение Б. Действия в критических ситуациях
Смягчение последствий сбоев
Отключение "тяжеловесных" функций
Готовые статические страницы
Кэширование с предоставлением просроченного
контента
Действия при сбоях
Приложение В. Инструменты планирования
мощностей
Мониторинг
Системы сбора метрических данных и оповещения
о событиях
Специализированные системы сбора и
графического представления информации
Инструменты развертывания
Автоматизированная установка ОС
Управление конфигурацией
Управление кластером
Системы учета оборудования
Анализ трендов и аппроксимация
Книги о теории массового обслуживания и
математических аспектах планирования мощностей
Алфавитный указатель