HighLoad — Алгоритмы

1. Очереди

1.1. Всё что можно сделать потом -- делаем потом

1.2. иерархия очередей

1.2.1. зависание нижней очереди не рушит более важный процесс

1.3. Примеры

1.3.1. Почта: двойная асинхронность

1.3.2. Комментарии к постам в блоге

1.3.2.1. Счётчик комментариев

1.4. Реализации

1.4.1. PgQ

1.4.2. Gearman

1.4.3. RabbitMQ

1.5. Плюсы

1.5.1. Сглаживает пики нагрузки

1.5.1.1. Меньше требования к мощностям

1.5.2. Уменьшает время отклика

1.6. Минусы

1.6.1. Нет транзакций

1.6.2. Данные неконсистентны

1.6.2.1. Применяем внимательно и точечно

2. Асинхронный ввод-вывод

2.1. Perl-библиотеки

2.1.1. AnyEvent

2.1.2. Coro

2.1.3. POE

2.1.4. IOl::Lambda

2.2. Механизмы ОС

2.2.1. неблокирующиеся сокеты

2.2.2. epoll

2.2.3. kqueue

2.2.4. WaitForMultipleObjects

3. Распределённая обработка данных

3.1. Алгоритмы

3.1.1. MapReduce

3.2. Реализации

3.2.1. Hadoop

3.2.1.1. HDFS

3.2.1.2. HBase

3.2.1.3. Cassandra