Highload 2012

Get Started. It's Free
or sign up with your email address
Rocket clouds
Highload 2012 by Mind Map: Highload 2012

1. Профиль нагрузки

1.1. Evernote

1.1.1. Сильно транзакционная и надежная

1.1.2. SSD в RAID 5

1.1.3. старый и проверенный софт

1.1.3.1. Lucene

1.1.3.2. Java 6

1.1.3.3. mySQL 5.1

1.1.4. WebDav

1.1.5. Шлют инфу о save только после 2х резверных копий

1.1.6. Структура

1.2. Etsy.com

1.2.1. 20 млн. пользователей

1.2.1.1. отдельно транзакции на postgeSQL

1.2.1.1.1. мастер-база

1.2.1.2. децентрализованные базы на mySQL

1.3. fetlife

1.3.1. Social network для любителей BDSM :)

1.3.2. Мы можем и упасть, who cares

1.3.3. Но надо чтобы быстро

1.3.4. memcache

1.3.4.1. inconsistency

1.4. Выводы

1.4.1. Думайте о профиле нагрузки

1.4.2. Выбирайте решения, которые ему соответствуют

2. Аналитика

2.1. column-oriented БД

2.1.1. Vertica

2.1.1.1. Rich-sql

2.1.1.1.1. Прям портировали из PostgreSql выборки

2.1.1.1.2. классический OLAP

2.1.1.2. платная, но 1 TB - бесплатно

2.1.1.3. куплено HP

2.1.1.4. schlep и autoshlep

2.1.1.4.1. миграция данных из PostgreSQL

2.1.2. Cassandra

2.2. wikimart

2.2.1. Hadoop

2.2.1.1. Единственные!

2.2.1.2. Hive + Pig, чтобы на Java не прогать

2.2.1.3. Легкое управление кластером через Cloudera Manager

2.2.2. Основное хранилище MS SQL

2.3. Выводы

2.3.1. На обычных OLTP SQL мало кто аналитику делает

2.3.2. column-store менее революционный подход

2.3.2.1. Позволяет остаться в рамках SQL

2.3.2.2. Vertica похоже довольно популярный продукт - можно юзать

3. Другое

3.1. Космические технологии

3.1.1. Кубрид

3.1.1.1. Обещают

3.1.1.1.1. SQL-92 standard

3.1.1.1.2. Шардинг

3.1.1.1.3. Automatic failover

3.1.1.2. но: подозрительный индус

3.1.2. Yandex

3.1.2.1. адаптивная облачная платформа для выполнения приложений

3.1.2.2. Yandex Cocaine

3.1.2.2.1. И таки да, диллер там тоже есть :)

3.1.2.2.2. Неинформативная презентация

3.2. много про поиск

3.2.1. Инвертированные индексы

3.2.2. Поиск в одноклассниках

3.2.2.1. Lucene

3.2.2.2. Кеширование

3.3. Про DDOS

3.4. Partial cloud

3.4.1. Вывод в облако части сервиса

3.4.1.1. Много считать $$$

3.5. Выводы

3.5.1. Чудес не бывает

3.5.2. Но надо следить за развитием технологий

3.5.3. Google Spanner

4. Материалы

4.1. Все презентации

4.1.1. особенные

4.1.1.1. lifestreet (рекламная сеть)

4.1.1.2. клиентская оптимизация

4.1.1.3. wikimart

4.1.1.4. etsy.com

4.1.1.5. evernote

4.2. Неплохой обзор на хабре

4.3. Книжка с докладами прошлых лет

4.3.1. У нас в библиотеке

4.4. книжка с тезисами докладов 2012

4.4.1. там же

4.5. Продают диски с записью выступлений

4.5.1. сроду такого не было, и вот опять :)

4.5.2. 4900р

4.6. список докладов в pdf

5. Организационные решения

5.1. Админство фоток в Badoo

5.1.1. Computer aided ручной труд, основанный на дешевой рабочей силе

5.2. Поиск cотрудников

5.2.1. Связка php + postgreSQL - мало специалистов в Америке (etsy.com)

5.2.2. Замена PostgreSQL на mySQL чисто потому что с ней больше опыта работы у нанятых людей

5.3. WATCH OUT for version 2!!!

5.3.1. Может стать убийцей бизнеса (etsy.com)

5.4. а пусть падает

5.4.1. downtime cost vs. implementation cost

5.5. Выводы

5.5.1. Автоматизировать то, что надо автоматизировать

6. Хранение данных

6.1. Много о SQL

6.1.1. mySQL

6.1.2. PostgreSQL

6.1.3. Oracle вспоминался в контексте "от него мы уходим"

6.1.4. MS SQL только у wikimart

6.2. Почти (или вообще?) не было "традиционного" noSQL!

6.2.1. mongoDb

6.3. Почти ничего про очереди

6.3.1. Попытки сделать очереди на PostgreSQL

6.3.1.1. выглядит несерьезно

6.4. Выводы

6.4.1. MongoDb либо уже совсем state of art

6.4.2. Либо народ больше полагается на ручной шардинг

6.4.3. Бесплатные SQL рулят

6.4.4. Имхо, PostgreSQL покруче mySQL будет

7. Клиентские штуки

7.1. Client performance optimization

7.1.1. часть процесса

7.1.1.1. До публикации на лайв

7.1.1.2. Проактивность

7.1.2. YSlow

7.1.2.1. в том числе и из командной строки

7.1.3. Rum

7.1.4. WebPageTest

7.1.5. PhantomJS

7.2. Обмен данными между вкладками

7.2.1. Comet

7.2.1.1. Удержание соединения

7.2.2. localStorage

7.3. long polling

7.4. Выводы

7.4.1. Неплохо было бы и у нас Client performance optimization глубже внедрить в процесс

7.4.2. Html5 активно используется, даже несмотря на какие-то мелкие проблемы