1. OKR Tests for everyone
1.1. Цель: Аллюр дает видеть и запускать тесты всем участникам проекта Метрики: Кол-во запусков тестов разработчиками Кол-во посещей тестов
1.1.1. Введены удобные графики (pass rait, coverage)
1.1.1.1. Поресерчить новые графики
1.1.1.2. Выяснить что может аллюр сразу или сделает для нас (сроки)
1.1.1.3. Предложить Allure функционал построения графиков самостоятельно
1.1.1.4. Coverage сервиса видно одной циферкой
1.1.1.5. Кол-во запусков тестов разработчиками Кол-во посещей тестов
1.1.2. Тесты могут запускаться всеми разработчики
1.1.2.1. Реализовать в аллюре запуск тестов из ветки (как параметр или мб красивее)
1.1.2.2. ввести роли - Developer
1.1.2.2.1. настройки доступных сущностей - тестов, энвов,
1.1.2.3. провести демо / воркшоп
1.1.2.4. Провести опрос что не нравится и что поменять
1.1.2.5. количество тестов в преокте - равно количеству тестов в аллюре
1.1.2.6. запуск тестов из аллюра - настроен
1.1.2.7. админить своими силами
1.1.3. Убраны лишние поля из алюра, добавлены нужные
1.1.3.1. добавить Сашу в чат с Темой
1.1.4. Введены удобные теги (аннотации)
1.1.4.1. мапим по названию сервиса, в случае связки с 2n сервисами добавляем больше тегов
1.1.4.2. подумать над отображением тестов с несколькими сервисами ( в какую папку засунуть)
1.1.4.3. теги сущностей (как в сваггере)
2. OKR Load testing is coming
2.1. Цель: Каждый новый сервис прошел через нагрузочное тестирование
2.1.1. Команда пополнилась QA Performance Engineer
2.1.2. Встроить запуск тестов в Jenkins
2.1.3. Stage стенд идентичен проду и годен к запуску тестов (держит > 2к RPS)
2.1.4. Все новые сервисы OKR Q4 прошли нагрузочный тест
3. OKR Mobile farm built
3.1. Цель: Мобильные приложения тестируются на реальных девайсах Метрики: Success Rate = > 80%
3.1.1. Реальные девайсы подключены к mac mini 1
3.1.1.1. android - openSTF для мониторинга и развертки
3.1.1.2. iOS - как вариант чекать по ip (хз)
3.1.2. Настроены виртуалки ios / ведро на mac mini 2
3.1.2.1. android - avd manager
3.1.2.2. iOS - xcode
3.1.3. Параллелизация для мобил внедрена
3.1.3.1. для iOS - разработаться со стопами сценария
3.1.3.2. для Android разобраться с портами
3.1.3.3. МР + тестирование работы из allure
3.1.4. Набран еще 1 QA в мобильную команду
4. OKR Test design wins coverage
4.1. Цель: Нет ни одного сервиса или фича, которые не покрыты тестами Метрики: API Coverage = > 90% WEB Coverage = > 60%
4.1.1. Покрыты все user flow (ui) через pict (pairwise) e2e + integration
4.1.1.1. страница в конфе по тому как покрывать фронт
4.1.1.1.1. что такое интеграционный тест, какие шаги в тест практис
4.1.1.1.2. инструкция по фрагменты
4.1.1.2. e2e тесты на фичи
4.1.1.2.1. Даня
4.1.1.2.2. выделить сценарии которые необходимо покрыть к готовности сбора e2e из таблички Андрея
4.1.1.2.3. 2-3 сценария покрывающие работу основного функционала вазда
4.1.2. Покрыты все api ручки через pict (pairwase) integration + unit
4.1.2.1. Unit тесты api
4.1.2.1.1. Леша
4.1.2.2. integration test на api
4.1.2.2.1. Андрей
4.1.2.3. страница в конфе по тому как покрывать апи
4.1.2.3.1. что такое интеграционный тест, какие шаги в тест практис
4.1.2.3.2. Андрей
5. OKR Page factory is beautiful
5.1. Цель: Сделать тесты быстрыми и стабильными вместе с нашим фреймворком pf2 Метрики: ALL Success Rate = >70% Speed Regress Passing = < 30 минут
5.1.1. Лаша
5.1.1.1. Построить онлайн график зависимости падения тестов с инфраструктурными проблемами
5.1.1.1.1. посмотреть как вывести график падения и прохождения тестов в графану (постучать к теме)
5.1.1.2. Параллелизация + e2e для api + web + mobile
5.1.1.2.1. оттестить веб на 8-10 потоков, на стенде
5.1.1.2.2. апишку запустить - 8-10 потоков на стенде
5.1.1.2.3. Андрей садиться с ноутом и делает параллель
5.1.1.3. Щедульное прохождение тестов на стендах
5.1.1.3.1. рабочий пайплайн без аллюра
5.1.1.3.2. забрать стенд stage
5.1.1.3.3. настроить обновление стейджа каждую ночь
5.1.1.3.4. прикрутим второй аллюр
6. OKR "Operation crush"
6.1. Цель: Провести первый OKR квартал в команде QA
6.1.1. Каждый принял участие в приоритизация
6.1.2. > 50% ключевых результатов были рождены в результате командного мозгового штурма
6.1.3. Для каждой цели обозначеные метрики
6.1.4. Цели выполнены больше чем по 80% ключевых результатов