Понравилась презентация – покажи это...
Слайд 0
Очередь на тестирование
Евгения Фирсова. Яндекс.Деньги
Слайд 1
Очередь? Откуда?
Идеальное состояние:
Задачи досконально продуманы и не требуют уточнений.
Скорость разработки и тестирования синхронизированы.
Нет дефицита ресурсов (по 2 тестера на 1 разработчика).
Тест-кейсы были написаны заранее.
Тестовое окружение просто настраивается и всегда работает.
Все баги простые и исправляются немедленно.
Никто не болеет и не уходит в отпуск.
Все счастливы...
Слайд 2
Очередь? Откуда?
Идеальное состояние:
Задачи досконально продуманы и не требуют уточнений.
Скорость разработки и тестирования синхронизированы.
Нет дефицита ресурсов (по 2 тестера на 1 разработчика).
Тест-кейсы были написаны заранее.
Тестовое окружение просто настраивается и всегда работает.
Все баги простые и исправляются немедленно.
Никто не болеет и не уходит в отпуск.
Все счастливы...
скорее, 1 к 3
а время откуда?
только очень некоторые, да и перепроверка…
??? ну-ну…
кем, простите?
КЗОТ отменили?
Слайд 3
Типы очередей: «советская»
«Советская» очередь:
Признаки:
движется медленно («приходите завтра, на сегодня всё закончилось»);
новая задача встаёт в конец («кто последний?»);
очередь непрозрачна («что дают?»);
часть задач пытается прорваться к началу очереди («вас тут не стояло!»);
Причины:
дефицит ресурсов тестирования;
распределение ресурсов – без прогнозирования.
Слайд 4
Типы очередей: «консульская»
«Консульская» очередь:
Признаки:
резкие всплески нагрузки (финская виза перед новым годом);
неофициальное выделение приоритетов тестирования (для групп – отдельное окно);
ритуальные действия перед началом тестирования (отпечатки пальцев и анкета на 10 листах);
Причины:
давление со стороны заказчика;
чрезмерная формализация процессов;
распределение ресурсов – без прогнозирования.
Слайд 5
Типы очередей: VIP
VIP очередь:
Признаки:
передача в тестирования без предварительного уведомления (concierge-служба);
нереалистичные сроки тестирования («хочу вчера»);
остановка текущего тестирования в пользу vip-задачи;
психологическое манипулирование («это очень срочно», «это нужно сами-знаете-кому»);
Причины:
давление со стороны заказчика;
отсутствие буфера (координатора, менеджера, тимлида) между заказчиком и тестером;
неправильное календарное планирование;
резкая смена приоритетов.
Слайд 6
Типы очередей: «призрачная»
«Призрачная» очередь:
Признаки:
частый перенос сроков передачи в тестирование;
невостребованное «бронирование» ресурсов тестирования;
возврат задачи на этапы разработки или подготовки ТЗ;
тестирование впрок (без правки найденных багов);
Причины:
недооценка сложности задачи, слабая проработка на ранних этапах;
проблемы с планированием в разработке;
дефицит ресурсов в разработке.
Слайд 7
Типы очередей: «смертоносная»
«Смертоносная» очередь:
Признаки:
однажды начатое тестирование многократно откладывается;
за время тестирования релиз устаревает до полной ненужности;
Причины:
недооценка сложности и сроков тестирования на этапе анализа;
проблемы с планированием в тестировании;
дефицит ресурсов тестирования.
Слайд 8
Пробуем избавиться от очередей
Внутри команды, даже если не избавит от очередей на 100%:
оцениваем имеющийся ресурс, с учётом:
отпусков, болезней (осень/зима), праздников (после дня рождения…, перед свадьбой);
компетенций и уникальных знаний (выделяем типы тестируемых потоков);
учитываем календарную неравномерность нагрузки (конец квартала, конец года, конец большого проекта);
стараемся доводить начатое тестирование до конца, не прерываясь;
постоянно отслеживаем текущее состояние очереди.
Слайд 9
Пробуем избавиться от очередей
Вне команды, даже если не избавит от очередей на 100%:
оцениваем качество получаемых обещаний и корректируем свои планы;
отслеживаем качество и скорость работы конкретных разработчиков;
согласовываем с заказчиком снижение количества тест-кейсов и требований по качеству;
предупреждаем разработку и заказчика о текущем состоянии очереди;
наращиваем ресурс;
наконец, рассказываем вслух о проблеме.
Слайд 10
Очередь: реперные точки
Фиксируем важные даты:
получение ТЗ для подготовки тест-кейсов;
дата обещанной готовности релиза;
и на сколько сдвинули;
первый этап подготовки к тестированию;
готовим тестовую среду;
передача релиза в тестирование;
учитываем время (вечер = утро) и день (пятница = понедельник);
второй этап подготовки к тестированию;
разворачиваем релизы, проверяем общую работоспособность;
ожидаем релизы для совместного тестирования;
начало тестирования;
завершение тестирования;
поддержка деплоймента;
пост-релизный анализ проблем.
тут встали в очередь
тут ушли из очереди в работу
снова напомнили о себе
тут заняли место
Слайд 11
Возврат в очередь
Иногда релиз может вернуться в очередь:
если выясняется, что релиз не готов к тестированию;
связанные компоненты оказались не готовы;
если выясняется, что релиз должен быть серьёзно переработан;
из-за пересмотра требований;
при обнаружении непродуманных ранее сценариев;
из-за найденных багов;
если тестер переключился на другой релиз;
если разработчик переключился на другой релиз и править баги некому.
Слайд 12
Всегда ли очередь – проблема?
Оцениваем текущее состояние процессов в тестировании:
длительность ожидания в очереди:
выделяем группы релизов (по приоритетам, по компонентам, по сложности, …);
фиксируем допустимое время ожидания для каждой группы;
длительность прохождения по очереди;
насколько часто и по какой причине не укладываемся в требуемые сроки;
как изменится (если вообще) скорость при добавлении новых тестеров;
скамейка запасных:
наличие «альтернативных» занятий (документирование, интеграционное тестирование, авто-тесты, обучение);
стоимость добавления одного тестера по сравнению с выгодой от сокращения времени ожидания начала тестирования за его счёт.
Слайд 13
Уточнения? Вопросы?
