Понравилась презентация – покажи это...
Слайд 0
Очередь на тестирование
Евгения Фирсова. Яндекс.Деньги
Слайд 1
Очередь? Откуда?
Идеальное состояние:
Задачи досконально продуманыи не требуют уточнений.
Скорость разработки и тестированиясинхронизированы.
Нет дефицита ресурсов(по 2 тестера на 1 разработчика).
Тест-кейсы были написаны заранее.
Тестовое окружение просто настраиваетсяи всегда работает.
Все баги простыеи исправляются немедленно.
Никто не болеет и не уходит в отпуск.
Все счастливы...
Слайд 2
Очередь? Откуда?
Идеальное состояние:
Задачи досконально продуманыи не требуют уточнений.
Скорость разработки и тестированиясинхронизированы.
Нет дефицита ресурсов(по 2 тестера на 1 разработчика).
Тест-кейсы были написаны заранее.
Тестовое окружение просто настраиваетсяи всегда работает.
Все баги простыеи исправляются немедленно.
Никто не болеет и не уходит в отпуск.
Все счастливы...
скорее, 1 к 3
а время откуда?
только очень некоторые,да и перепроверка…
??? ну-ну…
кем, простите?
КЗОТ отменили?
Слайд 3
Типы очередей: «советская»
«Советская» очередь:
Признаки:
движется медленно («приходите завтра, на сегодня всё закончилось»);
новая задача встаёт в конец («кто последний?»);
очередь непрозрачна («что дают?»);
часть задач пытается прорваться к началу очереди («вас тут не стояло!»);
Причины:
дефицит ресурсов тестирования;
распределение ресурсов – безпрогнозирования.
Слайд 4
Типы очередей: «консульская»
«Консульская» очередь:
Признаки:
резкие всплески нагрузки(финская виза перед новым годом);
неофициальное выделение приоритетов тестирования(для групп – отдельное окно);
ритуальные действия перед началомтестирования (отпечатки пальцеви анкета на 10 листах);
Причины:
давление со стороны заказчика;
чрезмерная формализация процессов;
распределение ресурсов – без прогнозирования.
Слайд 5
Типы очередей: VIP
VIP очередь:
Признаки:
передача в тестирования без предварительного уведомления(concierge-служба);
нереалистичные сроки тестирования («хочу вчера»);
остановка текущего тестирования в пользу vip-задачи;
психологическое манипулирование(«это очень срочно», «это нужно сами-знаете-кому»);
Причины:
давление со стороны заказчика;
отсутствие буфера (координатора, менеджера, тимлида)между заказчиком и тестером;
неправильное календарное планирование;
резкая смена приоритетов.
Слайд 6
Типы очередей: «призрачная»
«Призрачная» очередь:
Признаки:
частый перенос сроков передачи в тестирование;
невостребованное «бронирование»ресурсов тестирования;
возврат задачи на этапы разработки или подготовки ТЗ;
тестирование впрок (без правки найденных багов);
Причины:
недооценка сложности задачи,слабая проработка на ранних этапах;
проблемы с планированием в разработке;
дефицит ресурсов в разработке.
Слайд 7
Типы очередей: «смертоносная»
«Смертоносная» очередь:
Признаки:
однажды начатое тестирование многократно откладывается;
за время тестирования релиз устаревает до полной ненужности;
Причины:
недооценка сложности и сроков тестирования на этапе анализа;
проблемы с планированием в тестировании;
дефицит ресурсов тестирования.
Слайд 8
Пробуем избавиться от очередей
Внутри команды, даже если не избавит от очередей на 100%:
оцениваем имеющийся ресурс, с учётом:
отпусков, болезней (осень/зима),праздников (после дня рождения…, перед свадьбой);
компетенций и уникальных знаний(выделяем типы тестируемых потоков);
учитываем календарную неравномерность нагрузки(конец квартала, конец года, конец большого проекта);
стараемся доводить начатое тестирование до конца,не прерываясь;
постоянно отслеживаем текущее состояние очереди.
Слайд 9
Пробуем избавиться от очередей
Вне команды, даже если не избавит от очередей на 100%:
оцениваем качество получаемых обещанийи корректируем свои планы;
отслеживаем качество и скорость работыконкретных разработчиков;
согласовываем с заказчиком снижениеколичества тест-кейсов и требований по качеству;
предупреждаем разработку и заказчикао текущем состоянии очереди;
наращиваем ресурс;
наконец, рассказываем вслух о проблеме.
Слайд 10
Очередь: реперные точки
Фиксируем важные даты:
получение ТЗ для подготовки тест-кейсов;
дата обещанной готовности релиза;
и на сколько сдвинули;
первый этап подготовки к тестированию;
готовим тестовую среду;
передача релиза в тестирование;
учитываем время (вечер = утро) и день (пятница = понедельник);
второй этап подготовки к тестированию;
разворачиваем релизы, проверяем общую работоспособность;
ожидаем релизы для совместного тестирования;
начало тестирования;
завершение тестирования;
поддержка деплоймента;
пост-релизный анализ проблем.
тут встали в очередь
тут ушли из очереди в работу
снова напомнили о себе
тут заняли место
Слайд 11
Возврат в очередь
Иногда релиз может вернуться в очередь:
если выясняется, что релиз не готов к тестированию;
связанные компоненты оказались не готовы;
если выясняется, что релиз должен бытьсерьёзно переработан;
из-за пересмотра требований;
при обнаружении непродуманных ранее сценариев;
из-за найденных багов;
если тестер переключился на другой релиз;
если разработчик переключился на другой релизи править баги некому.
Слайд 12
Всегда ли очередь – проблема?
Оцениваем текущее состояние процессов в тестировании:
длительность ожидания в очереди:
выделяем группы релизов(по приоритетам, по компонентам, по сложности, …);
фиксируем допустимое время ожиданиядля каждой группы;
длительность прохождения по очереди;
насколько часто и по какой причинене укладываемся в требуемые сроки;
как изменится (если вообще) скоростьпри добавлении новых тестеров;
скамейка запасных:
наличие «альтернативных» занятий (документирование,интеграционное тестирование, авто-тесты, обучение);
стоимость добавления одного тестера по сравнениюс выгодой от сокращения времени ожидания начала тестирования за его счёт.
Слайд 13
Уточнения? Вопросы?