'

РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ 2.

Понравилась презентация – покажи это...





Слайд 0


Слайд 1

Распространенные ошибки в идеологии, планировании и проведении тестирования 2


Слайд 2

Цели и задачи: Что за ошибки? Почему это ошибки? Как их избежать? Oracle ISV Forum 3


Слайд 3

Классификация ошибок Идеология и методология Планирование Персонал Механика Технологии Oracle ISV Forum 4


Слайд 4

Идеология и методология Oracle ISV Forum 5


Слайд 5

Идеология и методология - 1 Oracle ISV Forum 6 Группа тестирования ответственна за обеспечение качества Группа тестирования ответственна за контроль и измерение качества! Обеспечение качества – командная задача


Слайд 6

Идеология и методология - 2 Oracle ISV Forum 7 «Цель тестирования – нахождение дефектов»


Слайд 7

Идеология и методология - 2 Oracle ISV Forum 8 «Цель тестирования – нахождение важных дефектов» Важных - ?


Слайд 8

Идеология и методология - 3 Oracle ISV Forum 9 Удобство использования Вопросы масштабирования Вопросы локализации … Узость представление о тестировании – что считать дефектами?


Слайд 9

Идеология и методология - 4 Oracle ISV Forum 10 Пренебрежение оценками качества и качеством этих оценок Метрики Покрытие Тестирование Контекст оценок


Слайд 10

Идеология и методология - 5 Oracle ISV Forum 11 Слишком позднее начало тестирования Некогда проводить Некогда исправлять Пропускаем дефекты …


Слайд 11

Oracle ISV Forum 12 Идеология и методология - сумма «Цель команды тестирования – обеспечение качества» «Цель команды тестирования – находить дефекты» Узость взглядов на задачи тестирования Пренебрежение оценками качества и качества оценок Слишком позднее тестирование


Слайд 12

Планирование Oracle ISV Forum 13


Слайд 13

Oracle ISV Forum 14 Неправильное определение рисков Планирование - 1 Ставит под вопрос эффективность всего следующего процесса Упускаем важные дефекты


Слайд 14

Планирование - 2 Oracle ISV Forum 15 Излишний фокус на функциональном тестировании Пользователь реализует свои задачи, а не функционал Упускаем типовые шаблоны работы пользователей Можем пропустить важные ошибки


Слайд 15

Планирование - 3 Oracle ISV Forum 16 Планирование нагрузочных тестов на последний момент Тяжело Долго Дорого исправлять


Слайд 16

Планирование - 4 Oracle ISV Forum 17 Переоценка возможностей ?-тестирования Предвзятость тестеров Несерьезное использование (не «боевое») Редко отсылают отчеты о дефектах Ценность отчетов сомнительна Не дают отчетов по удобству использования


Слайд 17

Планирование - 5 Oracle ISV Forum 18 В планы не вносится «исследовательское» тестирование Гипотетические дефекты пропускаются Не испытываются новые последовательности действий


Слайд 18

Oracle ISV Forum 19 Планирование- сумма Неправильное определение рисков Излишний фокус на функциональном тестировании Планирование нагрузочных тестов на последний момент Переоценка возможностей ? - тестирования Отсутствие в планах «исследовательского тестирования»


Слайд 19

Персонал Oracle ISV Forum 20


Слайд 20

Oracle ISV Forum 21 «Тестирование – для начинающих программистов» Персонал - 1 Стремятся проявить себя как программисты Могут получится «специалисты по инструментам» Нетерпеливость Незаинтересованность


Слайд 21

Oracle ISV Forum 22 «Тестирование – для неудавшихся программистов» Персонал - 2 Невнимательный программист – невнимательный тестировщик Усталость Незаинтересованность


Слайд 22

Oracle ISV Forum 23 Отсутствие специалистов в предметной области Персонал - 3 Пропускаем важные дефекты Неэффективно тестируем Не знаем, как наши пользователи работают с продуктом


Слайд 23

Oracle ISV Forum 24 «Тестировщик должен уметь программировать» Персонал - 4 Можно научить и специалиста-предметника Лучше хорошо тестировать чем не очень хорошо программировать


Слайд 24

Oracle ISV Forum 25 Пробелы в знаниях команды тестирования Персонал - 5 Тяжело компенсировать Пропускаем важные дефекты, и некому на это указать


Слайд 25

Oracle ISV Forum 26 «Программисты не должны тестировать» Персонал - 6 Не все может быть протестировано тестировщиком Кто кроме программиста лучше знает его код?


Слайд 26

Oracle ISV Forum 27 Персонал - сумма «тестирование – для начинающих программистов» «тестирование – для неудавшихся программистов» Отсутствие специалистов в предметной области «Тестировщик должен программировать» Пробелы в знаниях команды тестирования «Программисты не должны тестировать»


Слайд 27

Механика Oracle ISV Forum 28


Слайд 28

Oracle ISV Forum 29 Невнимательность к тест-дизайну Механика - 1 Пропускаем сложные сценарии Пропускаем важные тесты Производим синтетические тесты


Слайд 29

Oracle ISV Forum 30 Чересчур подробные сценарии Механика - 2 Сложно поддерживать Долго писать «А что будет, если мы интерфейс поменяем?»


Слайд 30

Oracle ISV Forum 31 Чересчур обобщенные сценарии Механика - 3 Сложно поддерживать Понятны только автору «И как это проверять?»


Слайд 31

Oracle ISV Forum 32 Тестирование продукта только через UI Механика - 4 Пропускаем дефекты, связанные с внутренней архитектурой (утечки, сроки, …) Теряем контроль за происходящим в системе


Слайд 32

Oracle ISV Forum 33 «Плохие» отчеты об ошибках Механика - 5 Трудно повторить Трудно понять Не описывают, что именно неправильно Не описывают, как правильно надо Не могут помочь в отладке Служат причиной обиды


Слайд 33

Oracle ISV Forum 34 Механика - сумма Невнимательность к тест-дизайну Чересчур подробные сценарии Чересчур общие сценарии Тестирование продукта только через UI «Плохие» отчеты об ошибках


Слайд 34

Технологии Oracle ISV Forum 35


Слайд 35

Oracle ISV Forum 36 «Мы прогоним 100% наших ручных скриптов!» Технологии - 1 Долго, если вообще реально Зачем, если вероятность найти дефект для некоторых тестов мала, но ресурс мы израсходуем?


Слайд 36

Oracle ISV Forum 37 «Давайте мы автоматизируем все!» Технологии - 2 Тяжело Долго Малое соотношение «время разработки/количество найденных дефектов»


Слайд 37

Oracle ISV Forum 38 «С помощью point-and-click инструмента автоматизации мы сможем автоматизировать много тестов» Технологии - 3 Требует много времени на редактирование Требует много времени на поддержку Как правило не понимает custom - элементы


Слайд 38

Oracle ISV Forum 39 «С помощью наших регрессионных тестов мы найдем много дефектов!» Технологии - 4 Статистика показывает, что новые тесты справляются лучше Найдем, но лучше спроектировать новые тесты Регрессионное тестирование надо проводить с умом


Слайд 39

Oracle ISV Forum 40 «Мы должны обеспечить 100% покрытие» Технологии - 5 Слабое утверждение с точки зрения нахождения важных дефектов Не самая показательная метрика Много времени может уйти только на покрытие, вместо поиска дефектов


Слайд 40

Oracle ISV Forum 41 «А зачем нам контролировать покрытие?» Технологии - 6 Не дает представления о текущей ситуации Не дает метрик для анализа следующих релизов и похожих проектов


Слайд 41

Oracle ISV Forum 42 Технологии - сумма 100% прогон ручных тестов 100% автоматизация Неразумное регрессионное тестирование Переоценка важности тестового покрытия Недооценка важности тестового покрытия


Слайд 42

Oracle ISV Forum 43 Вопросы? oracle-isv@atermath.com


×

HTML:





Ссылка: