Smoke и регресс: способы входа
Добавьте Mobile-ID, пройдите smoke и найдите два дефекта регресса в существующих способах авторизации.
- 1Регресс
- 2Задача и дизайн
- 3Smoke
- 4Mobile-ID
- 5Регресс
- 6Ретест
- 7Релиз
Первый день в команде
Привет! Как тебя зовут?
Привет! Добро пожаловать!
Знакомство с продуктом
Вот наш продукт — форма входа в личный кабинет. Пользователь уже зарегистрирован и может войти по паролю, через Smart-ID или Google Auth. Посмотри, как всё устроено, и попробуй войти разными способами. Это тестовый стенд: используй данные под полями, внешние сервисы заменены моками.
Как посмотришь — у меня для тебя первая задача.
Момент, сейчас ознакомлюсь.
Всё понятно, давай дальше
Давай быстро проверим, всё ли понятно перед началом работы в команде. Расскажи, о чём наш продукт?
Посмотри на форму ещё раз и попробуй ответить.
Верно! А какие способы входа мы поддерживаем сейчас?
Посмотри на форму ещё раз и попробуй ответить.
Готов(а)!
Скоро мы добавим ещё один способ входа в личный кабинет. Прежде чем что-то менять, нужно составить регрессионный набор — список того, что уже работает и что придётся перепроверить после изменений. Это и есть твоя первая задача.
Что уже работает? — Соберём регрессионный набор тестов
Вот твоё первое задание! Сейчас в личный кабинет можно войти по паролю, через Smart-ID и Google Auth. Прежде чем мы добавим новый способ, составь, пожалуйста, регрессионный набор.
Что вы сейчас включаете в регрессионный тест-сьют?
Не совсем. В регрессионный набор должны войти все способы входа, которые уже есть в продукте, — и ничего лишнего.
Новая задача
Привет! Следующая задача: добавляем новый способ входа — Mobile-ID. Он должен стоять в конце списка, после Google Auth.
Как это работает: пользователь выбирает Mobile-ID, вводит номер телефона, видит контрольный код и подтверждает запрос в телефоне. После подтверждения открывается личный кабинет, а если пользователь отменит запрос, он останется на форме входа и сможет попробовать ещё раз.
И, пожалуйста, проследи, чтобы все существующие способы работали как раньше.
Мари, привет! Покажи, пожалуйста, как Mobile-ID будет выглядеть в форме входа.
Мари рисует макет
Готово! Добавила Mobile-ID в список способов. Номер телефона и контрольный код появляются только после выбора этого способа, кнопка остаётся на месте.
Форма входа: пароль, Smart-ID, выбранный Mobile-ID и Google Auth. Под способами входа — поле номера телефона с примером +372 51234567 и кнопка «Продолжить». Пунктирные стрелки отмечают новый способ и поля, появляющиеся после его выбора.
{name}, прежде чем Марк возьмётся за работу, сверь, пожалуйста, макет с требованиями. Всё верно?
Сравни порядок способов на макете с задачей Кристы.
Ой, точно, спасибо, что заметил(а)! Сейчас поправлю.
Мари рисует макет
Исправила: Mobile-ID теперь в конце списка, после Google Auth.
Форма входа: пароль, Smart-ID, Google Auth и выбранный Mobile-ID в конце списка. Под способами входа — поле номера телефона с примером +372 51234567 и кнопка «Продолжить». Пунктирные стрелки отмечают новый способ и поля, появляющиеся после его выбора.
Марк, задача и макет готовы — можно начинать.
Марк добавляет Mobile-ID
Версия 2.0 на стенде. Mobile-ID добавлен, можно тестировать.
Быстрая проверка сборки
Проведём smoke-тестирование! Откройте форму и проверьте:
- видны четыре способа входа
- форма не развалилась
- кнопка входа доступна
Это короткий smoke, без проверки всех исходов авторизации.
Какой результат smoke?
Выберите способ и нажмите «Продолжить» в форме, чтобы проверить кнопку.
Тестирование новой фичи: Mobile-ID
Это тестирование новой фичи: проверяем только Mobile-ID — остальные способы входа проверим в регрессе. Пройдите в форме оба исхода: подтвердите запрос и отмените его, а после отмены повторите попытку. Каждую выполненную проверку отметьте в списке сами.
Проверяем старые способы
Пройдите регрессионный набор, который вы сохранили на первом шаге. Проверьте обычный и ошибочный вход, сохранение сессии, а также успешный и отменённый внешний вход. На smoke эти сценарии не выполнялись.
Выполните сценарий в форме — после этого проверка откроется и вы сможете сами отметить результат: PASSED или FAILED.
- Пароль: верные данные открывают кабинет.
- Пароль: неверные данные показывают ошибку.
- Пароль: «Запомнить меня» сохраняет вход после перезагрузки.
- Smart-ID: подтверждение открывает кабинет.
- Smart-ID: отмена оставляет пользователя на форме входа.
- Google Auth: подтверждение открывает кабинет.
- Google Auth: отмена оставляет пользователя на форме входа.
Разберите два дефекта
В регрессе сборки 2.0 два сценария получили статус FAILED. Оформите по ним баг-репорты: для каждого выберите ожидаемый результат — как должно работать по требованиям, — и фактический — что вы увидели в форме.
Опиши, пожалуйста, оба дефекта: что должно было произойти и что произошло на самом деле. По шагам я сразу воспроизведу и починю.
Шаги: Войти по паролю с отметкой «Запомнить меня», затем перезагрузить страницу.
Шаги: Выбрать Google Auth, нажать «Продолжить», затем «Отменить».
Сравните ожидаемое поведение с результатом в форме.
Проверяем исправления
BUG-201 и BUG-202 отправлены Марку. Релиз пока заблокирован.
Спасибо за баг-репорты! Исправил оба дефекта и выложил версию 2.0.1 на стенд — проверь, пожалуйста.
Марк исправил оба дефекта и выложил версию 2.0.1. Повторите оба сценария, затем убедитесь, что обычный вход всё ещё работает.
Выполните сценарий в форме — после этого проверка откроется и вы сможете сами отметить результат: PASSED или FAILED.
- Пароль с «Запомнить меня» переживает перезагрузку.
- Отмена Google Auth оставляет пользователя на форме.
- Обычный вход по паролю работает.
Решение о релизе
Smoke и новая функция пройдены; два дефекта регресса исправлены и проверены повторно. Можно выпускать 2.0.1?
Оба найденных дефекта исправлены и подтверждены ретестом. Открытых дефектов нет.
Криста, тестирование версии 2.0.1 завершено. Mobile-ID работает по требованиям, оба дефекта регресса исправлены и проверены повторно. Открытых дефектов нет — версия готова к релизу.
Отлично! Давайте релизить.
Криста дала добро. Выкатываю версию 2.0.1 на прод?
Да, выкатывай
Марк выкатывает релиз
Готово! Версия 2.0.1 на проде.
Всем привет! Вход через Mobile-ID уже на проде.
Версия готова к релизу
Вы проверили Mobile-ID, обнаружили два дефекта в старых способах входа и подтвердили их исправление.
Выберите способ
Тестовые данные: qa@example.com / Demo123!
Справка по теме
Smoke-тестирование
Короткая проверка самых важных функций новой версии: открывается ли приложение, работают ли ключевые элементы. Если Smoke не пройден, версию возвращают разработчику — дальнейшее тестирование не имеет смысла.
Ретест (Retest)
Повторная проверка конкретного дефекта после исправления: повторяют те же шаги, которые его воспроизводили, и убеждаются, что дефекта больше нет.
Тестирование новой функциональности
Проверка того, что новая функция работает по требованиям: основной сценарий, альтернативные сценарии и обработка ошибок.
Регрессионное тестирование
Проверка того, что изменения не сломали то, что уже работало. Набор регресса удобно определить заранее — ещё до начала работы над новой функцией.