![](https://habrastorage.org/getpro/habr/upload_files/cd7/f68/865/cd7f68865353b1aa5e5598996f8d683d.png)
Привет, Хабр! На связи Евгений Гусинец - QA Engineer проекта "Бизнес-Инфо" г. Минск, Беларусь, автор ТГ-канала QA❤️Life. Являюсь также ментором на курсе "Инженер по тестированию" в SkyPro и вопросы, которые постоянно задают студенты обучаясь на курсе, побуждают писать развернутые ответы, которые затем могут перерастать в статьи. Именно так и получилось в этот раз.
Негативное тестирование, или тестирование на ошибочные случаи, является важной составляющей процесса обеспечения качества программного обеспечения. Оно направлено на проверку того, как система реагирует на некорректные, невалидные или неожиданные данные, что позволяет выявить уязвимости и улучшить надежность продукта. В отличие от позитивного тестирования, которое проверяет систему на корректное выполнение при правильных входных данных, негативное тестирование исследует сценарии, в которых пользователь или внешний фактор вводит данные, отклоняющиеся от нормы. Эта статья рассматривает ключевые аспекты негативного тестирования, его применение в различных типах тестирования, а также лучшие практики для эффективного использования данного подхода.
1. Цели и задачи негативного тестирования
Главная цель негативного тестирования — убедиться, что система правильно обрабатывает некорректные данные и сохраняет свою стабильность при любых вводных. Это помогает предотвратить потенциальные ошибки, которые могут возникнуть в реальных условиях эксплуатации, где пользователи могут допускать ошибки или вводить данные, которые не соответствуют ожиданиям системы.
Негативное тестирование позволяет:
Проверить, что система корректно сообщает об ошибках при вводе некорректных данных.
Оценить устойчивость системы при экстремальных условиях или непредсказуемом поведении.
Обнаружить уязвимости, которые могут привести к сбоям или критическим ошибкам.
![](https://habrastorage.org/getpro/habr/upload_files/157/311/fe5/157311fe582a3f7d0fa7ca5ceb50e60b.png)
2. Где и когда применять негативное тестирование?
Несмотря на важность негативного тестирования, его применение не всегда уместно в каждом виде тестирования. Основные типы тестирования, где негативные проверки активно используются, включают:
Функциональное тестирование. Здесь негативное тестирование играет ключевую роль, проверяя, как система реагирует на невалидные данные в каждом отдельном компоненте или функции.
Системное тестирование. На уровне системы проверяется, как различные компоненты взаимодействуют при вводе некорректных данных.
Тестирование безопасности. Включает проверки на устойчивость к атакам, таким как SQL-инъекции, XSS и другие виды злоупотреблений, которые можно классифицировать как негативное тестирование.
![](https://habrastorage.org/getpro/habr/upload_files/e8e/7f8/7c0/e8e7f87c0c9621204463daf95efdc4ca.png)
3. Когда негативное тестирование не применяется?
Существуют виды тестирования, где негативные проверки не применяются или являются менее значимыми:
3.1. Позитивное тестирование (Positive Testing)
Суть. В позитивном тестировании тестировщики проверяют, что система работает как ожидается при использовании корректных, валидных данных. Негативные сценарии, включающие невалидные проверки, здесь не рассматриваются.
Пример. Проверка того, что пользователь может успешно войти в систему при введении правильного логина и пароля.
3.2. Тестирование производительности (Performance Testing)
Суть. Это тестирование направлено на оценку скорости, стабильности и масштабируемости системы. Оно фокусируется на измерении производительности при корректных данных, поэтому негативные проверки, такие как ввод невалидных данных, обычно не выполняются.
Пример. Тестирование времени отклика системы при нормальной или повышенной нагрузке.
3.3. Нагрузочное тестирование (Load Testing)
Цель. Цель нагрузочного тестирования — проверить, как система справляется с определенной нагрузкой (например, количеством пользователей или запросов). Проверка на невалидные данные здесь не производится, так как внимание уделяется устойчивости системы при увеличении нагрузки.
Пример. Проверка работы веб-приложения при одновременном посещении сайта 10 000 пользователей.
3.4. Стресс-тестирование (Stress Testing)
Суть. Стресс-тестирование оценивает работу системы при условиях, выходящих за пределы нормальной эксплуатации (например, чрезвычайно высокая нагрузка или недостаток ресурсов). Негативные проверки здесь неактуальны, так как основная цель — проверить устойчивость системы в условиях экстремальных нагрузок.
-
Пример. Проверка работы системы при отключении части серверов или резком увеличении числа транзакций.
Стресс-тестирование и его "негативность"
Стресс-тестирование — это процесс проверки того, как система справляется с экстремальными условиями, такими как сверхвысокая нагрузка, нехватка ресурсов (например, памяти или процессорного времени), или сбои в сети. Цель стресс-тестирования — определить пределы устойчивости системы и выяснить, как она будет вести себя, когда эти пределы превышаются.
Негативный аспект стресс-тестирования заключается в том, что оно специально направлено на создание условий, которые система не должна испытывать при нормальной эксплуатации. Например, стресс-тестирование может включать:
Резкое увеличение количества пользователей или запросов к системе.
Преднамеренное отключение части серверов или других ключевых компонентов.
Введение задержек или перебоев в сети.
Создание условий, при которых ресурсы системы (память, процессорное время) становятся недоступными.
Отличие от классического негативного тестирования
Классическое негативное тестирование, о котором мы говорили ранее, сосредоточено на проверке того, как система обрабатывает некорректные, невалидные или неожиданные входные данные. Примеры таких негативных проверок включают ввод неправильного формата данных, пустых значений, или недопустимых комбинаций параметров.
Различие состоит в том, что в стресс-тестировании фокус не на проверке корректности работы системы при некорректных входных данных, а на проверке ее устойчивости и производительности в условиях экстремальной эксплуатации. Стресс-тестирование проверяет, как система справляется с перегрузками, а не с некорректными данными.
Таким образом, хотя стресс-тестирование действительно носит негативный и деструктивный характер, оно не связано с тем типом негативных проверок, которые направлены на выявление ошибок в обработке невалидных данных. Стресс-тестирование проверяет систему на прочность в экстремальных условиях, а не на правильность обработки некорректных входных данных.
3.5. Тестирование юзабилити (Usability Testing)
Суть. Тестирование юзабилити направлено на оценку удобства использования системы с точки зрения конечного пользователя. Здесь тестировщики оценивают, насколько интуитивно понятен интерфейс и удобно ли работать с системой. Негативные проверки на невалидные данные не проводятся, так как тестирование фокусируется на пользовательском опыте.
Пример. Оценка удобства навигации по сайту и интуитивности использования интерфейса.
3.6. Тестирование совместимости (Compatibility Testing)
Суть. В этом виде тестирования проверяют, насколько корректно система работает на различных платформах, браузерах, устройствах и операционных системах. Негативные проверки здесь не применяются, поскольку основное внимание уделяется корректности работы системы в разных средах.
Пример. Проверка работы веб-приложения на различных версиях браузеров (Chrome, Firefox, Safari).
3.7. Регрессионное тестирование (Regression Testing)
Цель. Цель регрессионного тестирования — убедиться, что изменения в коде не вызвали новых ошибок в ранее работавшем функционале. Обычно здесь проводят проверку на валидные данные, чтобы удостовериться, что система работает как прежде. Негативные проверки могут быть частью регрессионного тестирования, но часто ограничиваются позитивными сценариями.
Пример. Повторное выполнение успешных тестов после внесения изменений в код.
3.8. Инсталляционное тестирование (Installation Testing)
Суть. Этот вид тестирования проверяет, насколько корректно система устанавливается и настраивается в различных средах.
Основное внимание уделяется успешной установке и корректной работе системы после установки. Негативные проверки здесь не проводятся.
Пример. Проверка корректности установки приложения на различных версиях операционных систем.
3.9. Приемочное тестирование (Acceptance Testing)
Цель. Приемочное тестирование направлено на подтверждение того, что система соответствует требованиям заказчика и готова к выпуску в эксплуатацию. Оно обычно ориентировано на проверку основных бизнес-сценариев и функциональности, требуемой заказчиком.
Негативные проверки. В большинстве случаев приемочное тестирование фокусируется на позитивных сценариях, то есть на проверке того, что система правильно работает при корректных данных и нормальных условиях использования. Негативные проверки, такие как проверка на невалидные данные, обычно не являются приоритетом в рамках приемочного тестирования, так как его цель — продемонстрировать, что система выполняет то, что от нее ожидается.
Пример. Проверка того, что пользователь может успешно зарегистрироваться и выполнить основные действия в системе, такие как создание заказа или загрузка документов.
3.10. End-to-End (E2E) тестирование
Цель. E2E тестирование направлено на проверку всей цепочки взаимодействий в системе, начиная с пользовательского интерфейса и заканчивая интеграцией с другими системами. Целью является подтверждение того, что все компоненты системы работают вместе в соответствии с требованиями.
Негативные проверки. В E2E тестировании основной упор делается на проверку корректности работы всех бизнес-процессов от начала до конца. В рамках E2E тестов обычно тестируются позитивные сценарии, и реже включаются проверки на невалидные данные, так как цель — подтвердить, что все элементы системы правильно интегрированы и работают вместе.
Пример. Полный сценарий заказа товара в интернет-магазине: от поиска продукта до его оплаты и получения подтверждения.
![](https://habrastorage.org/getpro/habr/upload_files/c5a/f31/da6/c5af31da61cbf85c9efb4e4499cc0f9b.png)
4. Существующие ограничения на использование негативных проверок
Вопрос о количестве невалидных проверок на одно тестируемое поле — это часто предмет дискуссий в различных командах. Обычно, количество таких проверок зависит от нескольких факторов, включая риск, критичность функционала, сложность системы, требования к качеству и время на тестирование. Вот несколько общих рекомендаций и подходов, которые применяются в разных командах:
4.1. Стандартные Подходы
Минимальное покрытие. Обычно в стандартных случаях на одно поле добавляют от 3 до 5 невалидных проверок. Это включает:Пустое значение (например, отправка формы без заполнения поля).Значение, которое превышает допустимый лимит (например, слишком длинный текст или слишком большое число).Недопустимый тип данных (например, текст в числовом поле).Специальные символы (если они не поддерживаются).Значения за пределами допустимого диапазона (если есть ограничения по диапазону).
-
Максимальное покрытие. В случае критичных полей (например, поля ввода пароля, номера кредитной карты и т.д.), количество проверок может увеличиваться до 7-10 или даже больше, включив дополнительные проверки, такие как SQL-инъекции, скрипты, и т.д.
4.2. Ограничения в Командах
Команды с ограниченным временем. В командах, где время на тестирование ограничено, могут применять подходы, такие как "самые важные проверки". Например, на каждое поле проверяются только 2-3 наиболее критичные невалидные проверки.
Приоритизация. Некоторые команды используют приоритизацию, определяя, какие невалидные проверки наиболее важны, и выполняют их в первую очередь. Остальные тесты могут быть отложены или выполнены позже.
-
Риск-ориентированное тестирование. В случае риск-ориентированного подхода команда может ограничиться только теми проверками, которые связаны с наибольшими рисками для бизнеса.
4.3. Политика и процедуры
Документированные стандарты. Некоторые команды имеют документированные стандарты, в которых указано, сколько невалидных проверок должно быть для каждого типа поля. Например, для всех текстовых полей могут требовать как минимум 3 проверки (пустое значение, слишком длинное значение, и недопустимые символы).
-
Анализ и отзыв. Команды могут проводить регулярные ревью тестов, где обсуждаются и пересматриваются проверки на предмет необходимости и достаточности.
4.4. Инструменты и Автоматизация
Автоматизированное тестирование. В случае автоматизированного тестирования возможно увеличение количества невалидных проверок, поскольку такие тесты легче поддерживать и выполнять. Автоматизация позволяет проверять более широкий спектр невалидных сценариев, не увеличивая существенно трудозатраты.
4.5. Практики других команд
В больших компаниях. В крупных компаниях или проектах с высоким уровнем критичности количество невалидных проверок может быть выше, с обязательным покрытием всех возможных сценариев. Также могут существовать формальные ограничения и процедуры для каждой категории тестов.
-
В стартапах или небольших командах. Здесь могут стремиться к минимальному необходимому набору проверок, чтобы быстрее выводить продукт на рынок, с последующим добавлением тестов по мере роста продукта.
5. Негативные проверки и методы комбинаторики
Негативное тестирование и невалидные проверки могут быть полезны в некоторых методах комбинаторики, используемых в тестировании программного обеспечения. Важно понимать, что такие методы помогают выявить возможные дефекты в системе, когда она сталкивается с некорректными или неожиданными входными данными.
Вот несколько методов комбинаторики, в которых уместно использовать негативное тестирование:
5.1. Тестирование с использованием метода граничных значений (Boundary Value Testing)
Описание метода. Этот метод включает проверку крайних значений, которые находятся на границах допустимого диапазона для каждого входного параметра. Границы — это точки, где часто возникают ошибки.
Почему уместно использовать негативное тестирование. Негативные проверки в этом методе включают тестирование значений, которые находятся за пределами допустимого диапазона. Например, если допустимый диапазон значений для входного параметра от 1 до 100, нужно протестировать значения 0 и 101, чтобы убедиться, что система корректно обрабатывает невалидные данные.
-
Пример. Если тестируется поле для ввода возраста, которое принимает значения от 1 до 120, негативные проверки могут включать ввод -1, 0, 121, или 200, чтобы убедиться, что система правильно обрабатывает некорректные данные.
5.2. Тестирование классов эквивалентности (Equivalence Partitioning)
Описание метода. В этом методе вводные данные делятся на группы (классы эквивалентности), и предполагается, что все значения внутри одного класса обрабатываются системой одинаково.
Почему уместно использовать негативное тестирование. В каждом классе эквивалентности могут существовать как валидные, так и невалидные подгруппы данных. Негативное тестирование направлено на проверку тех подгрупп, которые выходят за пределы допустимого диапазона или содержат недопустимые данные.
-
Пример. Если система ожидает, что в поле для номера телефона будут вводиться только цифры, то тесты должны включать ввод букв или специальных символов (например, «abc» или «#%&») в качестве невалидных данных.
5.3. Метод попарного тестирования (Pairwise Testing)
Описание метода. Этот метод направлен на тестирование всех возможных комбинаций пар параметров, что помогает минимизировать количество тестов, сохраняя при этом достаточное покрытие.
Почему уместно использовать негативное тестирование. В процессе попарного тестирования могут быть созданы комбинации, которые включают невалидные или нежелательные значения для одного из параметров. Это позволяет выявить ошибки, возникающие в результате некорректного взаимодействия параметров.
-
Пример. Предположим, система имеет два входных поля: возраст и доход. Негативное тестирование может включать комбинации, где возраст имеет отрицательное значение, а доход превышает допустимый предел, чтобы проверить, как система справляется с невалидными комбинациями.
5.3.1 Дискуссионный характер применения негативных проверок в попарном тестировании
Среди тестировщиков существует дискуссия относительно уместности применения негативных проверок в попарном тестировании. Основные аргументы против такого подхода сводятся к следующим пунктам: Цель попарного тестирования. Попарное тестирование изначально ориентировано на проверку всех возможных пар параметров при валидных данных. Это означает, что фокус делается на минимальном наборе тестов, необходимых для покрытия всех комбинаций параметров. Включение негативных проверок в попарное тестирование может привести к значительному увеличению числа тестов, что противоречит самой цели метода — минимизации количества тестов.
-
Комплексность и избыточность. Поскольку попарное тестирование предназначено для работы с минимальным количеством тестов, добавление негативных проверок может существенно усложнить тестирование. Это может привести к проверке большого количества сценариев, которые маловероятны в реальных условиях эксплуатации, что снизит эффективность метода.
5.3.1.1 Аргументы в пользу использования негативных проверок в попарном тестировании
Несмотря на эти аргументы, существуют ситуации, в которых использование негативных проверок в попарном тестировании может быть оправдано:Идентификация критических ошибок на ранних стадиях. В некоторых системах взаимодействие между параметрами может привести к критическим ошибкам, если данные не валидны. В таких случаях добавление негативных проверок в попарное тестирование может помочь обнаружить дефекты, которые иначе могли бы остаться незамеченными. Например, комбинация двух параметров, где один принимает недопустимое значение, может привести к сбою системы.
Пример. В интернет-магазине есть два параметра: способ оплаты и тип товара. Негативное тестирование может включать проверку, что при выборе недопустимого способа оплаты для определенного типа товара система корректно сообщает об ошибке.
Проверка устойчивости системы. Для критически важных систем, где сбои могут иметь серьезные последствия (например, медицинское оборудование, финансовые системы), проверка взаимодействия параметров с невалидными данными может быть необходима для подтверждения устойчивости системы. В таких случаях негативные проверки помогают убедиться, что система справляется с некорректными данными даже в самых сложных комбинациях.
-
Пример. В системе управления медицинским оборудованием проверка на взаимодействие параметров (например, дозировка и возраст пациента) с невалидными данными может быть жизненно важной, чтобы убедиться, что система не совершит критическую ошибку.
Усиление надежности:
Негативные проверки в попарном тестировании позволяют удостовериться, что система не только корректно обрабатывает валидные данные, но и устойчиво справляется с невалидными комбинациями параметров. Это особенно важно для систем с высоким уровнем критичности, где ошибки могут привести к значительным последствиям.
Пример 1. В банковской системе комбинация невалидного кода валюты и граничного значения суммы транзакции может вызвать ошибки, которые важно обнаружить на этапе тестирования.
-
Пример 2. В системе управления медицинским оборудованием проверка на взаимодействие параметров (например, дозировка и возраст пациента) с невалидными данными может быть жизненно важной, чтобы убедиться, что система не совершит критическую ошибку.
Покрытие редких сценариев:
Попарное тестирование может выявить дефекты, которые проявляются только при определенных сочетаниях параметров. Включение негативных проверок в такие комбинации позволяет выявить ошибки, которые могли бы оставаться незамеченными при тестировании только валидных данных.
-
Пример: В системе бронирования авиабилетов могут быть проверены комбинации, где один параметр (класс обслуживания) содержит недопустимое значение, а другой (количество пассажиров) находится на граничном значении. Негативная проверка может выявить сбои в обработке таких сценариев.
5.3.1.2 Аргументы против использования негативных проверок в попарном тестировании
-
Увеличение объема тестирования
Включение негативных проверок может значительно увеличить количество необходимых тестов, что противоречит основной цели попарного тестирования — минимизации числа тестов при сохранении покрытия.
Контраргумент. Однако это увеличение объема тестирования можно сбалансировать за счет разумного выбора параметров и приоритетов тестирования.
-
Фокус на валидных данных:
Попарное тестирование традиционно используется для проверки валидных комбинаций параметров, а негативные проверки можно рассматривать как отдельную задачу.
Контраргумент. Тем не менее, интеграция негативных тестов в попарное тестирование позволяет выявить дефекты, которые могут возникнуть при неявных сочетаниях параметров.
-
Сложность анализа результатов:
Включение негативных проверок может усложнить анализ результатов тестирования, особенно если система имеет сложные зависимости между параметрами.
-
Контраргумент. Четкая структура тестов и продуманная стратегия анализа могут помочь избежать этой проблемы, обеспечив более полное понимание поведения системы.
Использование негативных проверок в попарном тестировании — это не однозначный вопрос, и решение об их включении зависит от конкретных целей и контекста тестирования. В случаях, когда критичность системы требует тщательной проверки всех возможных сценариев, включая негативные, применение негативных проверок в попарном тестировании может быть оправдано и полезно.
В то же время, если цель попарного тестирования заключается в минимизации тестов и быстром покрытии основных взаимодействий параметров, негативные проверки могут быть вынесены в отдельный этап тестирования. В конечном итоге, подход к использованию негативных проверок в попарном тестировании должен быть сбалансированным и учитывать специфические требования проекта, а также ресурсы и время, доступные для тестирования.
5.4. Минималки и Атомарки
Минималки. Это минимальные тесты, которые покрывают наиболее важные и критичные случаи использования функционала системы. В минималках могут применяться негативные проверки, если они относятся к критически важным аспектам системы. Например, проверка обязательных полей формы может включать тест на их незаполнение.
Атомарки. Атомарные тесты — это более детализированные тесты, которые проверяют конкретные элементы или небольшие участки функционала. В атомарках обычно уделяется больше внимания как позитивным, так и негативным сценариям, включая тестирование на невалидные данные, такие как ввод некорректных значений в поля ввода.
Применение негативных проверок: в обоих случаях негативные проверки уместны, когда важно удостовериться, что система правильно обрабатывает ошибки на базовом уровне.Пример: в атомарке для текстового поля, куда должен вводиться номер телефона, может быть проверка на ввод букв вместо цифр, что является негативным сценарием.
5.5. Таблицы принятия решений (Decision Tables)
Описание метода. Таблицы принятия решений представляют собой способ систематизации и проверки множества правил и их последствий. Они особенно полезны, когда система имеет сложную логику с множеством условий.Применение негативных проверок: В таблицах принятия решений негативные проверки могут включаться для того, чтобы проверить поведение системы при несоответствии входных данных правилам или при введении невалидных данных.
Пример. Если в таблице принятия решений есть правило, которое определяет скидку на товар в зависимости от суммы заказа и наличия промокода, негативные проверки могут включать ввод некорректного промокода или суммы, не попадающей в диапазон, для проверки правильности обработки таких случаев.
5.6. Диаграммы состояний и переходов (State Transition Diagrams)
Описание метода. Диаграммы состояний и переходов используются для моделирования поведения системы при переходе из одного состояния в другое в зависимости от вводимых событий или данных.Применение негативных проверок: Негативные проверки в этом методе заключаются в проверке недопустимых переходов между состояниями или неправильного реагирования системы на определенные события.
Пример. В приложении для бронирования отелей, где пользователь должен сначала выбрать даты, а затем подтвердить бронь, негативная проверка может включать попытку подтвердить бронь без выбора дат, чтобы убедиться, что система корректно обрабатывает этот случай.
Заключение
Негативное тестирование в контексте комбинаторных методов тестирования помогает выявить дефекты, которые могут возникнуть при вводе некорректных данных. Это особенно важно для обеспечения устойчивости и надежности системы, так как помогает предотвратить сбои и ошибки, вызванные неожиданными вводными данными или их комбинациями. Использование таких методов комбинаторики с включением негативных тестов позволяет обеспечить более полное и качественное тестирование, что является залогом стабильной работы программного обеспечения в реальных условиях эксплуатации.
-
Комментарии (5)
anton_tereshko
19.08.2024 18:41Всегда задумывался о том, почему негативное тестирование, это негативное тестирование.
Мы же предполагаем, что юзер может войти в систему с валидными credentials.
НО так же мы предлагаем, что юзер не может войти в систему в плохими credentials.
Так вот почему в первом случае у нас позитивное тестирование, а во втором примере негативное?
Мы же заранее знаем, что юзер не должен войти.
Или же, мы знаем, что если пошлем не валидный userId, то бэкенд вернёт 404 или 400 или 204 или 422 (в зависимости от реализации), то почему этот тест негативный?
Негативное тестирование в моем понимании, это когда ты посылаешь валидные/не валидные данные и сервис ведёт себя совсем не так, как задумывалось
egusinets Автор
19.08.2024 18:41Добрый день, Антон! Благодарю за интересный комментарий.
Ваш вопрос поднимает интересную точку зрения о терминах "негативное" и "позитивное" тестирование. Давайте разберем эти концепции и постараемся внести ясность в то, почему тестирование с использованием некорректных данных называется "негативным", несмотря на предсказуемость результата.
Позитивное и негативное тестирование: разница в подходах
Позитивное тестирование направлено на проверку того, что система работает правильно при вводе корректных данных и в нормальных условиях.
Цель позитивного тестирования — убедиться, что система выполняет свои функции так, как ожидается. Например, если пользователь вводит правильные учетные данные, система должна успешно аутентифицировать пользователя и предоставить доступ.
Негативное тестирование, с другой стороны, направлено на проверку того, как система обрабатывает некорректные, неожиданные или невалидные данные.
Цель негативного тестирования — убедиться, что система правильно реагирует на ошибки, невалидные данные или некорректные действия. Например, если пользователь вводит неправильные учетные данные, система должна предотвратить вход и выдать соответствующее сообщение об ошибке.
Почему тесты на некорректные данные считаются негативными?
Когда мы говорим о "негативном тестировании", термин "негативный" не обязательно означает, что результат теста непредсказуем или нежелателен. Скорее, это относится к самой природе входных данных или действий, которые считаются некорректными или выходящими за рамки нормального использования системы. В этом контексте:
Позитивное тестирование проверяет, что система работает правильно, когда все данные и действия корректны.
Негативное тестирование проверяет, что система правильно обрабатывает ошибки и отклонения, когда данные или действия некорректны.
Примеры для лучшего понимания
Позитивный тест: Пользователь вводит правильный логин и пароль. Мы ожидаем, что система предоставит доступ. Это позитивный тест, так как данные корректны, и мы проверяем, что система выполняет свою основную функцию.
Негативный тест: Пользователь вводит неправильный пароль. Мы ожидаем, что система откажет в доступе и выведет сообщение об ошибке. Это негативный тест, так как мы проверяем поведение системы при некорректных данных.
Почему тесты на предсказуемое поведение системы при некорректных данных все равно негативные?
Даже если мы точно знаем, что система должна вернуть определенный код ошибки (например, 404 или 400), когда ей передаются невалидные данные, такой тест все равно считается негативным. Это связано с тем, что основной акцент в этом тесте делается на том, как система справляется с ненормальными, некорректными или ошибочными вводами, а не с тем, выполняет ли она свои функции при корректных условиях.
anton_tereshko
19.08.2024 18:41Если мой endpoint должен принимать int только и я пишу обработчик, который приводит пришедшее значение к int и если это не int то мы выдаём ошибку, а если int - идём дальше - с моей стороны в обоих случаях у нас валидные данные.
Вы же ожидаете, что придет или то или то? Ожидаете :) А если ожидаете, значит данные валидные. Но если вы не обрабатывает ошибки или допустим у вас пришёл отрицательный int, а всегда должны быть положительные и вы это нигде в коде не предусматриваете - то тут уже негативный кейс.
В общем мое видение этой "проблемы": все то, что не предусмотрено в коде - негативные кейсы
Odnokletochnoe
Спасибо за статью. Очень познавательно.
egusinets Автор
Пожалуйста. Очень рад , что статья вам понравилась.