Должен ли я сделать приемочные испытания?
Мы запустили несколько коммерческих веб-приложений для клиентов. График выпуска для них является регулярным, но всегда есть проблемы с тестированием изменений, исправлений и обновлений. Похоже, что приемочное тестирование продвигается для разработки контракта, а не "Коммерческая готовность". Стоит ли приемочное тестирование за то, за что мы уже заплатили? И если так, есть ли что-нибудь доступное с оглядкой на:
- Свободно. Бюджет каждого ограничен, наш ничем не отличается. Открытый источник также бонус. Возможность передать провальный тест нашему контактному лицу поддержки кажется чертовски удобной, и коммерческое лицензирование может помешать этому.
- Автоматизированный. У нас, вероятно, нет бюджета, чтобы сделать что-то подобное "вручную".
- AJAX-у. Некоторые страницы основаны на JavaScript на стороне клиента, поэтому мы не можем просто воспроизвести запросы HTTP get.
- Надежный Я бы предпочел не переписывать тесты для каждой незначительной ревизии.
- Кросс-браузер, кросс-платформенный. Различные браузеры ведут себя по-разному, и я бы чувствовал себя более уверенно, если бы веб-движки за браузерами были как-то задействованы. И мы намерены поддерживать Mac.
3 ответа
Взгляните на огурец и селен. Они не совсем отвечают всем вашим потребностям, но они подходят близко. Я использовал Selenium, и это немного больно, но я справился с работой, хотя слышал очень хорошие вещи о Cucumber.
Мне также было бы интересно, если у кого-то есть более автоматизированное решение, но для интерфейсных веб-приложений ничто не сравнится с тестером-человеком с контрольным списком тестирования для работы на каждой поддерживаемой платформе, браузере и версии. Слишком много переменных в том, как браузеры отображают HTML, CSS и исполняют JavaScript, чтобы доверять интерфейсному тестированию автоматизированному инструменту. BrowserCam пригодится для такой работы.
Я думаю, что многое зависит от того, что предлагает поставщик, и насколько вы уверены в его продукте. Например, вам действительно нужно проверить функциональность во всех соответствующих браузерах? У них нет отдела QA?
В некоторых случаях ручное прохождение, когда это уместно, является наиболее экономически эффективным. Вы можете написать сценарии и по-настоящему передать их, так что каждый, кто в этом заинтересован, должен лишь немного поработать.
В других случаях, когда у вас нет уверенности в отделе контроля качества поставщика или требуется значительная настройка, тогда ваши собственные автоматизированные тесты, безусловно, будут необходимы, если вы не хотите, чтобы ваши клиенты видели проблему. Тогда это действительно зависит от того, сколько вы готовы инвестировать в надежный аспект. Чем надежнее, тем больше программирования и тяжелой работы для выполнения тестов. Чем больше указателей, тем меньше усилий для первоначального тестирования, но тем больше усилий для его поддержки.