Речь и идёт про сценарные тесты.
Ну значит я выпал из контекста. Я думал как обычно БДД :(
Size: a a a
2019 February 13
LP
Ну значит я выпал из контекста. Я думал как обычно БДД :(
В БДД тоже сценарии.
LP
Сценарные тесты - это просто термин.
LP
Это не про инструменты.
Z
1 А потом какой-то тест меняет общие данные и много чего падает.
2 эталонная база всегда неактуальна и данных всегда не хватает
3 новые данные в эталон загружать непросто.
А новые данные данные через кнопконажималку создавать грустно и очень-очень долго
3.1 актуализация эталона еще какая боль
4 в итоге и тесты работают долго и боли с данными остаются
Эталон модно юзать только как хранилище условно-константных данных
А изменяемые или временные данные под тест создавать на лету, максимально используя усдовно-константную информацию.
Юзайте 2 блока тестирования
1 подготовка начальных тестовых данных - эталон или макет через генератор макетов в Ванесса.АДД
2 эталонная база всегда неактуальна и данных всегда не хватает
3 новые данные в эталон загружать непросто.
А новые данные данные через кнопконажималку создавать грустно и очень-очень долго
3.1 актуализация эталона еще какая боль
4 в итоге и тесты работают долго и боли с данными остаются
Эталон модно юзать только как хранилище условно-константных данных
А изменяемые или временные данные под тест создавать на лету, максимально используя усдовно-константную информацию.
Юзайте 2 блока тестирования
1 подготовка начальных тестовых данных - эталон или макет через генератор макетов в Ванесса.АДД
Артур, а если базу для каждого тесткейса восстанавливать из копии, проблем ведь с общими данными нет. Они на начало каждого тесткейса будут эталонные.
Z
В БСП есть демонстрационная база которая всегда поддерерживается в актуальном состоянии, 90% тестов делаем на ней. Специальные эталонные базы, создание которых регламентировано на процесс начала разработки новой минорной версии.
LP
Артур, а если базу для каждого тесткейса восстанавливать из копии, проблем ведь с общими данными нет. Они на начало каждого тесткейса будут эталонные.
Плюс не нужно очищать тестовые данные.
NG
Артур, а если базу для каждого тесткейса восстанавливать из копии, проблем ведь с общими данными нет. Они на начало каждого тесткейса будут эталонные.
Это ж охренеть как долго
Артур, а если базу для каждого тесткейса восстанавливать из копии, проблем ведь с общими данными нет. Они на начало каждого тесткейса будут эталонные.
Я об этом выше писал. Так можно, но это либо долго либо сложно, потому что требует интеграции нескольких инструментов. Например научить фреймворк тестирования ходить на сиквел и поднимать снапшоты.
И вопрос версионирования тестовых данных остается актуальным.
И вопрос версионирования тестовых данных остается актуальным.
LP
Это ж охренеть как долго
Ещё можно делить тесты на потоки, когда один поток тестов гарантированно работает на данной базе и тесты не могут сломать что-то друг другу.
A
Это ж охренеть как долго
Да вроде не очень
LP
Я об этом выше писал. Так можно, но это либо долго либо сложно, потому что требует интеграции нескольких инструментов. Например научить фреймворк тестирования ходить на сиквел и поднимать снапшоты.
И вопрос версионирования тестовых данных остается актуальным.
И вопрос версионирования тестовых данных остается актуальным.
Интеграция - это всего лишь вопрос скриптов.
А версионирование решается простой выгрузкой.
А версионирование решается простой выгрузкой.
A
ща перехожу с Ух 1.3 на 3.0. Вот где все станет ясно =)
A
яркий пример того где сериализация не канает совсем
NG
Да вроде не очень
Загрузка базы под *каждый* тест кейс?
Z
Это ж охренеть как долго
Ну не знаю, в БСП сейчас примерно 150 тесткейсов, в сумме автоматизировано примерно 320 человекочасов проверки одной ветки, гоняются тесты по трем веткам, в 3 часа на ветку с распределением многопоточным заданий. Работает именно в режиме подготовил база, зарезервировал локально, перед каждым тесткейсом развернул копию эталона обновленного.
A
ну не под каждый же.
Интеграция - это всего лишь вопрос скриптов.
А версионирование решается простой выгрузкой.
А версионирование решается простой выгрузкой.
Да никто не сомнимается, что спец решит эти вопросы.
Но надо еще оптимальный подход уметь выбриать, а не просто превозмогать трудности.
Но надо еще оптимальный подход уметь выбриать, а не просто превозмогать трудности.
A
и я тут плаваю в терминах "тесткейс" это насколько атомарно?
Z
и я тут плаваю в терминах "тесткейс" это насколько атомарно?
Это несколько фич последлвателных или одна большая фича