Size: a a a

JavaScript testing

2021 January 15

AL

Alexey Lopato in JavaScript testing
Собрали эти доказательства, сели поговорили и запрувили
источник

AB

Alexei Barantsev 🗹... in JavaScript testing
Nick Silver
идея в том , что бы не стопить а просто убирать его из основного билда в CI
я про другое, про "запретили всем мерджить пока все не пройдёт". это кто-то один, значит, накосячил и сделал нестабильный тест, выключить его нельзя, а мёрджить запретили всем, пока этот тест не пройдёт. а если он даже пройдёт — он же нестабильный, всё равно нельзя ему верить :))))
источник

NS

Nick Silver in JavaScript testing
Alexey Lopato
Собрали эти доказательства, сели поговорили и запрувили
Ну у нас все боятся почему-то . Но я планирую до конца квартала дожать таки. Спасибо за инфу 👌🏼
источник

AL

Alexey Lopato in JavaScript testing
Ну у нас тоже боялись. Ещё один момент, если будут падать 2 разных теста и вы фиксите их по одному все равно стоит брокер на мердж. Пока такие мёрджи делаем вручную. Отключаем блок, мерджим, включаем блок
источник

AL

Alexey Lopato in JavaScript testing
Ну и на бранчах в них мерджится последний мастер перед прогоном тестов
источник

AB

Alexei Barantsev 🗹... in JavaScript testing
Alexey Lopato
Ну у нас тоже боялись. Ещё один момент, если будут падать 2 разных теста и вы фиксите их по одному все равно стоит брокер на мердж. Пока такие мёрджи делаем вручную. Отключаем блок, мерджим, включаем блок
так я и знал! :)))
источник

AL

Alexey Lopato in JavaScript testing
Alexei Barantsev 🗹
так я и знал! :)))
Я не говорил что у нас идеально, импрувимся почучуть
источник

AB

Alexei Barantsev 🗹... in JavaScript testing
то есть вместо того, чтобы отправить один подозрительный тест на карантин и доверять остальному прогону — вы по сути каждый раз вручную бегаете анализировать, каждый раз видите, что упал этот нестабильный тест, и вручную отключаете блокировку
источник

AB

Alexei Barantsev 🗹... in JavaScript testing
вот это и есть куча лишней работы
источник

AL

Alexey Lopato in JavaScript testing
Вопрос к карантину, откуда вы знаете что тест нестабильный или это баг
источник

AB

Alexei Barantsev 🗹... in JavaScript testing
на время исследования он и отправляется на карантин
источник

AB

Alexei Barantsev 🗹... in JavaScript testing
баг или не баг — проверяется один раз вручную
источник

NS

Nick Silver in JavaScript testing
Alexei Barantsev 🗹
я про другое, про "запретили всем мерджить пока все не пройдёт". это кто-то один, значит, накосячил и сделал нестабильный тест, выключить его нельзя, а мёрджить запретили всем, пока этот тест не пройдёт. а если он даже пройдёт — он же нестабильный, всё равно нельзя ему верить :))))
не совсем понял точку зрения Вашу. У меня в компании тесты пока не обязательные , соответственно можно мерджить даже если е2е тесты будут красные ( на страх и риск разработчика). Разработчики пишут сами е2е тесты для своих проектов и отправляют на ревью , что минимизирует риск плохого кода  + тест должен быть зеленым на CI  5\5  раз . Я же пробую избежать кейс , когда продукт или  фича ломает тест и все джобы становятся красными
источник

AL

Alexey Lopato in JavaScript testing
У нас если тесты падают и видно, что они не стабильные ( например включили АБ тест) мы апрувим деплои в дженкинсе на отдельном степе. Депои не блокируются, и автоматизаторы зразу фиксят
источник

AL

Alexey Lopato in JavaScript testing
Alexei Barantsev 🗹
то есть вместо того, чтобы отправить один подозрительный тест на карантин и доверять остальному прогону — вы по сути каждый раз вручную бегаете анализировать, каждый раз видите, что упал этот нестабильный тест, и вручную отключаете блокировку
Если упал 1 нестабильный тест мы не отключаем блокировку в гитлабе, ибо после фикса на бранче все пройдёт и мердж будет разрешён
источник

AL

Alexey Lopato in JavaScript testing
Я не говорю что это лучше карантина, я просто говорю что это рабочий вариант и девы всякую фигню не мерджат
источник

NS

Nick Silver in JavaScript testing
Alexey Lopato
Если упал 1 нестабильный тест мы не отключаем блокировку в гитлабе, ибо после фикса на бранче все пройдёт и мердж будет разрешён
А разработчики ок с таким подходом?  Просто у нас все топят за скорость и по этому это один из консернов , что готовая фича ( даже с небольшим багом ) задеплоенная  как можно быстрее , это лучше чем ее задержка на 30 -40 мин ( к примеру , если фиксят тесты где-то в другом ПР и мердж заблочен)
источник

AL

Alexey Lopato in JavaScript testing
В проект контибьютят 50 человек, решение приняли оунеры главные, кто не ок мы как бы забили на них
источник

AL

Alexey Lopato in JavaScript testing
Не много не ясно что решать 40 минут для фичи
источник

NS

Nick Silver in JavaScript testing
Alexey Lopato
В проект контибьютят 50 человек, решение приняли оунеры главные, кто не ок мы как бы забили на них
Завидую , это крутой подход
источник