Size: a a a

2020 January 21

S

Serggio in JS for testing
Всем привет!
Кто-нибудь сталкивался с проблемой при интеграции с TestRail?
Пробую подключить к проекту один из репортеров, например https://www.npmjs.com/package/wdio-testrail-custom-reporter
При запуске теста получаю ошибку:
ERROR @wdio/local-runner: Failed launching test session: TypeError: Cannot read property 'testRailsOptions' of undefined
Настройки прописаны в wdio.conf.js из документации к репортеру. В чём может быть проблема?
источник

B

Bola in JS for testing
Mikhail Popov
про then() выше писали может помочь, но все еще зависит от самого теста, а в целом да ерунда какаято. У любого теста всегда должен быть ожидаемый резульат, в данном случае цвет кнопки
должен, но допустим у трех элементов должен быть цвет сегодня синий
завтра разработчики везде поменяют на красный
сценарий автора вопроса - проверить, что цвет изменили везде, неважно на какой
источник

OK

Oleksandr Khotemskyi in JS for testing
Bola
должен, но допустим у трех элементов должен быть цвет сегодня синий
завтра разработчики везде поменяют на красный
сценарий автора вопроса - проверить, что цвет изменили везде, неважно на какой
так а что мы тестируем? Завтра цвет баганет и станет прозрачным, тесты останутся зелеными
источник

MP

Mikhail Popov in JS for testing
Oleksandr Khotemskyi
так а что мы тестируем? Завтра цвет баганет и станет прозрачным, тесты останутся зелеными
👍
источник

B

Bola in JS for testing
Oleksandr Khotemskyi
так а что мы тестируем? Завтра цвет баганет и станет прозрачным, тесты останутся зелеными
ну это дело такое. я вообще через ui цвет не проверяю. Но я пояснил мысль автора )
источник

OK

Oleksandr Khotemskyi in JS for testing
Bola
ну это дело такое. я вообще через ui цвет не проверяю. Но я пояснил мысль автора )
я тоже, разве что это часть функционала
источник

B

Bola in JS for testing
Oleksandr Khotemskyi
я тоже, разве что это часть функционала
да, алерт какой-нить, например
источник

BO

Boris Osipov in JS for testing
Serggio
Всем привет!
Кто-нибудь сталкивался с проблемой при интеграции с TestRail?
Пробую подключить к проекту один из репортеров, например https://www.npmjs.com/package/wdio-testrail-custom-reporter
При запуске теста получаю ошибку:
ERROR @wdio/local-runner: Failed launching test session: TypeError: Cannot read property 'testRailsOptions' of undefined
Настройки прописаны в wdio.conf.js из документации к репортеру. В чём может быть проблема?
то что я вижу на гитхабе код - это репортер для 4 wdio. судя по стектрейсу у тебя 5
источник

MP

Mikhail Popov in JS for testing
согласен, ну поменяли цвет - тест упал, заше проверил что случилось, поправил цвет. Хотя по хорошему нужно поправить когда таску по изменению цвета проверяли
источник

OK

Oleksandr Khotemskyi in JS for testing
Mikhail Popov
согласен, ну поменяли цвет - тест упал, заше проверил что случилось, поправил цвет. Хотя по хорошему нужно поправить когда таску по изменению цвета проверяли
Ну это в идеале. А на практике такое могут даже как таску не заводить, не говоря уже про то что кто-то воспомнит что оказывается есть автотест на это...
источник

MP

Mikhail Popov in JS for testing
возможно стоит посмотеть в строну скриншот тестинга, если такие проблемы регулярно к тому же сайпрессу можно прикрутить
источник

OK

Oleksandr Khotemskyi in JS for testing
Mikhail Popov
возможно стоит посмотеть в строну скриншот тестинга, если такие проблемы регулярно к тому же сайпрессу можно прикрутить
это вариант, но это отдельная сложная штука - сравнивать скрины качественно. Страницы часто «шумят», и прийдется познакомится с новыми веселыми словами такими как anti-aliasing
источник

m

mkots in JS for testing
Оооо, только не это, ненавижу визуальную регрессию (потому что не умею ее готовить)
источник

B

Bola in JS for testing
Oleksandr Khotemskyi
это вариант, но это отдельная сложная штука - сравнивать скрины качественно. Страницы часто «шумят», и прийдется познакомится с новыми веселыми словами такими как anti-aliasing
можно не страницы проверять - а поэлементно
шум нивелируется одинаковым окружением и версиями ПО и установкой уровня погрешности при сравнивании
источник

OK

Oleksandr Khotemskyi in JS for testing
Bola
можно не страницы проверять - а поэлементно
шум нивелируется одинаковым окружением и версиями ПО и установкой уровня погрешности при сравнивании
это только усложняет, дополнительно резать скрины по элементам, получается куча эталонов для сравнения…
источник

B

Bola in JS for testing
Oleksandr Khotemskyi
это только усложняет, дополнительно резать скрины по элементам, получается куча эталонов для сравнения…
зачем резать? делается скриншот элемента
ну так например я делал на gemini - говоришь, сделай снимок по этому селектору
источник

m

mkots in JS for testing
Bola
можно не страницы проверять - а поэлементно
шум нивелируется одинаковым окружением и версиями ПО и установкой уровня погрешности при сравнивании
https://jestjs.io/docs/en/snapshot-testing и не надо никаких скринов
источник

B

Bola in JS for testing
не для каждого сайта подходит
источник

S

Serggio in JS for testing
Boris Osipov
то что я вижу на гитхабе код - это репортер для 4 wdio. судя по стектрейсу у тебя 5
Да, действительно, спасибо. Но если беру репортер для 5 wdio (wdio-5-testrail-reporter), то получаю ошибку:
ERROR @wdio/local-runner: Failed launching test session: Error: Invalid reporters config

Хотя настройки прописаны как в документации
источник

m

mkots in JS for testing
Не, ну если есть бабки на Percy или Aplitools то можно и скрины потестить)
источник