Size: a a a

QA — Автоматизация

2021 January 04

AT

Anton Tereshko in QA — Автоматизация
Рома, как мне кажется, все три бага которые были найдены вами автоматизацией вообще не поймать. Хотя второй - возможно было бы отловить.
Автоматизация это дело такое, вы не в состоянии пррверить всякие кеши и так далее. Это тоже нужно учитывать при написании тестов. Странно что пррдакты не знают особеенлстей и полагаются на 100 на автотесты
источник

AT

Anton Tereshko in QA — Автоматизация
Ну как бы сорян, тестировщики вообще могут найти максимум %80 багов (суля по всяким статьям и статистике в целом)
источник

RS

Roman Sivakov in QA — Автоматизация
Edward Surov
Повторю свой вопрос: какие рычаги вам доступны для решения проблемы, какие решения вы принимаете?
-- что вам мешает, по вашему, в такие моменты применять огнестрельное оружие?
-- отсутствие у меня огнестрельного оружия в такие моменты.
//bash.org
источник

D

Dmitry in QA — Автоматизация
Evgenii B
Как сделать менее больно:
1) единый бек для всех платформ
2) веб релизится асинхронно и часто, мобилки — как позволяет вам ваша пользовательская база. Я бы как пользователь не хотел качать новое приложение каждую неделю. Поэтому вопрос "как часто релизить?" упирается в
— ваших юзеров и метрик того, как они положительно или не очень имеют адопшен рейт обновленных версий.
— как часто вы косячите и вам приходится делать "стыдные" версии которые в основном только хотфиксы содержат.
— как бизнесу часто нужно закидывать новые фичи на пользователей

в Банках в США часто делается так с мобилками еще: создается в приложении webview, верстка которого меняется в зависимости от фич. То есть таким образом новая фича в ненативном виде появляется в приложении раньше, чтобы собрать стату интереса \ начальный фидбек если будет.

флоу с помесячными релизацми, где мимо проходят хотфиксы и прочие радости выглядит очень убогим.

в чем его убогость? кому от таких релизов плохо? пользователям \ стейкхолдерам \ тебе лично? Приведи пример.
Звучит красиво.
Но асинхронные релизы будут работать при условии, что реализована пирамида тестирования и есть ресурсы на исследовательское тестирование перед релизом на прод. Без этого есть большая вероятность пропуска в прод какого-нибудь тупого бага с большим импактом.
Ну а если с автоматизацией всё плохо, тогда есть смысл копить релизы, чтобы пореже ручную регрессию запускать
источник

D

Dmitry in QA — Автоматизация
Кстати, а про тестирование в продакшене есть чё почитать/посмотреть интересного? В плане как это технически реализуется
источник

AB

Alexei Barantsev 🗹... in QA — Автоматизация
Alexei Vinogradov
@barancev - ты постарше будешь, может помнишь, что завещали старейшены в поиске внутри элемента?
оно работает так, как работает querySelector (ну или querySelectorAll). предлагать поменять поведение и сделать альтернативную реализацию (да ещё и несовместимую с querySelector) — нет смысла. конечно же мы это делать не будем. лучше уж тогда требовать поменять сам querySelector
источник

R(

Roman (rpwheeler) in QA — Автоматизация
Ivan Trechyokas
> это нецелесообразно было бы гонять
для меня это противоречит следующему утверждению " и =финансовый= вес этого бага в проде"

либо вам это важно, либо нет. важно - автомтазируешь, нет - не автоматизируешь =)
Проблема была связана с редким типом юзера у которого было емнип более одного аккаунта в системе. Это с одной стороны не поощрялось, и может даже было запрещено с какого-то времени, а с другой вот такие люди нашлись и они не могут пополнить депозит.

В общей массе их мало, можно сразу сказать что 99.9% пользователей так не делают.

Система большая, наша команда заводила автоматизацию на самом высоком уровне, что-то вроде сэнити. Может где-то его и автоматизировали на другом уровне, но на нашем автоматизировать на прогоны каждый раз редкого юзера как бы не очень хорошо: время прогонов растёт, а вероятность повторного обнаружения именно этого редкого случая невысока.

С другой стороны, в пределах суток потери от не-внесения этими пользователями депозитов могут вылиться в 1000 евро в день -- сумма достаточная для хотфикса.
источник

AV

Alexei Vinogradov in QA — Автоматизация
Alexei Barantsev 🗹
оно работает так, как работает querySelector (ну или querySelectorAll). предлагать поменять поведение и сделать альтернативную реализацию (да ещё и несовместимую с querySelector) — нет смысла. конечно же мы это делать не будем. лучше уж тогда требовать поменять сам querySelector
legacy-driven development
источник

AS

Antony Sunrise in QA — Автоматизация
Roman (rpwheeler)
Проблема была связана с редким типом юзера у которого было емнип более одного аккаунта в системе. Это с одной стороны не поощрялось, и может даже было запрещено с какого-то времени, а с другой вот такие люди нашлись и они не могут пополнить депозит.

В общей массе их мало, можно сразу сказать что 99.9% пользователей так не делают.

Система большая, наша команда заводила автоматизацию на самом высоком уровне, что-то вроде сэнити. Может где-то его и автоматизировали на другом уровне, но на нашем автоматизировать на прогоны каждый раз редкого юзера как бы не очень хорошо: время прогонов растёт, а вероятность повторного обнаружения именно этого редкого случая невысока.

С другой стороны, в пределах суток потери от не-внесения этими пользователями депозитов могут вылиться в 1000 евро в день -- сумма достаточная для хотфикса.
Что такое сэнити
источник

ON

Oleg Nazarov in QA — Автоматизация
Antony Sunrise
Что такое сэнити
источник

AV

Alexei Vinogradov in QA — Автоматизация
Ох, из всех ссылок мира дали ту с неправильным переводом
источник

ON

Oleg Nazarov in QA — Автоматизация
первая ссылка из гугла)
источник

AV

Alexei Vinogradov in QA — Автоматизация
Sanity test - синоним smoke test
источник

AV

Alexei Vinogradov in QA — Автоматизация
Oleg Nazarov
первая ссылка из гугла)
Никогда такого не было, и вот снова.
источник

DS

Dmytro Slobodianiuk in QA — Автоматизация
suggestion: sanity vs smoke CPA4 for saturdays
источник

LY

Lev Yarushin in QA — Автоматизация
Санитаров зовите, для санитарного тестирования )
источник

SM

Sewa Makhinya in QA — Автоматизация
а для дымного - ждём 4:20 ?
источник

IT

Ivan Trechyokas in QA — Автоматизация
источник

VY

Valentin Yuriev in QA — Автоматизация
Холливар??
источник

IT

Ivan Trechyokas in QA — Автоматизация
Dmytro Slobodianiuk
suggestion: sanity vs smoke CPA4 for saturdays
если честно в статье описывают их разницу так: sanity оказывается smoke тестами на стабильном билде... а так же смахивает на feature testing.

1
Smoke testing means: to verify (basic) that the implementations done in a build are working fine.
Sanity testing means: to verify the newly added functionalities, bugs, etc. are working fine.

2
Smoke: This is the first testing on the initial build.
Sanity: Done when the build is relatively stable.

3
Smoke: Done on every build.
Sanity: Done on stable builds post regression.

понятное дело, что смок и расчитан на определение "более менее стабильного билда", следовательно всё остальное выполняется на них.
источник