Size: a a a

Тестирование пандорова ящика

2020 November 24
Тестирование пандорова ящика
​​дружественный чат проводит опрос о зарплатах QA.

пока, по ощущениям, выходит полезнее всех смешанных опросов. всё анонимно, результаты опубликую, предлагаю всем вложиться в прозрачность зарплатных вилок.

заполнить опрос (и поделиться им с коллегой) можно по ссылке https://forms.gle/DTcCMie5RMZQbRJCA
источник
2020 November 25
Тестирование пандорова ящика
иногда в отношениях на работе всё так сложно и запутанно, что хочется найти кнопку "Сделать хорошо". а что если я скажу, что она уже есть?

играет музыка из Черного плащаиграет музыка из Черного плаща только свистни, он появится! канал "Кнопка хорошо" про софт скиллы, менеджмент и процессы в разработке. понятно, наглядно и с примерами о важном:

- хак для достижения целей спринта нон-стоп и почему у вас в прошлый раз не получилось
- стоп-слова для менеджера: копаем глубже там, где есть сомнения
- как принимать резкий фидбек в свою сторону, если его не просили
- заказчик любит налетать из ниоткуда? сделаем-ка жизнь команды легче
- сел работать и сгорел - это шутка не про вас. инструкция, как избегать выгорания

а ещё, автору можно написать и попросить разобрать ваш кейс, если есть проблема в области управления проектами. мне уже захотелось прокачаться, пока писала этот текст, а вам?

гоу подписываться на канал 😃
источник
2020 November 26
Тестирование пандорова ящика
#тестовая_документация

Часть 2. Pre-alpha/Alpha

продукт всё ещё меняется часто и быстро, а иногда большими частями сразу. хоба -- и перепилили весь интерфейс. хоп -- и поменяли порядок уровней. а бывает, что изменений не так много, но на важных элементах много "заглушек", т.к. они ещё не закончены. будем надеяться, что ядро функциональности остается стабильным, поэтому можно начинать писать тест-кейсы.


что делаем по части качества?

здесь уже целиком и полностью зависит от предыдущего пути, от вашего планирования, рисков и целей команды.

в общем случае, если вы уже планируете автоматизацию, то смоук и регресс рекомендую сначала описать чеклистом, а потом сразу детализировать тест-кейсами.

можно использовать майндмапы, как удобнее, но кейсы на самые критичные для бизнеса вещи обязательно нужны. например, это будет монетизация и ваш critical path пользователя - тот путь, который он обязательно проделает, пользуясь приложением.

если это игра, важно ещё очень детально проверить FTUE (first time user experience) - то, что игроки увидят только входя в игру первый раз. эта часть фич повлияет на то, останутся ли они и вернутся ли, поэтому уделяем особое внимание.

самый простой формат: берете требование, накидываете на него чеклист, а потом детализируете каждый пункт по необходимости.

все активности, что перечислены в части 1, остаются, меняется только фокус и тип документации.

если у вас опытные и сильные QA, для не автоматизируемых функциональностей можно оставить чеклисты в качестве основного документа, ну и Ad hoc всегда не грех 😃

если регулярно появляются джуны или новички, тест-кейсы - ваш бро для всего.

главное - не хранить в тестах данные для них же. логины, числа, имена и т.д. во-первых, их нужно регулярно менять, иначе образуется серая зона данных, которую вы совсем не используете, а значит повышается вероятность багов. а во-вторых, тестирование с каждым повтором становится более бездумным, что тоже риск.

хранить данные отдельно - не криминал, но ещё лучше оставить примеры, а генерировать сами данные уже во время прогона тестов. для ручного тестирования - генераторами или в уме, для автоматизации - рандомом и параметризацией.

если у вас продукт, использующий интернет-соединение, здесь уже можно осторожно начинать применять некоторые виды нагрузочного тестирования.

и конечно, плейтесты и a/b тесты для проверки гипотез. их обычно заказывают со стороны геймдизайна или управления продуктом, но вы можете быть и инициатором, а помогать в организации или контроле QA и так привлекают часто.
источник
2020 November 29
Тестирование пандорова ящика
отдых отдыхом, а мемы - по расписанию!
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
Тестирование пандорова ящика
источник
2020 December 01
Тестирование пандорова ящика
​​третья статья серии #тестовая_документация

Часть 1
Часть 2

Часть 3. Beta

это майлстоун, на котором в вашей игре все меньше заглушек, а основной сюжет (если он есть), кор геймплей и мета - уже играбельны.

вы все ещё натыкаетесь на внезапные critical баги там и сям, а при хорошем раскладе - у вас редко бывает что-то, кроме major-ов и крешей из-за сложностей с совместимостью некоторых железок и из-за старых драйверов.

жизнь хороша, вы дошли сюда, поэтому у игры есть неплохие шансы дойти и до релиза, если плейтесты показывают что-то приятное.

что делают тестировщики?

уже по полной помогают на плейтестах, даже с привлеченными игроками из ЦА. с оборудованием, организацией, составлением анкет и обработкой фидбека. участвуют во встречах по результатам этого фидбека, вносят предложения по улучшению и исправлению проблем.

где-то здесь (а лучше - уже в преальфе) как минимум Lead QA присутствует на продуктовых встречах и планированиях спринта

тестовая документация будет уместна вся, но для разных целей.

тест-кейсы - для самых важных свойств вашего приложения или игры, где детали очень критичны. или если у вас в команде есть джуны и нет возможности подучить их в песочнице

чеклисты - для быстрых проверок, ad hoc, сырых частей продукта. и для команды, которая очень хорошо знает и погружена во все изменения

майндмапы - если любите визуальные, быстро считываемые схемы. альтернатива чеклистам и формат для визуалов

любые другие форматы, которые вам известны, но опять же, в детализации свобода будет зависеть от скиллов, сложности конкретной фичи и ее важности

или например, количества заглушек. фича перестала часто меняться? можно делать для нее более детальную документацию

нужны сценарии для новых видов тестов - тоже детализуем то, что уже есть.

как вы, наверное, уже знаете, подстава с тест-кейсами такая, что их сложно поддерживать, а так или иначе это придётся регулярно делать. поэтому нагрузка на вашу команду растет с их количеством, и имеет смысл закладывать всё больше времени в ваши прогоны тестов. потому что кроме прогона, нужно будет каждый раз тут и там обновлять документы.

старый документ - не очень полезный документ, а иногда и вредный.

лично я большая любительница чеклистов. я уже упоминала статью Насти Шариковой о том, чем они хороши, но лишний раз не помешает. а ещё у нее отличный канал на тему QA, если вам хочется чего-то нового и более универсального, чем мои материалы 🙃

этап беты характерен тем, что ваша ЦА уже обрисована, и меняться до релиза будет не сильно. а значит вы наверняка знаете, под какое железо ваши продюсеры и compliance договорились релизиться. вводим перформанс тесты!

ваша задача, скорее всего, сведётся к тому, чтобы составить сценарии и анализировать результаты самих тестов. берем наш critical path и начинаем с него ❤️ а вообще, самый здоровый подход - написать ботов, которые будут пробегаться по основным рискам: сюжетка, слабые места, места недавних изменений.

нагрузке и стресс-тестированию - да, а если это онлайн-игра, у вас начинаются первые движухи на тестовом сервере. хорошо, если кто-то собирает обратную связь игроков, главную банду тестировщиков из них же, а ещё - есть аналитика. но это, конечно, истории уже не про документацию.

ещё, к слову, в небольших командах QA часто пишут и собирают Release notes, что вполне здоровая практика для проверки общего состояния версии и билда.

это уже три части цикла, расскажите, как он вам? все ли понятно?
источник
2020 December 06
Тестирование пандорова ящика
тем временем, Павел Дуров написал новый мотивационный пост, который хочется прокомментировать. если коротко, он о том, что всем нам нужно меньше потреблять, а больше создавать, потому что наши тела не приспособлены ни для такого количества информации, ни для такого изобилия еды, одежды, досуга и разных других благ, что доступно в современном мире.

о том, что на самом деле, чтобы чувствовать себя лучше и лучше справляться со стрессом, нужно больше гулять и дышать свежим воздухом, а не пить антидепрессанты, которые "вам продадут".

о том, что он рано разбогател и понял, что ему не приносит счастья бесконечно покупать продукцию дорогих брендов и недвижимость, а вложить свои деньги в бесплатный продукт - Telegram - было лучшим решением.

что капитализм - машина, которая направлена на увеличение прибыли и продаж, а не на улучшение жизни человечества.

во-первых, очень хорошо, что Telegram не выходил на IPO, потому что такие посты поджигают инвесторов и роняют биржи не хуже, чем знаменитые твиты Илона Маска.

в 2020 году, когда число самоубийств в Японии за октябрь превысило количество смертей от Covid-19 за всю эпидемию, а курс по борьбе со стрессом Йельского университета стал самым популярным его курсом в принципе. когда в целом любое обучение борьбе с тревогой стало популярнее в несколько раз. когда многие лишились работы, а после наоборот стали работать столько, что до сих пор сложно притормозить...

в этих условиях - и нужно больше создавать?

в этих условиях - людям "продают" антидепрессанты?

прочтя это, я была настолько в шоке, что сформулировала этот пост далеко не сразу. определенно, миллиардерам не помешало бы немного больше осознанности и контакта с реальным миром, прежде чем выпускать в него наставления.
источник
2020 December 07
Тестирование пандорова ящика
давайте о хорошем. знаю, многие ждали новую рубрику, а остальные - поддержите, если вам нравится. рекомендую фильмы и сериалы, на этот раз на новогоднюю/рождественскую тематику

Dash & Lily - рождественская сказка с романтической линией и щепоткой грусти за шиворот. о том, что грустный праздник - все еще праздник. и даже если кажется, что волшебства в этом году не завезли, его можно создать. из ткани, палок и разбитых снеговиков в соседнем парке. из блокнота, ручки и куска пиццы. из любимых точек родного города в 6 часов утра. и даже если он выглядит чужим и пустым, сейчас лучшее время, чтобы найти "своих".

Over Christmas - второй сериал для вас, если ищете что-нибудь не слишком каноничное, с оттенком грусти на яркой рождественской скатерти. Бастиан работает в колл-центре, а хотел бы собирать стадионы. уже год, как он расстался с бывшей девушкой, и до сих пор считает это своим упущением. надвигается праздник, а значит, семейное застолье и наконец-то можно будет забыть обо всем этом хотя бы на несколько дней. как бы не так.

The Holiday - Джек Блек, Джуд Лоу  Кейт Уинслет и Кэмерон Диас в одном фильме! с таким кастом сложно завалиться, даже если планируешь простую романтическую историю о побеге от проблем. и желательно, куда-нибудь подальше, за пол планеты. красивая история, красивые дома, камины и бег по зимнему лесу с чемоданами. все, что нужно, чтобы почистить голову после сумасшедшего конца года.

A Christmas Prince -  традиционный рождественский фильм. даже серия фильмов - в ней несколько частей, одна другой сказочнее. сложно что-то добавить, кроме того, что это идеальный микс всего, что принято любить в этом сезоне - чудеса, игрушки, ёлки и мезальянсы, которые свершились на небесах.

Klaus - прошлогодний релиз Netflix, осыпанный наградами и восторженными ревью. качественный, красивый и ужасно трогательный мультфильм про Рождество. добрее только курьеры с чипсиками глубокой ночью, а трогательнее - куриная жопка вашего джек рассела. нет джек рассела? хорошо, этот мультфильм даже лучше.
источник
2020 December 08
Тестирование пандорова ящика
​​готовлю вам продолжение темы тестовой документации, на этот раз на Early Access и Release Candidate.

тем временем, вы помните, что у меня есть ещё один блог - исключительно про разработку игр? ✨

так вот, у него будет версия на Instagram со всем, что вы любите - статьями, ссылками, мемами и шутками, с текстами на русском и переводом на английский. кто хотел подучить язык?

при этом, будет больше интерактива и привычных для платформы форматов, вроде сторис 🧑‍🎨

присоединяйтесь, начинаем путешествие сегодня!

http://instagram.com/merevarine
источник
2020 December 14
Тестирование пандорова ящика
Cyberpunk 2077, первые впечатления.

ух, составить цельное мнение об этой игре, не поиграв хотя бы 20 часов было очень сложно. Не в последнюю очередь потому, что она страшно затягивает 😃

что же, спустя некое количество сюжетных смертей, предательств, погонь со стрельбой, поворотво и встреч можно смело признать: как игра Cyberpunk 2077 хороша. оправдала ли она все те ожидания, что на нее возлагали? нет. заслуживает ли она того количества негатива, что валится на нее в интернете? и снова нет.

да, ожидания не оправданы до конца. но была ли в принципе до этого игра, для которой ставки были так высоки? нет и ещё раз нет.

как игрок, в первый день я немного расстроилась, что на моей PS4 Slim текстуры низкого качества, блер, зерно и много других мелких недостатков. но как разработчик, я сказала себе следующее: ты знаешь, какое невероятное давление - сделать такую игру? ты на своей шкуре представляешь, как это: выпустить релиз, который ждут, а как быть с релизом, который миллионы людей ждут годы? который шел сразу после игры года и одной из лучших RPG всех времён. который создавался в новом сеттинге. два Ведьмака понадобилось, чтобы сделать третью часть такой, какой она получилась. это те же люди, та же студия, но совсем другая история.

да, "большим" разработчикам и издателям нужно стараться балансировать скоуп, качество и обещания. но вот чему важнее всего учиться нам всем: эмпатии. игры продолжают выходить все более технологичными, реалистичными и красивыми. а обратная связь все та же - все так же нетерпима к ошибкам. даже любимцами игроков быть уже недостаточно.

Cyberpunk 2077 отличный. яркий, атмосферный, с великолепным окружением и всеми возможными отсылками, что могут прийти в голову. отдельные идеи вроде braindance - и вовсе заслуживают отдельного абзаца, настолько они добавляют перца сюжетным квестам и детективным расследованиям персонажей. по UX есть ряд вещей, над которыми еще стоило бы поработать: сканер, вид из машины, обилие красного, размеры шрифтов. но все это небольшие проблемы. будем играть и переигрывать, и не раз.

P.S. сегодня CD Projekt выпустили официальное сообщение с адресом для рефандов https://twitter.com/CyberpunkGame/status/1338390123373801472?s=19
источник
Тестирование пандорова ящика
источник
2020 December 18
Тестирование пандорова ящика
вчера поздно вечером Sony Interactive Entertainment выпустила обращение к покупателям Cyberpunk 2077. всем, кто хочет получить рефанд за покупку электронной версии в Playstation store, будут возвращены деньги.

за этим а тексте последовала еще одна, более шокирующая новость - игру убирают из стора "до уведомления".

CD Projekt ответила, что игроки будут продолжать получать обновления и патчи, и они постараются вернуть игру в стор как можно быстрее.

учитывая, что ближайший патч с исправлениями был обещан "в течение недели" в сообщении от 13 декабря, до появления игры в онлайн-магазине осталось около двух дней.

дела.

похоже, что руководство CD Projekt поспешило с решением, отправив игроков за рефандами в онлайн-магазины и к ритейлерам. со времени релиза акции CDPR уже упали на 50%

пока, как пишут в разных источниках, по указанному самой компанией email-у отвечает робот: те, кто обращался к разработчикам, все еще ждут возвратов

Microsoft никак не прокомментировала ситуацию вслед за Sony, так что там, вероятно, все будет работать в обычном порядке

P.S.: те, кто уже подустал от историй с польской игрой, крепитесь - она так или иначе повлияет на всех, кто вовлечен в индустрию, поэтому освещать и обсуждать ее очень важно. в январе-феврале все успокоятся 😌

P.P.S. обновили инфу про возвраты: за физические копии CD Projekt заплатят всем, кто успел обратиться до 21 декабря, из собственного кармана
источник