"ручное" croud тестирование имеет место быть. но это сервис для богатых. пробелма не протестистить, а собрать с каждого такого ручного "похода" нужные метрики (часто с применением сложных APM), правильно их агрегировать (урл+параметры, девайс, сеть, фаза луны и марса) и дать анализ возможных реальных проблем. и это не про нагрузочное тестирование, а про client-side
"походы" - это не обязательно живые люди. это может быть скрипт на пупетире, опять же в условиях конечных юзеров на реальных устройствах. в этом случае убирается проблема связанная с "некачественными" исполнителями.