Видимо ваше консольное приложение запускается в режиме debug и в ответ os process Sampler присылает 100 Мбайт логов
У меня была такая идея, приложение логгирует запросы, которые я отправляю - визуально, если запускаю приложение в cmd и начинаю тест - в консоли бегут логи. Для проверки я убрал запуск приложения из jmeter теста вообще, оставил только отправку запросов, а приложение запустил вручную из cmd. В итоге приложение работает стабильно, а вот jmeter всего лишь одним повторяющимся запросом начинает память подъедать примерно через 70 минут от начала запуска.