Потому, что когда надо перелопатить большой объем данных Elastic становится нехорошо + всякий изврат типа ML можно сделать готовыми библиотеками.
У меня elk в кластере и все переваривает, я так понимаю что если в производительностью все ок то можно его и не юзать. Про ML тож не понял, там spark как готовый транспорт из-за этого? Дисклеймер: просто хочеться чуть себе упростить задача перед тем строить эту часть систему