Hadoop «умирает» просто потому что для бОльшего числа компаний стали доступны инструменты гораздо лучше, это было просто временное решение для тех кому нужно было анализировать много данных, а денег на дорогие он-прем системы нет; если сравнивать bottom line то хадуп очень дорогая, сложная в эксплуатации и неэффективная платформа, сейчас когда достаточно cloud-native аналитических СУБД, и можно запускать пайплайны в чём-то ещё - для Hadoop остались узкие ниши