n
Size: a a a
2018 March 03
AI
ну вот заинтриговал и бросил
AC
Потому что внутри MR-джобы не принято работать с данными как с потоком
AC
А в спарк-джобе данные это поток, на который просто навешиваются, скажем, фильтры
AC
Ну, там недофига читать придется, как это сделано в спарке, можно посмотреть, например, здесь - https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html
AC
А классический хадуп - это просто абстракция над шелл-скриптами запуска параллельных процессов, которые общаются через временные файлы на распределенной ФС
AC
Ну то есть да, это тоже лямбда-архитектура, по сути
AC
Особенно, в свете того, что http://okmij.org/ftp/Computation/monadic-shell.html
AC
Лямбда-архитектура как маркетинговый термин - это serverless, NoOps и все вот это вот - имеется в виду платформа, на которую приложения деплоятся сразу в виде обработчиков событий/потоков данных
AI
Воооот оно что )))
AI
Абстракция чистой распараллеленной трубы?
AC
Да не сказать, чтобы чистой - это эксплуатационная абстракция, а не логическая, поэтому в любом месте возможны любые сайд-эффекты
Зато стартуем за миллисекунды в кластере неизвестно (и неважно) чего - разработчики не думают вообще ни о чем кроме того, что на входах и выходах их лямбд
Зато стартуем за миллисекунды в кластере неизвестно (и неважно) чего - разработчики не думают вообще ни о чем кроме того, что на входах и выходах их лямбд
VŠ
Ставки куда делать? А если некуда, то я принимаю.