Size: a a a

2020 September 07

GP

Grigory Pomadchin in Data Engineers
ну мож это у тебя жоба это (условно) один файл с 500 строк кода
источник

GP

Grigory Pomadchin in Data Engineers
а вторая жоба тоже
источник

GP

Grigory Pomadchin in Data Engineers
хоть они и схожи
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
написание абстракций
У каждого слоя абстракций есть  стоимость дополнительная , Спарк сам по себе не всегда адекватно ведёт , и ты оч часто наживую отлаживаешься, а тут ещё и проблемы в виде tf was
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
У каждого слоя абстракций есть  стоимость дополнительная , Спарк сам по себе не всегда адекватно ведёт , и ты оч часто наживую отлаживаешься, а тут ещё и проблемы в виде tf was
какая цена при том что спарк медленный
источник

K

KrivdaTheTriewe in Data Engineers
На тф можно написать только то , что уже 10 раз переписано , и ты уже точно знаешь , какие тебе абстракции нужны
источник

GP

Grigory Pomadchin in Data Engineers
нет
источник

GP

Grigory Pomadchin in Data Engineers
так опять ж про любой паттерн можно сказать
источник

K

KrivdaTheTriewe in Data Engineers
Ну то есть ты видишь , что у тебя там 10 одинаковых мет с инициализацией сессии, ты их как то уже облагораживаешь
источник

GP

Grigory Pomadchin in Data Engineers
ну не так же проектируются приложения
источник

GP

Grigory Pomadchin in Data Engineers
источник

AE

Alexey Evdokimov in Data Engineers
хм
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
ну не так же проектируются приложения
Ну ты говоришь про приложения которые проектируются , там дизайн обсуждается и так далее , но в 95 процентах случаев - это скрипт , который никак не проектируется и разрабатывается наживую
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
Ну ты говоришь про приложения которые проектируются , там дизайн обсуждается и так далее , но в 95 процентах случаев - это скрипт , который никак не проектируется и разрабатывается наживую
короч этот аргумент к чему угодно можно прменить
источник

GT

Gennady Timofeev in Data Engineers
Тф с КонтекстТ отлично со спарком, и в команде с новичками даже,  заставляет народ думать, как разбивать на подкомпоненты любое приложение
источник

GP

Grigory Pomadchin in Data Engineers
ты предлагаешь глину чтоли месить?
источник

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
короч этот аргумент к чему угодно можно прменить
Вот я бы хотел ,чтобы ребята из амазона юзали tf в библиотеке  deequ
источник

AE

Alexey Evdokimov in Data Engineers
не, не буду влазить в дискуссию со своей колокольней на этот раз.
источник

GP

Grigory Pomadchin in Data Engineers
Замени ТФ на что угодно и все что ты сказал как аргумент используй
источник

K

KrivdaTheTriewe in Data Engineers
Gennady Timofeev
Тф с КонтекстТ отлично со спарком, и в команде с новичками даже,  заставляет народ думать, как разбивать на подкомпоненты любое приложение
Примеры , чтобы это шарить
источник