VS
но все равно
Size: a a a
2021 September 16
AZ
Даже без уточнения деталей - голанг (только если вы не пишете и не поддерживаете тонну раст кода)
AZ
Раст не простой язык
AZ
А голанг как раз дизайнился чтобы любой питонист или даже дата инженер мог выдавать не ужасный код довольно быстро
KS
Unmarshalling слегка выносит мозг.
AZ
Так вы собираетесь брать данные в память и что-то там делать? Опишите пример процесса
GB
всем привет! Кто-нибудь знает как в DBEaver выставлять параметр памяти для Impala запросов?
KS
Ну скажем data enrichment, поступает батч данных 10 МБ, его надо соединить с другим примерно таким же и отправить дальше потребителям.
AE
голанг, как бы помягче сказать, слегка дебильноват по дизайну
AZ
Почему не в базе?
AE
простота хороша, пока она не в ущерб выразительности
KS
Так тоже можно, но народ хочет писать код с минимальными запросами к бд
AZ
почему?
AZ
то есть вы считаете что вы для проекта напишете алгоритмы быстрее и лучше чем люди у которых буквально такая работа?
AZ
единственное исключение - если у вас очень нестандартные алгоритмы
KS
Если часто меняются схемы, то у наших соседей, которые решили писать свои пайплайны на golang, начинаются головные боли, поэтому на любые наши инновации они реагируют очень болезненно.
AZ
вы наверное протобафом обмениваетесь, договоритесь про схему?
AZ
шаблону tolerant reader наверное столько же лет сколько мне, вам про него не рассказывали?
KS
Это не от нас зависит, к нам поступают данные, где могут слегка поменять схему. У нас на pyspark всё довольно таки гибко и быстро, у соседей на golang паника.
AZ
ну, это называется business opportunity для определенных людей)