Size: a a a

2020 August 30

ПФ

Паша Финкельштейн... in Data Engineers
Но вот как раз такую штуку можно собрать на кодогене
источник

K

KrivdaTheTriewe in Data Engineers
Паша Финкельштейн
Но вот как раз такую штуку можно собрать на кодогене
и не иметь поддержку иде
источник

K

KrivdaTheTriewe in Data Engineers
и типов не иметь
источник

ПФ

Паша Финкельштейн... in Data Engineers
KrivdaTheTriewe
и не иметь поддержку иде
Иметь, конечно. См. jOOQ
источник

K

KrivdaTheTriewe in Data Engineers
так то можно и на сях под спарк писать
источник

ПФ

Паша Финкельштейн... in Data Engineers
Только тут источниками будут не таблички, а кейс классы
источник

ПФ

Паша Финкельштейн... in Data Engineers
Там генерируется тонна дженерик кода с соответствующими методами, в том числе умеет генерировать скалу.
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Там генерируется тонна дженерик кода с соответствующими методами, в том числе умеет генерировать скалу.
дженерик код типа как в го
источник

AZ

Anton Zadorozhniy in Data Engineers
ну это как бы в гамаке и стоя, правда можно препроцессоров написать как в сях
источник

ПФ

Паша Финкельштейн... in Data Engineers
Не понял. В го дженериков же нет кроме встроенных в языке - мэп, лист, вотэва
источник

ПФ

Паша Финкельштейн... in Data Engineers
Anton Zadorozhniy
ну это как бы в гамаке и стоя, правда можно препроцессоров написать как в сях
Ну работает очень хорошо, так что я прям не знаю. Если померить на что больше всего времени уходит в jooq - окажется что это в стрингбилдере. Если в запросе мало динамизма то его можно закешировать и больше время в стрингбилдер уходить не будет
источник

AZ

Anton Zadorozhniy in Data Engineers
Паша Финкельштейн
Ну работает очень хорошо, так что я прям не знаю. Если померить на что больше всего времени уходит в jooq - окажется что это в стрингбилдере. Если в запросе мало динамизма то его можно закешировать и больше время в стрингбилдер уходить не будет
ну убедил, все HKT не нужны, и кодогенераторы рулят
источник

ПФ

Паша Финкельштейн... in Data Engineers
Я этого не говорил :)
источник

AZ

Anton Zadorozhniy in Data Engineers
(у меня в конторе к слову, их любят слишком нездоровой любовью, борюсь как могу)
источник

ПФ

Паша Финкельштейн... in Data Engineers
Я говорю что вот конкретно frameless и quill - штуки, которые можно было бы написать без них и, вероятно, работало бы неплохо (а вероятно нет)
источник

ПФ

Паша Финкельштейн... in Data Engineers
ЕМНИП parboiled был на макросах и было хорошо
источник

AZ

Anton Zadorozhniy in Data Engineers
я вообще бывший кложурист, меня не надо убеждать что все эти типы больше мешают)
источник

ПФ

Паша Финкельштейн... in Data Engineers
Anton Zadorozhniy
я вообще бывший кложурист, меня не надо убеждать что все эти типы больше мешают)
Ахах ))
источник
2020 August 31

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
я вообще бывший кложурист, меня не надо убеждать что все эти типы больше мешают)
мутные типы
источник

TM

Toemik Mnemonic in Data Engineers
Всем привет. Есть задача отправлять в СУБД данные из pd.DataFrame(), но не бакетом, а построчно (для логирования и для того что бы при ошибке импортировались корректные строки). Как я понимаю циклом пройтись по датафрейму не самая лучшая идея в плане производительности. Куда посоветуете смотреть?
источник