Size: a a a

2019 November 19

DM

Daniel Matveev in Data Engineers
примерно год назад слышал обвинения
источник

A

Alex in Data Engineers
ну смотря что ты делаешь
ну и был нюанс с тригерами, что окно не закрывается если нету прогресса в стриме
источник

IP

Ilya Pribytkov in Data Engineers
Daniel Matveev
небось типы не сходятся, col возращает какую то не типизированную хрень, а сравнение с числом

надо смотреть как получить нужный тип значения
не в типах дело, там какието имплиситы нужны,
источник

AZ

Anton Zadorozhniy in Data Engineers
Daniel Matveev
с вотермарками во флинке говорили не так все гладко, может продалбывать данные
детали?
источник

DM

Daniel Matveev in Data Engineers
Ilya Pribytkov
не в типах дело, там какието имплиситы нужны,
в типах дело, это разные штуки и ты не можешь их сравнить

нужно преобразовать одно в другое
источник

DM

Daniel Matveev in Data Engineers
Anton Zadorozhniy
детали?
если память не подводит то говорил об этом @mabrek из одс
источник

DM

Daniel Matveev in Data Engineers
речь была именно про баги, а не нюансы использования
источник

IP

Ilya Pribytkov in Data Engineers
Daniel Matveev
в типах дело, это разные штуки и ты не можешь их сравнить

нужно преобразовать одно в другое
источник

IP

Ilya Pribytkov in Data Engineers
Daniel Matveev
в типах дело, это разные штуки и ты не можешь их сравнить

нужно преобразовать одно в другое
разные типы подставляю, все варианты перебрал
источник

DM

Daniel Matveev in Data Engineers
спасибо за скрин, но здесь нет ошибки, можно только по волне догадываться
источник

A

Alex in Data Engineers
Daniel Matveev
речь была именно про баги, а не нюансы использования
хз, пока на окна на конференциях никто сильно не жаловался
у тех же нетфликсов терабайтные стейты

интересно было бы подробней узнать
источник

DM

Daniel Matveev in Data Engineers
Ilya Pribytkov
разные типы подставляю, все варианты перебрал
так может посмотреть тип у результата col?
источник

AZ

Anton Zadorozhniy in Data Engineers
Daniel Matveev
речь была именно про баги, а не нюансы использования
просто это довольно популярный фреймворк, и вотермарки используются кругом, это должен быть какой-то известный баг
источник

AZ

Anton Zadorozhniy in Data Engineers
мб это про allowedLateness? там вроде были терки про то как оно апдейтит результат на поздних данных
источник

DM

Daniel Matveev in Data Engineers
Anton Zadorozhniy
мб это про allowedLateness? там вроде были терки про то как оно апдейтит результат на поздних данных
может, я на тот момент уже не следил особо, по инерции больше подслушивал
источник

DM

Daniel Matveev in Data Engineers
да и за это время пофиксить все могли, я потому и текущим статусом о проблемах поинтересовался
источник

DM

Daniel Matveev in Data Engineers
https://issues.apache.org/jira/browse/FLINK-13429?jql=project %3D FLINK AND issuetype %3D Bug AND priority in (Blocker%2C Critical) AND resolution in (Unresolved%2C Fixed) AND text ~ watermark ORDER BY affectedVersion DESC%2C priority DESC%2C updated DESC

там хватает багов за все время
сейчас 3 открытых
источник

DM

Daniel Matveev in Data Engineers
ну и ошибки они не обязаны быть глобальными с аффектом всего, это может быть в отдельных операторах
источник

AZ

Anton Zadorozhniy in Data Engineers
а, ну это у всех бывает, we welcome your PRs так сказать, чегож марать сразу весь фреймворк
источник

EV

Eduard Vlasov in Data Engineers
А поясните плиз нубу про проблему скейлинга в кафка стримс и чем flink/spark приятнее в этом вопросе
источник