SZ
Насколько помню да, хайв только путь хранит до папки
могу ошибаться но наверно при создании таблицы нужно локацию указать
Size: a a a
2020 December 22
A
Да, я к тому что внутри метадатасервера инфы по файлам нету
A
Но не уверен для managed таблиц
Т
Привет! Если кто-нибудь кто разбирается во Flink SQL? У меня есть continuous join который смотрит на две dynamic таблицы (кафка топики) и проблема в том, что размер чекпойнтов постоянно растет, я думаю, что это связано с тем, что в каждом чекпойнте хранятся записи, прочитанные за все время, хотя в запросе стоит отсечка по таймстемпу. Можно ли как-то еще указать временную отсечку?
M
Переслано от Mi
Кто-нибудь знает есть ли способ кастомизировать спарковый partition discovery чтобы на лету решать какие патриции должны быть видны а какие нет?
M
Переслано от Mi
Нужно для того чтобы скрыть некоторые патриции которые отвечают за версию данных
ПБ
а зачем flink если есть airflow?
A
а зачем flink если есть airflow?
зачем база данных если есть питон
A
из той же оперы сравнение
T
Ой у меня про партиции тоже есть вопрос, можно ли их как-то из ридера вытащить, на пример заоверавтив пару методов, хочу после записи получить коллекцию партиции которые были созданы
AZ
зачем база данных если есть питон
зачем питон если есть варан?
AZ
Переслано от Mi
Кто-нибудь знает есть ли способ кастомизировать спарковый partition discovery чтобы на лету решать какие патриции должны быть видны а какие нет?
можно попробовать datasourcereader.planinputpartitions посмотреть, но это для вашей реализации datasource, не уверен что можно подключить свою реализацию.. а в базах для такой логики вьюшки обычно используют
DT
/var/run устарел, btw
M
можно попробовать datasourcereader.planinputpartitions посмотреть, но это для вашей реализации datasource, не уверен что можно подключить свою реализацию.. а в базах для такой логики вьюшки обычно используют
Буду искать, спасибо
AZ
/var/run устарел, btw
Иппон
Т
а зачем flink если есть airflow?
нужно низкое latency, на аирфлоу как раз эта джоба уже сделана
TB
всем привет, а как сейчас модно запускать Flink на AWS?
из всего стека нужен только он (будет работать в связке с dolphinscheduler).
по прежнему EMR?
из всего стека нужен только он (будет работать в связке с dolphinscheduler).
по прежнему EMR?
ME
всем привет, а как сейчас модно запускать Flink на AWS?
из всего стека нужен только он (будет работать в связке с dolphinscheduler).
по прежнему EMR?
из всего стека нужен только он (будет работать в связке с dolphinscheduler).
по прежнему EMR?
можно kinesis тогда
TB
ага, почитаю, спасибо