АЖ
Да лучше тут , у меня тут скуп в терадату назрел
Size: a a a
2019 December 09
AZ
Сюткин
Юзает кто tdch?
юзает)
С
Через раз отрабатывает tdch
Сливаю данные из хайва в ТД через connectorExportTool и метод batch.insert, как корректнее всего подсчитать batchsize чтобы кидать на один мэппер корректно и не умирал по памяти?)
Сливаю данные из хайва в ТД через connectorExportTool и метод batch.insert, как корректнее всего подсчитать batchsize чтобы кидать на один мэппер корректно и не умирал по памяти?)
С
Вопрос очевидно тупой
С
И умеет ли он работать с запросом в хадупе для переливки в td? sourcequery не взлетел, походу он только для ТД судя по ману
С
Либо я в глаза долблюсь
AZ
Сюткин
Через раз отрабатывает tdch
Сливаю данные из хайва в ТД через connectorExportTool и метод batch.insert, как корректнее всего подсчитать batchsize чтобы кидать на один мэппер корректно и не умирал по памяти?)
Сливаю данные из хайва в ТД через connectorExportTool и метод batch.insert, как корректнее всего подсчитать batchsize чтобы кидать на один мэппер корректно и не умирал по памяти?)
да, причем не про TDCH, просто подберите размер памяти для маппера и то значение батчсайза которое вам надо, либо не трогайте переменную) ну или internal.fastload
AZ
Сюткин
И умеет ли он работать с запросом в хадупе для переливки в td? sourcequery не взлетел, походу он только для ТД судя по ману
так нельзя, он работает с HDFS, вам надо вместо TDCH тогда попробовать QueryGrid Hive connector
AK
Или сначала в хдфс сложить)
AK
Так точно работает.
AZ
да, так точно работает
С
Или сначала в хдфс сложить)
В хдфс уже лежит
С
Ок, выдам побольше памяти
С
Спасибо
AZ
почему не фастлоад? разница в разы может быть
С
По фастлоаду тоже падает 🤣
С
Сейчас памяти выдам побольше и думаю взлетит
AZ
дайте угадаю, у вас паркет наверное?
С
Орк
AK
Я те могу наш пример скинуть, но там fastload