GP
подскажите, у .par коллекций можно задать таймаут на выполнение кода в параллельном потоке?
Нет
Size: a a a
2020 September 05
GP
хочешь эффекты - оборачивай в них а не пар используй (пытаюсь угадать что те надо, по-моему ты уже спрашивал что-то про пар а может не ты и я путаю)
А
хочешь эффекты - оборачивай в них а не пар используй (пытаюсь угадать что те надо, по-моему ты уже спрашивал что-то про пар а может не ты и я путаю)
В массиве список бд, к которым обращаюсь пачками в параллель и некоторые бд бывает зависают на отдаче
А
Спасибо, получается лучше future
GP
пар не пойдёт тут вообще
А
пар не пойдёт тут вообще
Зачем пар сделали такими удобными, если ими не стоит пользоваться ( 1 фраза, вместо нескольких строк)
K
его поэтому и вынесли в отдельную либу сейчас
GP
Зачем пар сделали такими удобными, если ими не стоит пользоваться ( 1 фраза, вместо нескольких строк)
на самом деле я давно ими не пользовался; они не очень удобные то в раельности, ничего не умеют
2020 September 06
АБ
Привет. Как можно в hive на основе avro-схемы создать таблицу с форматом хранения Parquet, а не avro без лишних костылей типа создания таблицы при помощи like?
K
Привет. Как можно в hive на основе avro-схемы создать таблицу с форматом хранения Parquet, а не avro без лишних костылей типа создания таблицы при помощи like?
Create from select
АБ
А одной командой никак?
АБ
Придется же сначала таблицу создать с форматом avro, потом на её основе создать таблицу и старую удалить
K
Придется же сначала таблицу создать с форматом avro, потом на её основе создать таблицу и старую удалить
АБ
Звучит костыльно
АБ
Ладно, это в текущих реалиях одним скриптом отдал и забыл, даже зашаблонить можно. Спасибо
2020 September 07
SS
коллеги! внезапно никто не настраивал глобальный индекс в HBase для Apache Hudi? как решали проблему зависимостей?
RY
Подскажите как работать с excel файлами больших размеров(50-100мб). Пробовал считать по частям с pd.read_excel(skip_rows=, nrows=).1я проблема) Долго загружает данные в ДФ.2я. после модификаций этих данных нужно записать их обратно в данный файл с сохранением изначального форматирования файла. вносил изменения через openpyxl. Но сохранить не получается - размер большой говорит
С
Подскажите как работать с excel файлами больших размеров(50-100мб). Пробовал считать по частям с pd.read_excel(skip_rows=, nrows=).1я проблема) Долго загружает данные в ДФ.2я. после модификаций этих данных нужно записать их обратно в данный файл с сохранением изначального форматирования файла. вносил изменения через openpyxl. Но сохранить не получается - размер большой говорит
Больших данных... я загружаю каждый день эксельки по 100-120гб
С
RY
Сюткин
Больших данных... я загружаю каждый день эксельки по 100-120гб
тогда подскажи как?)