В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1940 membersпожаловаться на группу
2020 September 07

AS

Andrey Smirnov in Data Engineers
Ruslan515 Y
как считать csv по частям(там дф) в цикле пройдя все строки? скажем у нас 100к строк будем в цикле считывать сначало 10к, обрабатываем. потом следующие 10к... соль в том что нужно заранее знать кол-о строк. но как ее узнать не считывая весь файл?
А как это поможет, считывайте по одной, считайте то что надо на потоке(если это возможно)
источник
14:18пожаловаться#1

R

Renarde in Data Engineers
Ruslan515 Y
как считать csv по частям(там дф) в цикле пройдя все строки? скажем у нас 100к строк будем в цикле считывать сначало 10к, обрабатываем. потом следующие 10к... соль в том что нужно заранее знать кол-о строк. но как ее узнать не считывая весь файл?
зачем нужно конечное количество строк? можно просто читать чанками в pandas:

https://stackoverflow.com/questions/25962114/how-do-i-read-a-large-csv-file-with-pandas
Stack Overflow
How do I read a large csv file with pandas?
I am trying to read a large csv file (aprox. 6 GB) in pandas and i am getting a memory error:

MemoryError                               Traceback (most recent call last)
<ipython-input-58-
источник
14:19пожаловаться#2

SS

Sergey Sheremeta in Data Engineers
Sergey Sheremeta
коллеги! внезапно никто не настраивал глобальный индекс в HBase для Apache Hudi? как решали проблему зависимостей?
sticker.webp
(31.35 Кб)
источник
15:11пожаловаться#3

AA

Ali Abdullaev in Data Engineers
Привет всем!
Нужна помощь c Firebase.
Хотим настроить streaming export событий пользователей из firebase в self-hosted kafka. Хотим сделать это для сотен событий, которые есть в firebase. Как мы можем это сделать? Насколько я знаю cloud functions можно навешивать только на conversion  events, а их может быть максимум 15 штук
источник
17:29пожаловаться#4

S

Stanislav in Data Engineers
тоже послушаю
источник
17:33пожаловаться#5

Ж

Жмака in Data Engineers
Привет! Есть трейт Sparksessionsetup, в нем инициализируется sparkSession но без appName. Этот  appName приходит аргументом из спарк-сабмита - один из аргументов джара. Как это имя можно добавить в трейте к сессии через .appName(argValue)?
источник
18:22пожаловаться#6

DZ

Dmitry Zuev in Data Engineers
сам прилипнет
источник
18:25пожаловаться#7

Ж

Жмака in Data Engineers
Dmitry Zuev
сам прилипнет
Не. Прилипает имя обжекта с мэйн функцией
источник
18:27пожаловаться#8

DZ

Dmitry Zuev in Data Engineers
spark-submit --name "My app"  так ?
источник
18:27пожаловаться#9

DZ

Dmitry Zuev in Data Engineers
Жмака
Привет! Есть трейт Sparksessionsetup, в нем инициализируется sparkSession но без appName. Этот  appName приходит аргументом из спарк-сабмита - один из аргументов джара. Как это имя можно добавить в трейте к сессии через .appName(argValue)?
https://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties
источник
18:31пожаловаться#10

ИК

Иван Калининский... in Data Engineers
Жмака
Привет! Есть трейт Sparksessionsetup, в нем инициализируется sparkSession но без appName. Этот  appName приходит аргументом из спарк-сабмита - один из аргументов джара. Как это имя можно добавить в трейте к сессии через .appName(argValue)?
догадываюсь, что передаете так: spark-submit —deploy-mode=cluster file.jar name=app_name
Так не будет работать, аргумент .appName(value) у меня всегда игнорировался, работает только когда mode=client или как Дмитрий только что написал, --name app_name как параметр spark-submit
источник
18:31пожаловаться#11

Ж

Жмака in Data Engineers
Иван Калининский
догадываюсь, что передаете так: spark-submit —deploy-mode=cluster file.jar name=app_name
Так не будет работать, аргумент .appName(value) у меня всегда игнорировался, работает только когда mode=client или как Дмитрий только что написал, --name app_name как параметр spark-submit
Нет. У меня кастомные аргументы для моделей и имя модели нужнл сделать именем аппликации.
источник
18:32пожаловаться#12

Ж

Жмака in Data Engineers
А через имплиситы как то можно засунуть?
источник
18:33пожаловаться#13

DZ

Dmitry Zuev in Data Engineers
чем мешает их передавать?
источник
18:33пожаловаться#14

DZ

Dmitry Zuev in Data Engineers
Жмака
А через имплиситы как то можно засунуть?
все можно, вопрос зачем
источник
18:33пожаловаться#15

ИК

Иван Калининский... in Data Engineers
так аргумент уже в строке, достаточно переместить его, или еще раз в этой же строке передать в другом месте))
источник
18:33пожаловаться#16

Ж

Жмака in Data Engineers
Аргумент же парсится в мэйне.
источник
18:34пожаловаться#17

DZ

Dmitry Zuev in Data Engineers
spark-submit --name "My app"  так он улетит в спакр сессию сам
источник
18:35пожаловаться#18

Ж

Жмака in Data Engineers
Dmitry Zuev
все можно, вопрос зачем
Могут закинуть в аргумент джара а в аппнейм забыть просто. Хочу этого избежать
источник
18:35пожаловаться#19

ИК

Иван Калининский... in Data Engineers
Жмака
Могут закинуть в аргумент джара а в аппнейм забыть просто. Хочу этого избежать
нет, оно работает так, как работает. Не надо забывать
источник
18:35пожаловаться#20