АЖ
смысле, он такой же сишный как и классический xgboost
хм, а хотя там тоже могут быть приколы
но мы тестили именно xgboost python vs pyspark
но мы тестили именно xgboost python vs pyspark
Size: a a a
2020 July 27
АЖ
Жмака
То есть реализация pandas udf не изменит результат модели?
нет, pandas udf это по сути исполняемый питонячий код на воркере
Ж
нет, pandas udf это по сути исполняемый питонячий код на воркере
Ясно. Спасибо!
АЖ
ну и он имеет смысл, если ты можешь нарезать данные на партиции и каждую партицию независимо обработать для ML
а если там надо все данные в один датафрейм собрать, то у тебя пандас юдф только лишние ресурсы пожрет
а если там надо все данные в один датафрейм собрать, то у тебя пандас юдф только лишние ресурсы пожрет
Ж
Данные собираются в 2 датафрейма по количеству моделей
Ж
Пока размеры не превышали одного гигабайта после всех аггрегаций и манипуляций но сет будет расти в периоды праздников в 10 раз
АЖ
гигабайт в паркете - 10+ гигов в памяти у пандаса
АЖ
хотя это в старом эрроу и пандасе было, вдруг чо наоптимизировали
Ж
То есть в таком случае есть вероятность что pandas udf приведёт к медленно бегущему джобу?
АЖ
ну нет там черной магии :) как работало в питоне, так и будет работать в пандас юдф
АЖ
если только там не было херни типа
for p in partitions:
p_df = df[df['partition'] == p]
do_ml(p_df)
Ж
Такой нет)
AS
нет, pandas udf это по сути исполняемый питонячий код на воркере
так же как и обычная udf, но обещают экономию на пересылке в памяти (без этих многочисленных pickle), но я не увидел разницы (по крайней мере в спарк 2.5 может в 3.0 что-то подкрутили).
АЖ
так же как и обычная udf, но обещают экономию на пересылке в памяти (без этих многочисленных pickle), но я не увидел разницы (по крайней мере в спарк 2.5 может в 3.0 что-то подкрутили).
даже в тестах Димы на МоскоуСпарк была видна разница, но там был дикий жор ресурсов питонами
AS
даже в тестах Димы на МоскоуСпарк была видна разница, но там был дикий жор ресурсов питонами
там был именно сервинг модели?
D
День добрый.
А работает кто с хадупоп через информатику?
А работает кто с хадупоп через информатику?
E
информатику ??
D
Bdm, да :)
Д
Да, через bdm.
ME
А кто-то хадуп дисрибьютив от сберклауда пробовал?)