dz
спасибо, гляну
Size: a a a
2021 July 26
AB
у меня похожая тема года полтора назад - вышеописанные манипуляции помогли)
N
Он не падает, он просто тупит. Ресурсов ему не хватает. Причём тут ноут, он и на сервере такое выдаёт, когда много тасков в очереди скопилось.
dz
на сервере работает.
dz
как бы затестить производительность
AB
ноут при том что когда он в режим сна переходит хартбит с сервера не проходит поэтому аф сам себя килит, пишет чет типо принят яд туда сюда🤣🤣🤣
AB
а на серваке тот же код работает и хоть бы что - вот при чем ноут)
2021 July 27
SO
https://h2oai.github.io/db-benchmark/
Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.
This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.
Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.
This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.
AS
я правильно понимаю что всю эту бигдату он гонял на одной машине?
AZ
Да, это бенчмарк на одной машине
AZ
Причём практически десктопный (40 ядер, 128 гб)
D
Киберпунк по идеи можно запустить
AS
ну для Мумбая это наверное норм, но тащить подобное в NY это уже нужно мужество
AZ
Бенч нормальный на самом деле, вопрос только зачем туда всякие Спарки и КХ притащили
D
поч нет?
AZ
Это разные кейсы, обработка локально и на сервере/кластере, я не встречал команд которые ставили бы Спарк на локальную машину чтобы оно быстрее работало
AS
я бы посмотрел как у него кликхаус сделан, что он проиграл
AZ
Полезный тест
D
ну да про спарк согласен
N
невероятно. все же КХ на 128 гигов гоняют