AE
ну логично. если нормальную субд заменять на игрушечную, результат будет грустный
Size: a a a
2020 July 27
СХ
и у мтс таже история, как они заменили 20 ядер оракла на 10 серверов с п и написали 40 сервисов, а ещё 20 ядер оралкла осталось
AE
правда
ещё бы не правда. был у меня оракле дба с дипломами в конторе. и смотрел я, как он запросы переписывает, так это какая-то злоебучая unholy magic. чё я писал на наивном sql, и чё в итоге у него было на диалекте. в тыщи раз быстрее запросы работали на терабайтовой базе
VS
и у мтс таже история, как они заменили 20 ядер оракла на 10 серверов с п и написали 40 сервисов, а ещё 20 ядер оралкла осталось
чего на сколько и сколько осталось?
АЖ
ещё бы не правда. был у меня оракле дба с дипломами в конторе. и смотрел я, как он запросы переписывает, так это какая-то злоебучая unholy magic. чё я писал на наивном sql, и чё в итоге у него было на диалекте. в тыщи раз быстрее запросы работали на терабайтовой базе
ну это классика
СХ
чего на сколько и сколько осталось?
ну про объёмы они там не писали, но они на половин сервис с орала перевели на пг, но для этого пришлось поставить 10 серверов с пг, и ещё написать 40 сервисов
Ж
Всем привет. Нужно переписать спарк с питона 2 на скалу и засунуть в эйрфлоу для запуска на aws emr, но часть кода это ML модели с pandas, xgboost и другой сатанинской атрибутикой. Как бы вы создали пайплайн? Запустить сатанинство на отдельном ec2, потому что там single-node pandas? Другие идеи?
ME
у амазона есть сервис ноутбуков, мб там можно?
R
Жмака
Всем привет. Нужно переписать спарк с питона 2 на скалу и засунуть в эйрфлоу для запуска на aws emr, но часть кода это ML модели с pandas, xgboost и другой сатанинской атрибутикой. Как бы вы создали пайплайн? Запустить сатанинство на отдельном ec2, потому что там single-node pandas? Другие идеи?
# sales-mode: on
взять Databricks вместо EMR, переехать на Koalas + PyArrow для моделей
# sales-mode: off
взять Databricks вместо EMR, переехать на Koalas + PyArrow для моделей
# sales-mode: off
Ж
# sales-mode: on
взять Databricks вместо EMR, переехать на Koalas + PyArrow для моделей
# sales-mode: off
взять Databricks вместо EMR, переехать на Koalas + PyArrow для моделей
# sales-mode: off
Коалас не хотят (главный архитектор не хочет). Может есть еще вариант?
АЖ
# sales-mode: on
взять Databricks вместо EMR, переехать на Koalas + PyArrow для моделей
# sales-mode: off
взять Databricks вместо EMR, переехать на Koalas + PyArrow для моделей
# sales-mode: off
А koalas не занимается в датабриксе той же порнографиец, что и в опенсорсе?
Ж
у амазона есть сервис ноутбуков, мб там можно?
Не хотят платить за доп сервис кроме уже используемых
АЖ
Там же никакой магии нет, все равно все на драйвер свалится
Ж
Просто все на драйвере будет работать а все кор ноды простаивать будут. Много денег. EMR запускается с десятками коров до нескольких сотен
R
Жмака
Коалас не хотят (главный архитектор не хочет). Может есть еще вариант?
переубедить архитектора!
кроме шуток, если ETL на Scala Spark, можно модели сериализнуть в какой-нибудь ONNX (в зависимости от того что за формат), либо сервить их как HTTP-service, либо написать отдельную тонкую spark-streaming джобу на питоне, которая будет получать поток из event queue и возвращать скоринг обратно
кроме шуток, если ETL на Scala Spark, можно модели сериализнуть в какой-нибудь ONNX (в зависимости от того что за формат), либо сервить их как HTTP-service, либо написать отдельную тонкую spark-streaming джобу на питоне, которая будет получать поток из event queue и возвращать скоринг обратно
R
А koalas не занимается в датабриксе той же порнографиец, что и в опенсорсе?
о чем именно идет речь? Никогда не использовал OSS версию, честно говоря
АЖ
о чем именно идет речь? Никогда не использовал OSS версию, честно говоря
toPandas на каждом шаге
АЖ
И для модели коалас вообще ничего не даёт, по сути
Ж
переубедить архитектора!
кроме шуток, если ETL на Scala Spark, можно модели сериализнуть в какой-нибудь ONNX (в зависимости от того что за формат), либо сервить их как HTTP-service, либо написать отдельную тонкую spark-streaming джобу на питоне, которая будет получать поток из event queue и возвращать скоринг обратно
кроме шуток, если ETL на Scala Spark, можно модели сериализнуть в какой-нибудь ONNX (в зависимости от того что за формат), либо сервить их как HTTP-service, либо написать отдельную тонкую spark-streaming джобу на питоне, которая будет получать поток из event queue и возвращать скоринг обратно
Пока вряд ли получится плюс датабрикс не вариант. Все подвязано на амазон
R
Жмака
Пока вряд ли получится плюс датабрикс не вариант. Все подвязано на амазон
*спойлер - мы есть и на Amazon 🙂
ну описанную идею можно на любом спарке провернуть
ну описанную идею можно на любом спарке провернуть