AZ
ну дизайн на поверхности короче
Size: a a a
2020 October 21
AZ
я два года назад делал такое но под кубер и писать в S3
AZ
А Azkaban не наследник ли gobblin?
не знаю
AZ
Надо спросить кстати, контора для которой я писал это под облако обещала выложить в опенсорс
2020 October 22
GP
Дорогие Скаланы! Специально для ру сообщества выпросила скидку на Scale By The Bay, с промокодом SUPPORT билеты стоят 30$, регистрируйтесь! https://www.eventbrite.com/e/scale-by-the-bay-tickets-119978213065
GP
‼️Самое важное в Data Engineers Group‼️
🔹 Дорогие Скаланы! (И не только скаланы, дорогие инженеры!) // Специально для ру сообщества выпросили скидку на Scale By The Bay, с промокодом SUPPORT билеты стоят 30$, регистрируйтесь! https://www.eventbrite.com/e/scale-by-the-bay-tickets-119978213065
🔹 Из особенно важных для нас спикеров: Matei Zaharia(!), Prashant Sharma (CODAIT, the IBM OSS center), David Talby (the CTO of John Snow Labs, with present the Spark NLP library)
🔹 Дорогие Скаланы! (И не только скаланы, дорогие инженеры!) // Специально для ру сообщества выпросили скидку на Scale By The Bay, с промокодом SUPPORT билеты стоят 30$, регистрируйтесь! https://www.eventbrite.com/e/scale-by-the-bay-tickets-119978213065
🔹 Из особенно важных для нас спикеров: Matei Zaharia(!), Prashant Sharma (CODAIT, the IBM OSS center), David Talby (the CTO of John Snow Labs, with present the Spark NLP library)
C
RS
не знаю насколько в тему группы, но возможно кто то сталкивался
подскажите пожалуйста, по каким причинам может умирать ядро и как это можно продебажить ?
контекст - у меня есть pkl модель, которая десериализуется в обычную python ф-ю, на вход которой передается pandas.DataFrame
при вызове модели ядро помирает и ничего кроме этого в консоль не пишется
как понять, в чем проблема ?
подскажите пожалуйста, по каким причинам может умирать ядро и как это можно продебажить ?
The kernel appears to have diedконтекст - у меня есть pkl модель, которая десериализуется в обычную python ф-ю, на вход которой передается pandas.DataFrame
при вызове модели ядро помирает и ничего кроме этого в консоль не пишется
как понять, в чем проблема ?
SS
не знаю насколько в тему группы, но возможно кто то сталкивался
подскажите пожалуйста, по каким причинам может умирать ядро и как это можно продебажить ?
контекст - у меня есть pkl модель, которая десериализуется в обычную python ф-ю, на вход которой передается pandas.DataFrame
при вызове модели ядро помирает и ничего кроме этого в консоль не пишется
как понять, в чем проблема ?
подскажите пожалуйста, по каким причинам может умирать ядро и как это можно продебажить ?
The kernel appears to have diedконтекст - у меня есть pkl модель, которая десериализуется в обычную python ф-ю, на вход которой передается pandas.DataFrame
при вызове модели ядро помирает и ничего кроме этого в консоль не пишется
как понять, в чем проблема ?
рискну предположить, что речь идет про Kernel внутри Jupyter Labs, а не в Linux?
если да, то смотрите логи Жупитера и операционки
если да, то смотрите логи Жупитера и операционки
RS
рискну предположить, что речь идет про Kernel внутри Jupyter Labs, а не в Linux?
если да, то смотрите логи Жупитера и операционки
если да, то смотрите логи Жупитера и операционки
Сергей, да, логи Jupyter погляжу, но если просто запустить скрипт через python, то Kernel тоже дохнет
SS
Сергей, да, логи Jupyter погляжу, но если просто запустить скрипт через python, то Kernel тоже дохнет
покажите консольную команду, которой "запускаете скрипт через python"
RS
покажите консольную команду, которой "запускаете скрипт через python"
python test.py
Segmentation fault
RS
внутри такой простой скрипт
import pandas as pd
import mlflow
if __name__ == "__main__":
urls = ["http://bla.ru/1"]
mlflow.set_tracking_uri("http://localhost:8000")
model = mlflow.pyfunc.load_model("models:/rinat-model-2/22")
model.predict(pd.DataFrame({"0": pd.Series([urls])}))
RS
при этом аналогичный код работает в spark, сейчас подозреваю, что там может быть как то памяти python у больше выдано на процесс, но если у кого то есть идеи, буду оч. благодарен
MT
Наверняка стоит проверить с какой верисей python и mlflow модель сериализовали в pkl и сравнить с теми, что используются сейчас
АЖ
можно просто версию пикла проверить
RS
версии одинаковые, я проверил, интересно, что из spark на том же venv окружении все поднимается и работает корректно
DY
если вам приходилось делать валидацию данных на кассандре/сцилле (после переноса или рестора из бекапов), как именно вы это делали? У меня есть несколько идей, которые выльются в код, когда время позволит, но хотелось бы услышать об опыте реальных пользователей. Сканировать все данные конено же не реально, брать хеши от файлов бд тоже (там все может укатиться из-за компактов)
GP
если вам приходилось делать валидацию данных на кассандре/сцилле (после переноса или рестора из бекапов), как именно вы это делали? У меня есть несколько идей, которые выльются в код, когда время позволит, но хотелось бы услышать об опыте реальных пользователей. Сканировать все данные конено же не реально, брать хеши от файлов бд тоже (там все может укатиться из-за компактов)
я мету сравнивал табличек которые можно травесрить полностью и схему и численные характеристики дата таблиц - типа схему сравнить, каунт, местоиспользуемое таблицой
GP
так то да дороговато целиком все выдергивать и проходиться по всем строкам