Всем привет! Нашел неприятную штуку в CatBoost. Он подвешивает основной поток программы при применении модели. Я разрабатывают графическое приложение на PyQt и у меня применение модели вынесено в отдельный поток, но CatBoost все равно фризит графический интерфейс на несколько секунд когда применяю модель, например time.sleep() не фризит, проблема проявляется только при вызове CatBoost predict и get_feature_importance, изменение параметра thread_count не помогает.

можно посмотреть код, который запускает поток с CatBoost-ом и сам CatBoost?

я могу пальцем в небо ткнуть, и сказать, что ты не используешь FeaturesData

а значит все может тормозить на копировании данных под GIL

само применение вне GIL

привет, сегодня проверю с FeaturesData, если повторится выложу код на гитхаб

Сравнил с LightGBM  он такой проблемой не страдает, FeaturesData пока не пробовал, но не думаю что дело в копировании данных так как данные должны копироваться в отдельном потоке. Сейчас выложу код на гитхаб

Спасибо!

Выложил код https://github.com/khrisanfov/pyqt_catboost
Там можно видео посмотреть

Добрый день. Возник вопрос при обучении модели мультикласификатора на 4 класса CatBoost выдает accuracy 0,546 при запуске оценки отдельно на accuracy_score показывает 0,44. Это баг?

Пример кода на запуск

model = CatBoostClassifier(
   eval_metric='Accuracy',
   depth = 8,
   random_seed=17,
   loss_function='MultiClass',
   logging_level='Silent',
   l2_leaf_reg = 30,
   learning_rate = 0.01,
   iterations = 1000,
   random_strength= 0.1,
   bagging_temperature = 0.1,
   classes_count = 4,
   class_weights = [4.0, 1.0, 2.35, 1.0]
)

model.fit(
     X_train, y_train,
     cat_features=categorical_features_indices,
     eval_set=(X_valid, y_valid),
     use_best_model=True,
     plot=True
)

print("Правильность на контрольной выборке: {:.2f}".format(model.score(X_valid, y_valid)))

А если веса 1 для классов поставить?

Всем привет! Я попробовал тренировать Catboost на Google ML Engine. Модель довольно большая, на 10К деревьев, scaleTier: CUSTOM и masterType: large_model - аналог n1-highmem-8. Все прошло отлично, но уж очень долго - около 8 часов.

Решил попробовать на GPU. Запустил на "scaleTier": "CUSTOM", "masterType": "large_model_v100"  - тоже n1-highmem-8 только с V100 графическим ускорителем. Когда оставалось секунд 30 до конца тренировки, резко выросла потребляемая память и ML Engine прекратил процесс по Out of Memmory Error.

Может, кто-нибудь сталкивался с подобным?

Есть катфичи? Похоже модель сохраняет с большим расходом памяти

очень много катфич, да. Но при тренировке на CPU такой проблемы нет..

Они не сбалансированые 2    2377
1    2366
3     952
0     534
Name: TARGET, dtype: int64

но попробую щас