V
всё больше склоняюсь, что виноват постгрес, кэшит однотип запрос
Size: a a a
2019 November 08
T
какие ещё коннекты?
АП
какие ещё коннекты?
Тоже это не понял.
V
Вокер забирает данные из базы данных и отправляет через сокет. К базе данных создаётся коннект с помощью алхимии. Я плохо объясняю, да, простите :)
T
ты же говорил, воркер кладет в редис
V
ты же говорил, воркер кладет в редис
достаёт данные и кидает их в редис для сокетио
T
ну показывай код, чо
AM
Есть одна проблемка, celery + socketIO + postgers (sqlalchemy)
В таскере висит выполнение задачи !!каждые 10 сек!!. Воркер выполняет задачу (Обычный SELECT + отправить данные через SOCKETIO, !!запрос всегда один и тот же!!).
Пример:
def test()
data = Data.all()
socketIO.emit('monitor', data)
Первые часы всё работает стабильно, потом начинает приходить старая информация (старые значения), кэша никакого нет в проекте.
!!После перезапуска воркера!!, сразу начинает приходить нормальная информация. Сейчас убиваю воркера после выполнения N задач.
Ковырялся в postgers сначала, но ничего похожего там с настройками нет и кэш задаётся немного иначе. В итоге не могу понять кто виновник всего этого (мои руки, да):(
В таскере висит выполнение задачи !!каждые 10 сек!!. Воркер выполняет задачу (Обычный SELECT + отправить данные через SOCKETIO, !!запрос всегда один и тот же!!).
Пример:
def test()
data = Data.all()
socketIO.emit('monitor', data)
Первые часы всё работает стабильно, потом начинает приходить старая информация (старые значения), кэша никакого нет в проекте.
!!После перезапуска воркера!!, сразу начинает приходить нормальная информация. Сейчас убиваю воркера после выполнения N задач.
Ковырялся в postgers сначала, но ничего похожего там с настройками нет и кэш задаётся немного иначе. В итоге не могу понять кто виновник всего этого (мои руки, да):(
а как ты задачи снимаешь, когда они отработали? они наверное просто полежат полежат и потом по второму кругу выполняются
AA
Всем привет, может flask+flask_sqlalchemy кто-нибудь сталкивался... Как я понял из доки с flask_sqlalchemy, она упрощает работу с sqlalchemy. Но столкнулся с тем, что при запуске flask, он мне дает ошибку, что No module named 'MySQLdb'. Потому как sqlalchemy требует mysql двайрер и ему нужен MySQLdb. А работаю я с python3.7, а под него нет MySQLdb, есть PyMySQL c которым flask_sqlalchemy не дружит похоже) какой-то замкнутый круг
AA
без "прослойки" в виде flask_sqlalchemy, чисто на sqlalchemy всё работает как надо. НО! в flask_sqlalchemy можно забиндить сразу несколько engine, а в "чистом" sqlalchemy я такого не могу найти
АР
A A
Всем привет, может flask+flask_sqlalchemy кто-нибудь сталкивался... Как я понял из доки с flask_sqlalchemy, она упрощает работу с sqlalchemy. Но столкнулся с тем, что при запуске flask, он мне дает ошибку, что No module named 'MySQLdb'. Потому как sqlalchemy требует mysql двайрер и ему нужен MySQLdb. А работаю я с python3.7, а под него нет MySQLdb, есть PyMySQL c которым flask_sqlalchemy не дружит похоже) какой-то замкнутый круг
PostgreSQL? SQLite?
AA
PostgreSQL? SQLite?
mysql
V
а как ты задачи снимаешь, когда они отработали? они наверное просто полежат полежат и потом по второму кругу выполняются
я ничего не снимаю, всё делает за меня таскер.
A
A A
без "прослойки" в виде flask_sqlalchemy, чисто на sqlalchemy всё работает как надо. НО! в flask_sqlalchemy можно забиндить сразу несколько engine, а в "чистом" sqlalchemy я такого не могу найти
зачем тебе сразу несколько engine?
АР
A A
mysql
Я не спрашивал, а предлагал перейти на другие СУБД
A
в смысле "не дружит", flask_squalchemy вообще должно быть похер. указывай нужный драйвер в настройках подключения.
AA
зачем тебе сразу несколько engine?
несколько баз на разных хостах. под каждый создается свой engine же
A
эм... о_О
A
ок