RB
а Cython кто-нибудь юзает активно?
Size: a a a
2019 July 24
SA
x2-3 легко
TK
Кстати, я тут месяц-два назад в проект притащил pypy, потому что в одном сервисе все тупо уперлось в python, а времени переписывать на более производительный язык не было.
Все совсем не страшно, и удивительно безболезненно, если у вас нет каких-то жестких проприетарных расширений, machine learning и тп. А если есть, то, как правило, несложно найти аналог исключительно на питоне.
Pypy жрет памяти побольше, но зато по скорости работы нереальный выигрыш получается.
Короче, не бойтесь pypy
Все совсем не страшно, и удивительно безболезненно, если у вас нет каких-то жестких проприетарных расширений, machine learning и тп. А если есть, то, как правило, несложно найти аналог исключительно на питоне.
Pypy жрет памяти побольше, но зато по скорости работы нереальный выигрыш получается.
Короче, не бойтесь pypy
А что за сервис, если не секрет?
SA
может быть и больше, я точнее не замерял. на синтетике в узких местах у меня до 5 раз был прирост, да. но в дикой жизни обычно все не так радужно
SA
А что за сервис, если не секрет?
своеобразный роутер-конвертер сообщений. читает несколько кафка-топиков, конвертирует сообщения и понимает, куда как чего переразложить, чего смержить и тп
KK
А как там у них с поддержкой Python 3.7+ ?
MF
Вот тут должен "ворваться" Артём со своими Stories 😊
вообще планирую использовать
MF
но пока mvp на скорую руку
SA
пока что нет. есть поддержка 3.6, но в бете. впрочем, у меня на этой бете никаких проблем не было. даже решил в продакшне запустить
БС
Кстати, я тут месяц-два назад в проект притащил pypy, потому что в одном сервисе все тупо уперлось в python, а времени переписывать на более производительный язык не было.
Все совсем не страшно, и удивительно безболезненно, если у вас нет каких-то жестких проприетарных расширений, machine learning и тп. А если есть, то, как правило, несложно найти аналог исключительно на питоне.
Pypy жрет памяти побольше, но зато по скорости работы нереальный выигрыш получается.
Короче, не бойтесь pypy
Все совсем не страшно, и удивительно безболезненно, если у вас нет каких-то жестких проприетарных расширений, machine learning и тп. А если есть, то, как правило, несложно найти аналог исключительно на питоне.
Pypy жрет памяти побольше, но зато по скорости работы нереальный выигрыш получается.
Короче, не бойтесь pypy
А у нас недавно был негативный опыт.. Правда у нас asyncio. Во первых он не поддерживает uvloop. Во вторых там проблемы с postgresql. Надо ставить какой то форк и манкипатчить. Пару либ тоже не завелись.
На лоадтестах показал производительность в полтора / два раза хуже.
Плюс очень часто длительные задержки при обработке запросов (наверное jit запускается часто). Запускали лоадтесты на час и постоянно были провалы в производительности, то есть ответ от сервера прилетал не за 50-100мс, а за секунду и до десяти секунд. А нам ваще низя отвечать больше чем секунду.
pyspy профайлер не смогли запустить, он его не видит.
На лоадтестах показал производительность в полтора / два раза хуже.
Плюс очень часто длительные задержки при обработке запросов (наверное jit запускается часто). Запускали лоадтесты на час и постоянно были провалы в производительности, то есть ответ от сервера прилетал не за 50-100мс, а за секунду и до десяти секунд. А нам ваще низя отвечать больше чем секунду.
pyspy профайлер не смогли запустить, он его не видит.
БС
С обычным питоном мы в алхимию упираемся.. Думал может генерация запросов будет быстрее...
SA
да, занятно. я думал, что https://pypi.org/project/psycopg2cffi/ уже больше не нужен
SA
насчет jit'а есть такой эффект. но у меня там постоянная высокая нагрузка, поэтому из-за jit'а сначала все просядает на минуту-две, но затем взлетает как ракета
AG
а Cython кто-нибудь юзает активно?
У меня на проекте у одной модели препроцессинг на сайтоне написан. Лишний раз я в этот модуль стараюсь не заходить
БС
насчет jit'а есть такой эффект. но у меня там постоянная высокая нагрузка, поэтому из-за jit'а сначала все просядает на минуту-две, но затем взлетает как ракета
вот, я тоже думал что так будет. Но даже во время часового лоад теста были постоянно всплески серьезных задержек
БС
при этом стреляли не по всему функционалу, а только одну функцию
SA
а может быть такое, что у вас там стоял какой-нибудь uwsgi, который через какое-то количество запросов, времени, памяти и тп, рестартовал воркер?
БС
нет, там вебсокеты и aiohttp
n
Нет, он не бот)
💭П
Нет, он не бот)
А, он партизан!