корпорация добра

Microsoft выступил с инициативой включения поддержки exFAT в состав ядра Linux
Компания Microsoft опубликовала технические спецификации на файловую систему exFAT и выразила готовность передать права на использование всех связанных с exFAT патентов для безвозмездного использования в Linux. Отмечается, что опубликованной документации достаточно для создания переносимой реализации exFAT, полностью совместимой с продуктами Microsoft. Конечной целью инициативы является добавление поддержки exFAT в основной состав ядра Linux.

видимо "осенние обострения случаются и у корпараций"

Неплохо

Хотелка
Хочу фиговину аля Celery, которая умеет более грамотно распределять ресурсы под выполняемые задачи. Таким образом, что бы можно было просто запустить N общих воркеров, задать для задач приоритеты и они бы выполнялись на любом свободном воркре. Но это не должны быть тупые очереди с приоритетами как в RabbitMQ. Это должно быть что-то похожее на модель конкурентности в современных операционках. Т.е. чем дольше задача "висит" в очереди, тем выше становится её приоритет. Не должно быть так, что бы куча задач с изначально высоким приоритетом полностью забили все воркеры и совсем не давали "процессорного времени" другим задачам, у которых исходный приоритет ниже.

Надоело уже в Celery играться с кучей разных очередей, под задачи с разным приортетом, и запуском отдельных воркеров под каждую очередь. Это как-то совсем не оптимально получается. Как если бы операционка использовала каждое ядро процессора под определённые задачи, и не использовала бы остальные ядра даже если они не заняты.

давай запилим сами

идея не кажется какойто сложной

можно поверх dramatiq сделать

по сути нам нужно просто пробежаться по всем задачам, их снять и просто поставить новые с большим приоритетом

Ну вот "пробежатсья по всем", не кажется очень крутым решением, и не очень оно быстро может работать.

ну а как ты узнаеш в таком случае что задача долго висит

она же никак не дергается

⁠⁠📚 Python programming by No Starch Press | 14 книг

Python programmers rejoice for No Starch Press is back for our latest bundle! Get ebooks like Python Playground, Mission Python, and Invent Your Own Computer Games with Python.

$1+
- Automate the Boring Stuff with Python
- Invent Your Own Computer Games with Python
- Black Hat Python
- Python for Kids
- Code Craft

$8+
- Cracking Codes with Python
- Doing Math with Python
- Gray Hat Python
- Python Playground
- Teach Your Kids to Code

$15+
- Serious Python
- Impractical Python Projects
- Math Adventures with Python
- Mission Python

https://www.humblebundle.com/books/python-programming-no-starch-books?partner=it52

Заплатить за подборку вы можете любую сумму, распределив её целевое использование между площадкой Humble Bundle, издательством, благотворительным организациями и it52.

#books #humblebundle #python

Как вариант - улучшить способ используемый в Celery. Там можно запилить N очередей, по одной на каждый уровень приоритета, и сделать N воркеров. И каждому воркеру назначить слушать от 1 до N очередей, так что бы самую приоритетную очередь слушали все воркеры, средний приоритет только половина воркеров, а самый низкий - только один воркер.
Это уже более менее становится "красиво", но по прежнему могут простаивать в холостую занятые ресурсы.
Можно сделать это всё в одном воркере с указанием приоритета для очередей (а не задач) и добавить вот ту самую логику повышения приоритета для "зависших" в очереди задач.

давай немного упростим, пусть будет два воркера пока

1-й выполняет задачи

2-й следит за очередью

по суит все его задачи это слежение за очередью

для того чтобы запустить задачу нам нужно чтобы 2-й воркер перекидывал бы задачи из очереди на выполнение