Я в последнее время всё больше уверую в джанго-батарейки
В отличие от экосистемы фласка — здесь сильно стабильнее и консистентнее

У меня вот был опыт проекта, в котором все делали очень хорошо.

Тупо не успели в сроки целиком весь проект пришлось выбросить. Просто потратил миллион рублей в мусорное ведро...

Это к бизнесу вопрос, не к программистам

+

короче, ребят, какая-то магия происходит то ли с celery, то ли с django
есть таск на парсинг страницы с параметром урла
есть таск на создание множества первых тасков
я запускаю последний со списком урлов, смотрю в базу а у меня там куча идентичных объектов, причем они периодически повторяются
а период, судя по всему, равен количеству воркеров celery
по ссылкам переходил вручную, там совсем не то что загрузилось в базу
что происходит?

А задачи бизнеса были озвучены сразу - нужен было сделать за 2 месяца

Как раз таки в таких случаях помогает agile scrum

Это было 10 лет назад - я тогда таких слов не знал ещё ))

И вообще на бэкенд нанял .net mvc разаработчика... что тоже было ошибкой. Они для стартапов не подходят впринципе

Ты бы Герману Грефу понравился как специалист!))

мне хватит и пинка в нужном направлении, так как я вообще не представляю чем может быть вызвана подобная проблема

Лог левел = дебаг
get_or_create
И т.д.

Ну и ты же не ручками запускаешь миллион тасок, а через map или другую ручку целери?

что get_or_create?

я и говорю, у меня есть таск, который запускает эти таски

там просто в цикле все прогоняется

Если ты не хочешь чтобы дублировались записи в бд

не, я не то чтобы не хочу этого, просто кроме нескольких рандомных объектов ничего в базу не попадает

причем в базе уже объектов под несколько тысяч

но если сделать дистинкт, то будет штук 12