его запускать может придется через 2 дня, может через неделю. в зависимости от нужды

в целом, можно и так, на серваке памяти хватит. но (!) как тогда делать выгрузку корректно по окончанию текущих задач

или делать конечный таск, который вызовет выгрузку?

А как при такой ситуации ты собираешься обрабатывать проблему что твой айпишник забанили и нужно ретраить через 24 часа?

ну сделай спец. джоб: "Finish", когда всё обработаешь, всё закончено, кладёшь такой джоб, он достаётся и само-убивается

@supremespirit тебе по-ходу нужна очередь с расписанием?

хороший вопрос. вообще я думал, что в момент выполнения задачи проверять на результат whois и помечать ее как success/failure а дальше да, надо через сутки ее перезапустить. но вообще я это собирался делать руками, получив по итогу выполнения статистику и через сутки включить скрипт по ошибочным задачам

может в базу писать?
timestamp
domain
parsed_ok (1 если whois вернул валидный ответ, 0 если нет)
expire_date (есть только если parsed_ok == 1)

можно и так, просто если это можно было делать внутри задачи, то почему нет. если нет – то и такой вариант сойдет)

Кстати, непонятно зачем тебе перл. Если ты знаешь celery, то почему бы не написать на привычном инструменте. Уверен что и в питоне есть библиотеки для парсинга whois ответа

да я не хочу переписывать либу для whois, в том то и дело. эта самая адекватная в плане актуальности

поэтому и хочу реализовать парсер уже здесь, чтобы не морочить голову с либой

ну, смотри сам, конечно

но если бы я жил в мире питона, то я бы, наверное, взял https://pypi.org/project/whois/ и решал бы задачу с помощь этой штуки

able to extract data for all the popular TLDs (com, org, net, biz, info, pl, jp, uk, nz,  ...)
как бы вот ответ, перловая либа охватывает гораздо больший пул

Кстати, вот пример скрипта с minion, который завершает работу когда задач не осталось

#!/usr/bin/perl

use strict;
use warnings FATAL => 'all';
use feature 'say';
use utf8;
use open qw(:std :utf8);

use Minion;
use Data::Dumper;

my $main_pid = $$;

warn $main_pid;

my $minion = Minion->new(
  SQLite => 'sqlite:/tmp/minion.db',
);

$minion->add_task(square => sub {
  my ($job, $number) = @_;

  warn "working with $number";

  my $result = $number * $number;

  if ( $job->minion()->stats()->{inactive_jobs} == 0 ) {
    warn "All done\n";
    kill '-KILL', $main_pid;
  }

  return 1;
});

foreach my $i (1..20) {
  $minion->enqueue(square => [$i]);
}

my $worker = $minion->worker;
$worker->status->{jobs} = 2;
$worker->run;

(но, не уверен что нужно так делать)

Какая ирония. Я наоборот пытаюсь научиться засылать задачи из перла в питоновский Селери:)

а что послужило стимулом для этого?

#!/usr/bin/perl

use strict;
use warnings FATAL => 'all';
use feature 'say';
use utf8;
use open qw(:std :utf8);

use Minion;
use Data::Dumper;

my $main_pid = $$;

warn $main_pid;

my $minion = Minion->new(
  SQLite => 'sqlite:/tmp/minion.db',
);

$minion->add_task(square => sub {
  my ($job, $number) = @_;

  warn "working with $number";

  my $result = $number * $number;

  if ( $job->minion()->stats()->{inactive_jobs} == 0 ) {
    warn "All done\n";
    kill '-KILL', $main_pid;
  }

  return 1;
});

foreach my $i (1..20) {
  $minion->enqueue(square => [$i]);
}

my $worker = $minion->worker;
$worker->status->{jobs} = 2;
$worker->run;

делать kill -KILL - весьма фиговая практика. -TERM всё же сильно предпочтительнее :)