T
По сути нынче крон иногда этим ж системд и эмулируется
Size: a a a
2021 November 03
kk
То есть bash?
AZ
любой, если у вас openbsd то можно на ksh к примеру
ИК
А чем можно петабайт паркета трансформировать? Чтобы не тормозное было и корректное и опен сорс. Арроу я сам поставлю на первое место, но что ещё?
kk
*/1 * * * * /home/spiderman/anaconda3/bin/python && cd /home/spiderman/Desktop/avito/ && scrapy crawl my_scraper -o MonthDay_Year006.csv >> /home/spiderman/Desktop/avito/cron3.log 2>&1
Я прописал эту команду , но в логах только
/bin/sh: 1: scrapy: not found
/bin/sh: 1: scrapy: not found
/bin/sh: 1: scrapy: not found
Я прописал эту команду , но в логах только
/bin/sh: 1: scrapy: not found
/bin/sh: 1: scrapy: not found
/bin/sh: 1: scrapy: not found
AZ
смотря что делать конечно, для каких-то задач спарк будет лучшим вариантом
AZ
у вас PATH не полный, лучше запихните все в скрипт где активируйте свое окружение нормально
kk
Я думал путь pwd покажет полный
kk
Как узнать полный путь ?
AZ
pwd показывает путь, а у вас список путей в переменной PATH не полный (потому что в кроне профиль полный не схватывается)
AZ
это уже сильный офтопик, мб вам какая-то добрая душа напрямую поможет, а тут заниматься базовым скриптингом это моветон
kk
which python делал , он мне этот путь и выдал
kk
Погуглю..
AZ
на чем угодно прекрасно работает, скачал датасет, применил модельку, запихнул результат обратно
ЕГ
Скачал 1тб, применил модельку, залил 1тб...)
AZ
Конечно, спарк тоже самое делает, можно сделать в чем угодно
ЕГ
Спарк позволяет с милимальными усилиями сделать это параллельно, масштабируемо и [более-менее] отказоустойчиво
AZ
я бы сказал что те у кого надо регулярно скорить терабайтные датасеты - им лучше со спарком
но есть еще одна или две компании у которых нет терабайтных датасетов каждый день для скоринга
но есть еще одна или две компании у которых нет терабайтных датасетов каждый день для скоринга
ЕГ
Чё за компании)
ЕГ
Смоллдата)