В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

DevOps

1394 membersпожаловаться на группу
2021 February 09

B[

Braunly [R13, UA] in DevOps
Доброго времени
Чем можно эффективно перенести большое количество (1-1.5ТБ) относительно небольших файликов между двумя серваками под CentOS 8?
Сейчас юзается rsync --archive --verbose --compress --delete -e "ssh -p 1234" <server> <localdir>
Но, оно медленное и на одном из серверов иногда вылетает с out of memory.
источник
11:35пожаловаться#1

rd

rus dacent in DevOps
Braunly [R13, UA]
Доброго времени
Чем можно эффективно перенести большое количество (1-1.5ТБ) относительно небольших файликов между двумя серваками под CentOS 8?
Сейчас юзается rsync --archive --verbose --compress --delete -e "ssh -p 1234" <server> <localdir>
Но, оно медленное и на одном из серверов иногда вылетает с out of memory.
Про out of memory - https://rsync.samba.org/FAQ.html#5
источник
11:47пожаловаться#2

B[

Braunly [R13, UA] in DevOps
Спасибо, видел. incremental recursion юзается
источник
11:49пожаловаться#3

B[

Braunly [R13, UA] in DevOps
Делить по поддиректориям - это последний вариант
источник
11:50пожаловаться#4

VS

Vladimir Smirnov in DevOps
Braunly [R13, UA]
Доброго времени
Чем можно эффективно перенести большое количество (1-1.5ТБ) относительно небольших файликов между двумя серваками под CentOS 8?
Сейчас юзается rsync --archive --verbose --compress --delete -e "ssh -p 1234" <server> <localdir>
Но, оно медленное и на одном из серверов иногда вылетает с out of memory.
у рсинка есть свой протокол серверный, где нет шифрования (в отличии от ссш), возможно стоит о нем подумать дополнительно, если это все во внутренней доверенной сети, так как ssh жрет ресурсы.
источник
11:50пожаловаться#5

VS

Vladimir Smirnov in DevOps
по идее как workaround oom’у можно список файлов рсинку передавать
источник
11:51пожаловаться#6

B[

Braunly [R13, UA] in DevOps
Vladimir Smirnov
у рсинка есть свой протокол серверный, где нет шифрования (в отличии от ссш), возможно стоит о нем подумать дополнительно, если это все во внутренней доверенной сети, так как ssh жрет ресурсы.
Файлы публичные, сеть тоже. Там нужно поднимать сервер рсинка?
источник
11:51пожаловаться#7

VS

Vladimir Smirnov in DevOps
Braunly [R13, UA]
Файлы публичные, сеть тоже. Там нужно поднимать сервер рсинка?
ну да
источник
11:52пожаловаться#8

OT

One Two in DevOps
Braunly [R13, UA]
Доброго времени
Чем можно эффективно перенести большое количество (1-1.5ТБ) относительно небольших файликов между двумя серваками под CentOS 8?
Сейчас юзается rsync --archive --verbose --compress --delete -e "ssh -p 1234" <server> <localdir>
Но, оно медленное и на одном из серверов иногда вылетает с out of memory.
а что в логах, если  oom?
источник
11:58пожаловаться#9

B[

Braunly [R13, UA] in DevOps
One Two
а что в логах, если  oom?
Оно просто всю память сожрало и ядро его убило
источник
12:04пожаловаться#10

B[

Braunly [R13, UA] in DevOps
лют 09 03:23:46 CDN1 kernel: Out of memory: Killed process 162325 (rsync) total-vm:2418268kB, anon-rss:2049252kB, file-rss:0kB, shmem-rss:0kB, U>
лют 09 03:23:46 CDN1 CROND[162309]: (root) CMDOUT (rsync: connection unexpectedly closed (3736878782 bytes received so far) [receiver])
лют 09 03:23:46 CDN1 CROND[162309]: (root) CMDOUT (rsync error: error in rsync protocol data stream (code 12) at io.c(226) [receiver=3.1.3])
источник
12:04пожаловаться#11

B[

Braunly [R13, UA] in DevOps
Попробую поднять сервер. Посмотрим
источник
12:05пожаловаться#12

VS

Vladimir Smirnov in DevOps
Braunly [R13, UA]
Попробую поднять сервер. Посмотрим
тогда и передавать спиок файлов, условно взять find’ом сделать список, поsplit’ать его по кускам по 10 тысяч файлов и их синкать уже
источник
12:07пожаловаться#13

OT

One Two in DevOps
я по 20 тер таскал рсинком... загрузил в скрине, неделю льется неспешно. до консоли доберусь, гляну набор ключей
источник
12:11пожаловаться#14

IB

Igor Boyko in DevOps
Если качает кучка разных серверов с одного, можно посмотреть в сторону libtorrent и настрогать на питоне свою обертку под это
источник
14:57пожаловаться#15

IB

Igor Boyko in DevOps
Он там жрет пару десятков мегабайт оперативки при загрузке в 12 мегов в секунду
источник
14:57пожаловаться#16

IB

Igor Boyko in DevOps
И чем больше серверов, естесна общая скорость выше, и нет такого что пердит только один сервак во всю
источник
14:58пожаловаться#17

OT

One Two in DevOps
One Two
я по 20 тер таскал рсинком... загрузил в скрине, неделю льется неспешно. до консоли доберусь, гляну набор ключей
rsync -avzh
источник
15:03пожаловаться#18

B[

Braunly [R13, UA] in DevOps
One Two
rsync -avzh
У меня те же
источник
15:43пожаловаться#19

B[

Braunly [R13, UA] in DevOps
Поднял демон, качается быстрее, но на память клиента не повлияло никак
источник
15:44пожаловаться#20