Size: a a a

2020 February 20

AB

Alex Beliavskaia in Science FYI
Alex Beliavskaia
я ревьюила как-то студенческую работу для универовского журнала. работа полный шлак со всех сторон, но вместо того,чтобы просто написать, что это ни в какие ворота, пришлось заполнять целую табличку и расписывать по пунктам про каждую часть, почему это говно
и в условиях цейтнота и того, что это неоплачиваемая работа, иногда такие ревью — это нормально, хотя, конечно, это работа ревьюера не пропускать полный шлак
источник

O

Orodret in Science FYI
Mike Sh
я молчу про сурс код на гитхабе, где в репозитории лежит бинарик))
Хороший повод реверс инженирингу научиться))
источник

G

German in Science FYI
Alex Beliavskaia
и в условиях цейтнота и того, что это неоплачиваемая работа, иногда такие ревью — это нормально, хотя, конечно, это работа ревьюера не пропускать полный шлак
но конкретно в той статье авторы поменяли has на have - и её опубликовали
источник

AB

Alex Beliavskaia in Science FYI
German
но конкретно в той статье авторы поменяли has на have - и её опубликовали
скорей бы тебе визу дали
источник

G

German in Science FYI
Alex Beliavskaia
скорей бы тебе визу дали
мне еще дня 4 до того как досчитается всё что нужно, потом уйду
источник

AZ

Arthur Zalevsky in Science FYI
German
мне еще дня 4 до того как досчитается всё что нужно, потом уйду
мож тебя пустить куда-нить посчитаться?) что тебе нужно?) сколько ядер-памяти-места?)
источник

G

German in Science FYI
Arthur Zalevsky
мож тебя пустить куда-нить посчитаться?) что тебе нужно?) сколько ядер-памяти-места?)
данные клинические =(  http://solve-rd.eu/ - только 5 кластеров в европе где это может обрабатываться
источник

G

German in Science FYI
но спасибо огромное! =)
источник

G

German in Science FYI
проблема уже не в ядрах или месте, проблема в Input / Output - он просто безостановочно пишет отсюда сюда и так для 19000 человек
источник

AZ

Arthur Zalevsky in Science FYI
German
проблема уже не в ядрах или месте, проблема в Input / Output - он просто безостановочно пишет отсюда сюда и так для 19000 человек
а оптимизировать его нельзя было?)
источник

G

German in Science FYI
Arthur Zalevsky
а оптимизировать его нельзя было?)
в этот раз я просто тулы запускаю - сам ничего не написал, поэтому как сделал Вася из Broad - так оно и работает
источник

AZ

Arthur Zalevsky in Science FYI
хотя бы очень банальным способом - сначала копировать миниальные данные в /tmp, считать, результат обратно на сетевую фс
источник

AZ

Arthur Zalevsky in Science FYI
обычно даже на этом можно нефигово выйграть, потому что ИО по сетевой фс всегда весьма неспешное. и с большим лэтенси.
источник

G

German in Science FYI
мысль дельная но имхо именно это хранилище напрямую подключено
источник

G

German in Science FYI
плюс гонять сами файлы (каждый пациент примерно 10ГБ compressed) туда-сюда будет непросто
источник

G

German in Science FYI
всего по ходу ~250ТБ данных
источник

AZ

Arthur Zalevsky in Science FYI
German
мысль дельная но имхо именно это хранилище напрямую подключено
напрямую ко всем узлам сразу не может быть:) в смысле обычно это все равно сетевая ФС типа Lustre/GPFS/etc и любое ИО на ней весьма дорогое.
источник

AZ

Arthur Zalevsky in Science FYI
и если последовательное чтение/запись еще более-менее, то рандомный доступ - боль и унижение. поэтому дешевле за счет последовательного чтения скопировать в /tmp узла, там сделать все, что нужно, и также последовательно записать результат.
источник

G

German in Science FYI
Arthur Zalevsky
напрямую ко всем узлам сразу не может быть:) в смысле обычно это все равно сетевая ФС типа Lustre/GPFS/etc и любое ИО на ней весьма дорогое.
сие тайна великая есть - админ заходил и сказал выкрутить краник а то у пациентов анализы зависают - но в целом не наругал...
источник

G

German in Science FYI
спрошу товарища админа, как так сделать
источник