Size: a a a

ML Boot Camp Official

2020 June 18

IV

Ivan Veriga in ML Boot Camp Official
"HeadHunter, Минэкономразвития Иркутской области, ITS — компании, которым нужны новые, интересные решения, а главное крутые специалисты😌 3 партнёра — 3 реальных кейса — 1 месяц для решения задач — ∞ количество попыток — призовой фонд 2 млн."
источник

IV

Ivan Veriga in ML Boot Camp Official
И откуда они 2млн насчитали
источник

IV

Ivan Veriga in ML Boot Camp Official
Это типа эти маленькие призы в среднем будут стоить по 21к?
источник

AT

Alexey Tikhonov in ML Boot Camp Official
М-да, анлим на попытки это фиаска
источник

AT

Alexey Tikhonov in ML Boot Camp Official
Приват то хоть будет 😂
источник

JS

Jury Sergeev in ML Boot Camp Official
вроде было где-то что ограниченное число в день
источник

IV

Ivan Veriga in ML Boot Camp Official
Alexey Tikhonov
Приват то хоть будет 😂
Если нет, ну что, привет всем кто будет оверфититься на 100
источник

IV

Ivan Veriga in ML Boot Camp Official
Кстати, никто не знает? Докера не будет? Не хочу пайплайн для тестов искать
источник

AT

Alexey Tikhonov in ML Boot Camp Official
Написано же отправка файла
источник

AT

Alexey Tikhonov in ML Boot Camp Official
Значит не
источник

AT

Alexey Tikhonov in ML Boot Camp Official
Им нужно упрощённая
источник

IV

Ivan Veriga in ML Boot Camp Official
А, точно
источник

ДС

Дмитрий Симаков... in ML Boot Camp Official
Тупой вопрос, а как быстро в цикле можно считывать с диска нампай ареи? (или во что их сохранять). Файлы - многомерные тензоры, примерно от 20 до 100мб.

Сохранение и загрузка через .npy - быстрая. Но если помимо считывания добавить хоть одну операцию, например, поделить на 1, то скорость сразу замедляется. Как здесь https://stackoverflow.com/questions/9619199/best-way-to-preserve-numpy-arrays-on-disk.
Проход по всем файлам начинает занимать с 10 секунд - 40 минут. Какие есть варианты?

h5py считывает как нампай + операция. Менять параметры mmap нампая при загрузке ни на что не влияет.
источник

ДС

Дмитрий Симаков... in ML Boot Camp Official
Но нампай при загрузке с мультипроцессингом иногда просто останавливается на несколько минут. И только потом начинает опять что-то делать.
источник
2020 June 19

IV

Ivan Veriga in ML Boot Camp Official
Дмитрий Симаков
Но нампай при загрузке с мультипроцессингом иногда просто останавливается на несколько минут. И только потом начинает опять что-то делать.
Что за процессоры?
источник

ДС

Дмитрий Симаков... in ML Boot Camp Official
Тредрипер, если ты про это.
источник

IV

Ivan Veriga in ML Boot Camp Official
2 или 1?
источник

IV

Ivan Veriga in ML Boot Camp Official
Если 2, то он в него не умеет
источник

ДС

Дмитрий Симаков... in ML Boot Camp Official
1950 вроде
источник

IV

Ivan Veriga in ML Boot Camp Official
Не не, сколько процессоров у тебя установлено в систему
источник