Size: a a a

Machine learning

2020 December 22

IM

Irina Makarova in Machine learning
Уважаемые коллеги! У нас есть небольшой анонс для вас:
источник

IM

Irina Makarova in Machine learning
Лаборатория машинного обучения ИТМО  приглашает на открытые неклассические онлайн-семинары!  

Ближайший семинар уже 23 декабря. Вот программа:
🔹 Новости. Андрей Фильченков прокомментирует актуальные события из мира машинного обучения.
🔹 Доклад. На примере задач классификации картинок и нейросетевой маршрутизации Игорь Бужинский расскажет, насколько легко заставить нейросеть ошибиться, незначительно изменив ее вход, а также что с этим делать.
🔹 Дебаты. После доклада Игоря к нему присоединится Арип Асадулаев, чтобы поспорить, что перспективней для жулика — дурить искусственный или естественный интеллект?

Чтобы посмотреть выступления, задать вопросы спикерам и поучаствовать в дебатах, 23 декабря в 19:00 подключайтесь к трансляции на YouTube-канале лаборатории.
источник

IM

Irina Makarova in Machine learning
источник

i

igor in Machine learning
Очень интересно спасибо
источник

IS

Igor Savinkin in Machine learning
#C1W2 - Предупреждение:  <ipython-input-29-7321d32faaf7>:2: FutureWarning: The pandas.datetime class is deprecated and will be removed from pandas in a future version. Import from datetime module instead.
 frame[(frame.Birth >= pd.datetime(1985,1,1)) &
Что будет взамен этого для Python 3 ?
источник

IS

Igor Savinkin in Machine learning
Igor Savinkin
#C1W2 - Предупреждение:  <ipython-input-29-7321d32faaf7>:2: FutureWarning: The pandas.datetime class is deprecated and will be removed from pandas in a future version. Import from datetime module instead.
 frame[(frame.Birth >= pd.datetime(1985,1,1)) &
Что будет взамен этого для Python 3 ?
источник

GF

Gghh Fdhj in Machine learning
То же самое только datetime надо брать из модуля datetime вроде как
источник

GF

Gghh Fdhj in Machine learning
Попробуй datetime.datetime поставить
источник

RY

Ruslan515 Y in Machine learning
есть csv(порядка 5Гб). при полном чтении в память не лезет. нужно вытащить определенные статистики из этого файла. можно читать по N строк : train = pd.read_csv(..., skiprows=k, nrows=k+N) и так по частям до конца файла. Но вопрос: как узнать кол-о строк в данном файле для того что бы правильно менять счетчик?
источник

Р

Роман in Machine learning
Можно попробовать использовать vaex
источник

AS

Alexander Smirnov in Machine learning
Ruslan515 Y
есть csv(порядка 5Гб). при полном чтении в память не лезет. нужно вытащить определенные статистики из этого файла. можно читать по N строк : train = pd.read_csv(..., skiprows=k, nrows=k+N) и так по частям до конца файла. Но вопрос: как узнать кол-о строк в данном файле для того что бы правильно менять счетчик?
wc -l file.csv
источник

RY

Ruslan515 Y in Machine learning
Alexander Smirnov
wc -l file.csv
ок
источник

AK

Andy Ko in Machine learning
Ruslan515 Y
есть csv(порядка 5Гб). при полном чтении в память не лезет. нужно вытащить определенные статистики из этого файла. можно читать по N строк : train = pd.read_csv(..., skiprows=k, nrows=k+N) и так по частям до конца файла. Но вопрос: как узнать кол-о строк в данном файле для того что бы правильно менять счетчик?
with open('test.csv') as f:
   line_count = 0
   for line in f:
       line_count += 1
print(line_count)

это через питон считать кол-во строк

далее уже line_count покажет сколько строк и дальше уже бить на части)

только помнить что если есть заголовок, то он будет тоже строкой в line_count
исхо это ну оооочень быстро и просто
источник

RY

Ruslan515 Y in Machine learning
Andy Ko
with open('test.csv') as f:
   line_count = 0
   for line in f:
       line_count += 1
print(line_count)

это через питон считать кол-во строк

далее уже line_count покажет сколько строк и дальше уже бить на части)

только помнить что если есть заголовок, то он будет тоже строкой в line_count
исхо это ну оооочень быстро и просто
пробовал такое уже на маленьком файле. ошибка в большую сторону на 1К строк
источник

E

Elena in Machine learning
Alexander Smirnov
wc -l file.csv
это в линукс в командной строке? а если файл лежит в файловой системе виндоус, линукс его не видит (выдается ошибка нет такого файла).
источник

E

Elena in Machine learning
Andy Ko
with open('test.csv') as f:
   line_count = 0
   for line in f:
       line_count += 1
print(line_count)

это через питон считать кол-во строк

далее уже line_count покажет сколько строк и дальше уже бить на части)

только помнить что если есть заголовок, то он будет тоже строкой в line_count
исхо это ну оооочень быстро и просто
юпитер подвисает на этом коде( upd. сорян, отработал. Спасибо!!!!!!!!!!!!!!!!!!!1
источник

i

igor in Machine learning
Юпитер очень сильный бог, видимо что-то не так.
источник

E

Elena in Machine learning
igor
Юпитер очень сильный бог, видимо что-то не так.
я поспешила, все нормально работает.
источник

TN

Tarutin Nikita in Machine learning
Всем привет!

В пятницу 25.12 будет бесплатный воркшоп по ML, где эксперты научат делать sentiment analysis (анализ эмоционального характера в тексте).

Присоединяйтесь!
https://maike.ai/workshop2020
источник

EA

Eliah Avvakumov in Machine learning
Но правильно написать термин очень трудно
источник