Гуглите как открыть анонимную вкладку в хроме

blaze sql это конечно супер то что надо

Ребят , а как в pandas имя колонки убрать, ну то есть чтобы не было колонок , только данные ?

Как ты себе это представляешь?

Csv

Все, разобрался уже , получилось

Но спасибо

Если кому-то интересно решение , могу написат

Интересно, напиши

dfdf.columns = [''] * len(dfdf.columns)

Привет, ребята. Хочу зафайнтюнить модель t5-11b но вот беда она не влезает ни в видеокарту ни в TPU, нотбук colab крашится по истощению ресурсов. Тренировать придётся в облаке амазона, и выходов вижу 2 - арендовать простой инстанс с кучей памяти и тренировать на CPU либо арендовать инстанс на 4 видюхи, но тогда нужно озаботиться model parallelism.
С первым вариантом всё понятно, это можно всегда попробовать, но очевидно что это будет долго. А вот с паралелизмом модели я разобраться пытался. Встроенного в библиотеку huggingface решения не существует, точнее его пытались написать, но ветку так и не смерждили в мастер, что-то у них некурлычит видимо. Пытался сам смерджить локально - всё равно не фурычит. Нашел еще библиотеку Eisen которая обещает сделать параллелизм в одну строку. Но по факту поддерживает только модели с одним входом. А так как на t5 2 входа - токены и маска, то eisen уже не фурычит.
Может ли кто-нибудь подсказать еще какие-нибудь варианты файнтюнинга t5-11b с уже готовым параллелизмом модели?

df_merge = pd.merge(df1,df2, left_on = 'columns_a', right_on = 'columnsb')
df_merge

Ребят, почему если я эту команду пишу и колонки у двух датаыреймов уникальные, то все хорошо сопоставляется. НО
если элементы в колонке повторяются, то обединяет не правильно ?

Что значит "не правильно"? Теряет данные?

Не в том порядке выводит

Если дело в порядке, что мешает отсортировать после мержа?

Отсортировал, но последнюю колонку не правильно ставит , должно быть одинаково