SМ
Size: a a a
2020 October 09
SМ
В тч по бертам фасттекстам и тп
MK
а как train.txt в питоновский датафрейм прочитать в одну строчку?
pd.read_csv('./data/train.txt', sep='\t', names=['id', 'label', 'text']) не норм?
d
pd.read_csv('./data/train.txt', sep='\t', names=['id', 'label', 'text']) не норм?
неа
DR
вот за пару минут накостылял, можно использовать
import io
import pandas as pd
with io.open('train.txt','r',encoding='utf-8') as f:
lines = f.readlines()
data_list = []
all_cols = ['normal','insult','obscenity','threat']
for n,line in enumerate(lines):
val = {col:0 for col in all_cols}
splitted_line = line.split('\t')
val['id'] = int(splitted_line[0])
val['text'] = splitted_line[-1]
for split_line in splitted_line[1:-1]:
col = split_line.replace('label','').lower()
if col not in all_cols:
print(n,col,all_cols)
raise ValueError
else:
val[col] = 1
data_list.append(val.copy())
train_df = pd.DataFrame(data_list)
import io
import pandas as pd
with io.open('train.txt','r',encoding='utf-8') as f:
lines = f.readlines()
data_list = []
all_cols = ['normal','insult','obscenity','threat']
for n,line in enumerate(lines):
val = {col:0 for col in all_cols}
splitted_line = line.split('\t')
val['id'] = int(splitted_line[0])
val['text'] = splitted_line[-1]
for split_line in splitted_line[1:-1]:
col = split_line.replace('label','').lower()
if col not in all_cols:
print(n,col,all_cols)
raise ValueError
else:
val[col] = 1
data_list.append(val.copy())
train_df = pd.DataFrame(data_list)
MK
неа
У меня вроде бы получилось так, айди и лейблы не похерились. В чем подводные?
DR
pd.read_csv('./data/train.txt', sep='\t', names=['id', 'label', 'text']) не норм?
там мультилейбл могут быть
T
вот за пару минут накостылял, можно использовать
import io
import pandas as pd
with io.open('train.txt','r',encoding='utf-8') as f:
lines = f.readlines()
data_list = []
all_cols = ['normal','insult','obscenity','threat']
for n,line in enumerate(lines):
val = {col:0 for col in all_cols}
splitted_line = line.split('\t')
val['id'] = int(splitted_line[0])
val['text'] = splitted_line[-1]
for split_line in splitted_line[1:-1]:
col = split_line.replace('label','').lower()
if col not in all_cols:
print(n,col,all_cols)
raise ValueError
else:
val[col] = 1
data_list.append(val.copy())
train_df = pd.DataFrame(data_list)
import io
import pandas as pd
with io.open('train.txt','r',encoding='utf-8') as f:
lines = f.readlines()
data_list = []
all_cols = ['normal','insult','obscenity','threat']
for n,line in enumerate(lines):
val = {col:0 for col in all_cols}
splitted_line = line.split('\t')
val['id'] = int(splitted_line[0])
val['text'] = splitted_line[-1]
for split_line in splitted_line[1:-1]:
col = split_line.replace('label','').lower()
if col not in all_cols:
print(n,col,all_cols)
raise ValueError
else:
val[col] = 1
data_list.append(val.copy())
train_df = pd.DataFrame(data_list)
def read_train(path):
data = []
with open(path) as fp:
for line in fp:
_id, *labels, text = line.split('\t')
row = {
'id': _id,
'text': text,
'normal': int('__label__NORMAL' in labels),
'insult': int('__label__INSULT' in labels),
'obscenity': int('__label__OBSCENITY' in labels),
'threat': int('__label__THREAT' in labels)
}
data.append(row)
return data
MK
А, понял, лол, спасибо. Счас бы обучил бы красиво, ахахаха
T
дальше читаешь это в
pd.DataFrame() и всё окd
def read_train(path):
data = []
with open(path) as fp:
for line in fp:
_id, *labels, text = line.split('\t')
row = {
'id': _id,
'text': text,
'normal': int('__label__NORMAL' in labels),
'insult': int('__label__INSULT' in labels),
'obscenity': int('__label__OBSCENITY' in labels),
'threat': int('__label__THREAT' in labels)
}
data.append(row)
return data
Я ажно офигел, когда почти мой код тут вылез)
DR
def read_train(path):
data = []
with open(path) as fp:
for line in fp:
_id, *labels, text = line.split('\t')
row = {
'id': _id,
'text': text,
'normal': int('__label__NORMAL' in labels),
'insult': int('__label__INSULT' in labels),
'obscenity': int('__label__OBSCENITY' in labels),
'threat': int('__label__THREAT' in labels)
}
data.append(row)
return data
да, так элегантнее моего костыля
T
да, так элегантнее моего костыля
тк у меня тоже костыль)
A
Проблемы начинаются со чтения файлов, сложность должна быть максимальная
A
Спасибо, я тоже не обратил внимания, что несколько лейблов может быть
SМ
Ща будет царский код
SМ
def get_struct_data(x):
x=x.split('\t')
struct_={
'id':'',
'__label__NORMAL': 0,
'__label__INSULT': 0,
'__label__OBSCENITY': 0,
'__label__THREAT':0,
'text':''
}
struct_['text']=x[-1]
struct_['id']=x[0]
keys = struct_.keys()
for txt in x[1:len(x)]:
if txt in keys:
struct_[txt]=1
return struct_
tr = open("/home/train.tsv").read().splitlines()
tr_data=[get_struct_data(x) for x in tr]
tr_df=pd.DataFrame(tr_data)
x=x.split('\t')
struct_={
'id':'',
'__label__NORMAL': 0,
'__label__INSULT': 0,
'__label__OBSCENITY': 0,
'__label__THREAT':0,
'text':''
}
struct_['text']=x[-1]
struct_['id']=x[0]
keys = struct_.keys()
for txt in x[1:len(x)]:
if txt in keys:
struct_[txt]=1
return struct_
tr = open("/home/train.tsv").read().splitlines()
tr_data=[get_struct_data(x) for x in tr]
tr_df=pd.DataFrame(tr_data)
d
А потом переименовывать к сабмиту ближе
SМ
А потом переименовывать к сабмиту ближе
Да там уже пофиг