É
А классификация строгая должна быть?
Size: a a a
2019 November 20
É
1 новость - 1 категория?
SV
В любом случае новость всегда сообщает о том, что когда и где произошло. Это правило трех W (what?when?where).
или произойдет
НК
и к категории только верхнего уровня надо новость отнести ?
IB
Вряд ли им нужно по имени файла определять что-то, надо по контенту
да, заглянут в исходник и тобi пiзда
НК
исходники тоже надо дать?
НК
еще можно в урл смотреть нет ли там слова типа science😂
Y💜
еще можно в урл смотреть нет ли там слова типа science😂
AA
я тут пытался найти закономерность в названиях документов и обнаружил, что первые несколько цифр (3-5) указывают на источник документа, то есть два документа с одинаковыми цифрами вначале будут с одного сайта. Можно ли считать, что определенный источник всегда пишет новости/ статьи на одном и том же языке? И можно ли опираться на название документа? - вот в чем вопрос
"Для проверки работ будет использоваться набор данных, отличный от тестовых. "
SV
"Для проверки работ будет использоваться набор данных, отличный от тестовых. "
ага, но там же могут быть документы с сайтов, котороые в тестовой выборке были
AA
Да. А могут и не быть
SV
еще можно в урл смотреть нет ли там слова типа science😂
ага или на домен сайта (но это не гарантирует)
AA
Ну, как файн-тюн может и можно использовать
SV
Да. А могут и не быть
ну если не будут то определять по контенту
НК
фактор слова в урл вл многом определяет релевантность. по урл может быть наукой, но по содержание может быть политикой в науке.
НК
как доп сигнал можно использовать
НК
я пропустил, нам же не дают датасет уже с размеченными данными ?
SS
а там ведь и украинский язык есть... /20191103/12/879342917008026928.html
Y💜
а там ведь и украинский язык есть... /20191103/12/879342917008026928.html
Отличить от русского не особо сложно
SS
такие файлы необходимо отбрасывать?