Телеграмм чат группы bigdata

Господа, а ответьте на абстрактный вопрос, если можете. Трудно ли, без навыков в ML/AI (но с техническим IT бэкграундом) запилить текстовый классификатор? Цель - отличать в соц. сетях обычные посты от рекламных, у инфлюенсеров (блоггеров\лидеров мнений)

источник

19:50пожаловаться #4

i

invariance in AI / Big Data / Machine Learning

Или мне стоит забить и юзать rule-based решение)

источник

19:56пожаловаться #5

AS

Alex Surname in AI / Big Data / Machine Learning

я бы отталкивался от точности существующего решения и времени на его поддержку

источник

19:59пожаловаться #6

i

invariance in AI / Big Data / Machine Learning

существующего решения нет)

источник

20:04пожаловаться #7

i

invariance in AI / Big Data / Machine Learning

Я просто хз как rule based строить, тексты очень разные

источник

20:04пожаловаться #8

i

invariance in AI / Big Data / Machine Learning

Как по мне нереально

источник

20:04пожаловаться #9

y

yopp in AI / Big Data / Machine Learning

invariance

Господа, а ответьте на абстрактный вопрос, если можете. Трудно ли, без навыков в ML/AI (но с техническим IT бэкграундом) запилить текстовый классификатор? Цель - отличать в соц. сетях обычные посты от рекламных, у инфлюенсеров (блоггеров\лидеров мнений)

А сколько текстов у вас есть, с разметкой по признаку «рекламный/не рекламный» и какого качества?

источник

20:13пожаловаться #10

i

invariance in AI / Big Data / Machine Learning

yopp

А сколько текстов у вас есть, с разметкой по признаку «рекламный/не рекламный» и какого качества?

около 5 тысяч рекламных, нерекламных сколько надо столько и будет

источник

20:14пожаловаться #11

i

invariance in AI / Big Data / Machine Learning

наберем)

источник

20:14пожаловаться #12

i

invariance in AI / Big Data / Machine Learning

ну вообще мне только рекламные нужно отсеять. Или так нельзя?

источник

20:14пожаловаться #13

i

invariance in AI / Big Data / Machine Learning

т.е. выбрать чисто рекламные тексты

источник

20:14пожаловаться #14

PO

Point Of Something in AI / Big Data / Machine Learning

invariance

Господа, а ответьте на абстрактный вопрос, если можете. Трудно ли, без навыков в ML/AI (но с техническим IT бэкграундом) запилить текстовый классификатор? Цель - отличать в соц. сетях обычные посты от рекламных, у инфлюенсеров (блоггеров\лидеров мнений)

Несложно

источник

20:14пожаловаться #15

y

yopp in AI / Big Data / Machine Learning

Для этого вам нужна сбалансированная выборка, в которой есть и рекламные и не рекламные. Чем больше, тем лучше

источник

20:14пожаловаться #16

PO

Point Of Something in AI / Big Data / Machine Learning

Копай в сторону Наивного Байеса в твоем случае должно быть чуть ли не самой простой реализацией

источник

20:15пожаловаться #17

i

invariance in AI / Big Data / Machine Learning

Благодарю

источник

20:16пожаловаться #18

PO

Point Of Something in AI / Big Data / Machine Learning

Ну а вообще человек выше прав, без данных ты не сделаешь ничего. Есть главное правило, модель может быть хорошо ровно настолько насколько хороши данные

источник

20:16пожаловаться #19

i

invariance in AI / Big Data / Machine Learning

Ну это понятно

источник

20:16пожаловаться #20