А я то думал там девопсы мутят

У нас с этим сложнее, поэтому после прототипирования и исследований сразу продумывать по варианту реализации нужно, так то я и с докером работаю =)

По работе много публикуют в сообществе ods.ai в слаке. Это вообще маст хев место для датасатанистов

#правила
Здесь действует одно правило:
правило адекватного, профессионального общения, релевантного теме нашей группы.

Полезные ресурсы:
▫️Большая подборка материалов по AI & ML
▫️Список Демидовой Кати: статьи и примеры по AI и ML
▫️Книги из официального списка рекомендаций ШАДа
▫️Книги по AI и ML
▫️Список каналов и групп для программистов

Пожалуйста, не задавайте мета-вопросов в чате: https://nometa.xyz/

Вакансии здесь: @datasciencejobs

ребят, что делать, если разбираешь пример из книги https://github.com/jakevdp/PythonDataScienceHandbook
и там нужно просто установить пакеты, но
miniconda пишет, что:
PackagesNotFoundError: The following packages are not available from current channels

Я боюсь, что если я найду альтернатинвные каналы и скачаю какие-то другие версии этих пакетов, то потом когда буду запускать примеры из книги, они сломаются и работать не будут и мне придется исправлять много ошибок..(

Что делать в этом случае ?

Все нормально думают будет с альтернативными пакетами

Если что пофиксишь сам - опыт как никак)

Ok

Спасибо

Где вы видели реальное использование PCA?

В гусенице

Когда фильтрация данных

например https://www.asprs.org/wp-content/uploads/pers/1987journal/dec/1987_dec_1649-1658.pdf (это просто в довесок комментам выше)

Message from E Y O B 火炎焱燚 deleted. Reason: new user and external link (?)

Че за книжка? Рашка?

гуглится же легко
https://books.google.ru/books?id=t4Q_DwAAQBAJ&pg=PA400&lpg=PA400&dq=%D0%A1%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C+%D1%8D%D1%82%D0%BE+%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%B5%D0%B5+%D0%B2%D1%81%D0%B5%D0%B3%D0%BE+%D0%BC%D0%BE%D0%B6%D0%BD%D0%BE,+%D0%B2%D1%81%D1%82%D0%B0%D0%B2%D0%B8%D0%B2+%D1%80%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B+%D0%B2+%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D1%8B%D0%B9+%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82+DataFrame&source=bl&ots=KqlMdTz_jg&sig=ACfU3U2gFBO-iszm5J6TguQFHOVd-qM6_w&hl=en&sa=X&ved=2ahUKEwjZ2qfrq93mAhVSwqYKHZZYDKgQ6AEwAHoECAoQAQ#v=onepage&q=%D0%A1%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C%20%D1%8D%D1%82%D0%BE%20%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%B5%D0%B5%20%D0%B2%D1%81%D0%B5%D0%B3%D0%BE%20%D0%BC%D0%BE%D0%B6%D0%BD%D0%BE%2C%20%D0%B2%D1%81%D1%82%D0%B0%D0%B2%D0%B8%D0%B2%20%D1%80%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B%20%D0%B2%20%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D1%8B%D0%B9%20%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%20DataFrame&f=false

Ребят, у меня здесь NLP задача и я был бы очень благодарен если бы подсказал в каком направлении двигаться!

Есть значит у меня телефонные разговоры операторов с абонентами (речь уже преобразована в текст , и уже произведена классификация того что говорит абонент, и то что говорит оператор).  Задача выявить чем абонент разочарован, чтобы при последующим звонке того же абонента, оператор выдел на экране в чём разочарование состояло.

Сейчас все реализовано следующим образом: с помощью regular expressions ведётся поиск отрицательных слов, типа "разочарован", "зол", и т.д. Далее от каждого такого слова отчитывается десять  слов в право и десять в лево (пунктуации в тексте нету, поэтому нельзя просто выбрать интересуемое предложение). Получаем кусок текста который потенциально несет negative sentiment. Если в одном разговоре таких слов много, то будет создано много кусков текста. Далее используется Vader из NLTK для скоринга каждого такого куска текста. Выбирается наиболее негативный кусок и он и показывается оператору, когда этот же абонент звонит в следующий раз.

Алгоритм не идеальный по многим причинам. Основная:

Vader приписывает значительный отрицательный скор, обрывкам теста, которые по сути являются набором бессвязных слов. Понятно что Vader не особо в этом виноват, так как такое качество исходного текста. К слову, я не могу повлиять на способ преобразования звука в текст :(

Какие есть идеи на сегодняшний день:
1) Попробовать другие pre-trained модели (какие порекомендуете?).
2) Попробовать отследить где начинается предложение с негативным словом и где оно заканчивается (есть ли разработанные модели для этого?).
3) Модель которая бы говорила что-то вроде "этот кусок текста мусор и его оценивать не надо, его выкидываем".
4) Topic modeling. То есть все негативные куски текста классифицировать по топикам.
5) Выкинуть этап с regular expressions.
6) Сделать тестовые данные для модели, а не использовать pre-trained модель

Если честно, то мне кажется 1) не получится реализовать адекватно.
Так как мусора в кусках текста на столько много, то реализовать 2) тоже будет проблематично.
3) - не решение проблемы на 100% и опять же вопрос как реализовывать.
4) - не знаю как реализовывать, но наверное это лучшее что можно было бы предложить. Оператор будет видеть не какой-то неструктурированный набор текста, а осмысленное словосочетание ("дорогие услуги", "неудобный сервис", и т.д.).
5) У меня сомнения на счёт этого. Regular expressions находят хотя бы негативные слова из тонны мусора, без этого мне кажется любой последующий алгоритм будет плохо работать. То что успел понять точно - выкидывание regular expressions ведёт к значительному замедлению расчётов.
6) Думаю это не повредит и например способ 4) не будет без этого работать. На это уйдут месяцы, и хорошо бы знать, что они были потрачены не зря и есть общая идея как улучшить результаты.

В общем, спасибо что дочитали до конца и я открыт к любым вашим идеям.