Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 August 14

V

Vladimir in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Morgan Ziegler
Кавалерки, ко шарит в sql, подскажите составить запрос. Есть таблица (дерево) типа id, parentid, yesno. Как выбрать последние узлы в ветках с признаком "yes"? Т.е. если ветка кончается на "yes" - берем конечный узел, если нет - проверяем предыдущий узел и так вверх по ветке.
А можете саму таблицу показать ?
источник

MZ

Morgan Ziegler in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ну например
id       parentid    yesno
1        null            no
2        null            no
3        1                yes
4        1                yes
5        3                no
6        2                yes
7        4                yes

В результат должны попасть 3, 6 ,7
источник

AZ

Alexander Zlenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Morgan Ziegler
Ну например
id       parentid    yesno
1        null            no
2        null            no
3        1                yes
4        1                yes
5        3                no
6        2                yes
7        4                yes

В результат должны попасть 3, 6 ,7
источник

V

Vladimir in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Morgan Ziegler
Ну например
id       parentid    yesno
1        null            no
2        null            no
3        1                yes
4        1                yes
5        3                no
6        2                yes
7        4                yes

В результат должны попасть 3, 6 ,7
SELECT id
FROM(
 SELECT  id,
     parentid,
     ROW_NUMBER()OVER(PARTITION BY parentid ORDER BY id, parentid) as row_num
 FROM(
   SELECT * FROM table
   WHERE yesno = 'yes') as t1
 ) as t2
WHERE row_num = 1
источник

A.

Avy . . . in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
pip install Translator
источник

SA

Sergey Anikin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Коллеги, кто мог бы развернуть на комп под виндой за денежку готовый год с гитхаба? нейросеть заменяющаю лицо из картинки в картинку (видео не нужно). запустить провести тест что работает.
источник

W_

Wad _B in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey Anikin
Коллеги, кто мог бы развернуть на комп под виндой за денежку готовый год с гитхаба? нейросеть заменяющаю лицо из картинки в картинку (видео не нужно). запустить провести тест что работает.
А что за код
источник

DK

Danil Kalinin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Всем привет!
Пытаюсь зафайнтюнить efficientnet B0 (imagenet weights) под свой датасет. Сразу после разморозки блоков (итеративно делаю trainable с 7a до 1a) растет loss на первой эпохе, потом снова снижается.
Не подскажите почему такое может быть?

UPD решилось
Проблема была в early stopping-e
источник

VS

Viktoria Steshenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
IT-шники, кто в теме?

Допустим я скачала список всех зарегистрированных действующих лекарств без наркотических веществ в РФ например это 7тыс шт, хочу как-то добавить целые инструкции к каждой (инструкции находятся по первым ссылкам в гугл или может есть уже готовые медицинские сайты с описанием самих лекарств) - парсить или как?

Дальше хочу создать небольшой фильтр поиск по тексту, например, найти такие слова и фразы как "отёк" и "другие аллергические реакции". И исключить все с этими словами и фразами. Это вообще какие инструменты, куда смотреть? Python с какой-нибудь библиотекой такое умеет? Если да, то с какой?

Допустим дальше я хочу фильтровать по классификатору болезней (такое уже делают на мед. сайтах). Скопировать код и изменить немного как нужно?

Дальше хочу найти все возможные слова из рецептов как ещё описывают аллергии и добавить их в фильтр. Это тоже парсить?

И как-то все это собрать, чтобы фильтр запускать, когда понадобится

Посоветуете, куда смотреть?)
источник

4

414D in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Viktoria Steshenko
IT-шники, кто в теме?

Допустим я скачала список всех зарегистрированных действующих лекарств без наркотических веществ в РФ например это 7тыс шт, хочу как-то добавить целые инструкции к каждой (инструкции находятся по первым ссылкам в гугл или может есть уже готовые медицинские сайты с описанием самих лекарств) - парсить или как?

Дальше хочу создать небольшой фильтр поиск по тексту, например, найти такие слова и фразы как "отёк" и "другие аллергические реакции". И исключить все с этими словами и фразами. Это вообще какие инструменты, куда смотреть? Python с какой-нибудь библиотекой такое умеет? Если да, то с какой?

Допустим дальше я хочу фильтровать по классификатору болезней (такое уже делают на мед. сайтах). Скопировать код и изменить немного как нужно?

Дальше хочу найти все возможные слова из рецептов как ещё описывают аллергии и добавить их в фильтр. Это тоже парсить?

И как-то все это собрать, чтобы фильтр запускать, когда понадобится

Посоветуете, куда смотреть?)
SQL
источник

D

Dima in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Viktoria Steshenko
IT-шники, кто в теме?

Допустим я скачала список всех зарегистрированных действующих лекарств без наркотических веществ в РФ например это 7тыс шт, хочу как-то добавить целые инструкции к каждой (инструкции находятся по первым ссылкам в гугл или может есть уже готовые медицинские сайты с описанием самих лекарств) - парсить или как?

Дальше хочу создать небольшой фильтр поиск по тексту, например, найти такие слова и фразы как "отёк" и "другие аллергические реакции". И исключить все с этими словами и фразами. Это вообще какие инструменты, куда смотреть? Python с какой-нибудь библиотекой такое умеет? Если да, то с какой?

Допустим дальше я хочу фильтровать по классификатору болезней (такое уже делают на мед. сайтах). Скопировать код и изменить немного как нужно?

Дальше хочу найти все возможные слова из рецептов как ещё описывают аллергии и добавить их в фильтр. Это тоже парсить?

И как-то все это собрать, чтобы фильтр запускать, когда понадобится

Посоветуете, куда смотреть?)
Можно парсить-> pandas ,что бы не создаватт бд и работать с sql
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Для парсинга страниц с выдачей и инструкцией есть супец. В смысле, beautiful soup, считается вроде как самым подходящим для этой цели.
источник

VS

Viktoria Steshenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dima
Можно парсить-> pandas ,что бы не создаватт бд и работать с sql
Так понятнее, да, без создания бд. Пока просто брать готовый список лекарств и с ним работать
источник

VS

Viktoria Steshenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ivan
Для парсинга страниц с выдачей и инструкцией есть супец. В смысле, beautiful soup, считается вроде как самым подходящим для этой цели.
Посмотрю, что такое, спасибо
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
С фильтрами может оказаться сложнее, потому что русский язык велик и могуч. Пытаясь фильтровать по слову «отёк», можно пропустить документы с фразой «вызывает отёчность».
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Хотя я не врач, я не знаю, встречаются ли в инструкциях такие фразы, может там очень стандартизировано все. В любом случае для фильтра можно использовать какой-нибудь уже готовый движок полнотекстового поиска, который все эти филологические особенности разрулить
источник

VS

Viktoria Steshenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ivan
Хотя я не врач, я не знаю, встречаются ли в инструкциях такие фразы, может там очень стандартизировано все. В любом случае для фильтра можно использовать какой-нибудь уже готовый движок полнотекстового поиска, который все эти филологические особенности разрулить
Стандартизировано, но вариантов все равно много, поищу как лучше составить фразы.
Движок текстового поиска - ок
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Самый известный, который дружит с русским языком это Sphinx, но он требует отдельной установки и настройки. Полнотекстовый поиск есть в SQLite, можно на python просто в память загрузить и искать, или на диск сдампить, чтобы не загружать данные каждый раз, но не знаю, в какой мере там с русским языком работает. Воообще на хабре была серия статей про написание своего примитивного поиска на том же python, если готовое совсем нельзя
источник

VS

Viktoria Steshenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ivan
Самый известный, который дружит с русским языком это Sphinx, но он требует отдельной установки и настройки. Полнотекстовый поиск есть в SQLite, можно на python просто в память загрузить и искать, или на диск сдампить, чтобы не загружать данные каждый раз, но не знаю, в какой мере там с русским языком работает. Воообще на хабре была серия статей про написание своего примитивного поиска на том же python, если готовое совсем нельзя
Спасибо за помощь)
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Для полноты счастья, надо убедиться, что в инструкциях есть ссылки на МКБ, ну или в МКБ есть перечень того, чем лечить. Я так понял, надо по болезни выбрать препараты.
источник