В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2007 membersпожаловаться на группу
2020 October 29

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
с обычными-то эвристиками расписывать приходится, как матчинг в каждом конкретном кейсе происходит, а уж если чёрный ящик типа нейронки, там фиг что докажешь
ну локальные расписывальщики обсудили, они применимы безотносительно что в функции predict происходит, и еще тебе нарисуют красивые графики и интерактивные апплеты где ты можешь спросить как будут меняться предсказания
источник
15:56пожаловаться#1

AZ

Anton Zadorozhniy in Data Engineers
SHAP, LIME - практически стандартные, мы в своем AnalyticOps уже даже все модели-примеры ими оснастили
источник
15:57пожаловаться#2

AE

Alexey Evdokimov in Data Engineers
нам предсказывать не надо, нам тока корректно классифицировать по мильёну параметров
источник
15:57пожаловаться#3

AE

Alexey Evdokimov in Data Engineers
предсказаниями пусть астрологи занимаются
источник
15:57пожаловаться#4

AE

Alexey Evdokimov in Data Engineers
у нас поведенческий анализ постфактум, не попытка предсказать куда завтра народ ломанётся
источник
15:58пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
классификация это такая же задача как предсказание для МЛ, эти эксплейнеры работают точно также на классификаторах как и на регрессиях
источник
16:00пожаловаться#6

AA

Anton Alekseev in Data Engineers
Alexey Evdokimov
у нас поведенческий анализ постфактум, не попытка предсказать куда завтра народ ломанётся
ну тогда тут биморф поможет.😁
источник
16:00пожаловаться#7

AE

Alexey Evdokimov in Data Engineers
хех.

модель, обученная на лондоне, не работает в хельсинках и москве.

а набор эвристик — работает.
источник
16:01пожаловаться#8

AE

Alexey Evdokimov in Data Engineers
а обучать на каждый город присутствия как обычно не по бюджету
источник
16:01пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
хех.

модель, обученная на лондоне, не работает в хельсинках и москве.

а набор эвристик — работает.
набор эвристик это в известном смысле такая же модель, только полученная не каким-то градиентным спуском, а из головы эксперта
источник
16:03пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
вопрос о том что SME на дистанции сможет работать лучше чем модели вроде давно решили (не сможет), но мб у вас улучшения от нормальных моделей не окупают их обучение, это другой вопрос, так часто бывает
источник
16:05пожаловаться#11

AE

Alexey Evdokimov in Data Engineers
о чём и речь. слишком дорого учить, датасеты кардинально разного качества в разное время по одинаковым территориям даже
источник
16:09пожаловаться#12

AE

Alexey Evdokimov in Data Engineers
так что появился проект — написали на питоне, потестили, проверили, доказали, а потом переписали на жабе и вытащили кучку настроек, которые можно тюнить для следующего проекта, если в нём те же параметры, но датасет другой
источник
16:10пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
можно проложить абстракцию (условно назвать ее фичестор) и кормить обучение и сервинг из нее, а готовить данные для фичастора уже индивидуально в каждом случае
источник
16:19пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
некоторые так делают, и это даже работает)
источник
16:20пожаловаться#15

AE

Alexey Evdokimov in Data Engineers
сложна
источник
16:30пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
зато очень удобно, сразу встроенный аудит, расширяемые метаданные, меньше жмут проблемы дата дискавери, все счастливы
источник
16:41пожаловаться#17

АА

Алексей Артамонов... in Data Engineers
@dartov а не подскажешь jupyterhub надо на всех нодах ставить?  я что-то запутался
источник
16:44пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
Алексей Артамонов
@dartov а не подскажешь jupyterhub надо на всех нодах ставить?  я что-то запутался
https://jupyterhub-on-hadoop.readthedocs.io/en/latest/manual-spawner.html#specifying-python-environments
источник
16:49пожаловаться#19

АА

Алексей Артамонов... in Data Engineers
@dartov я извеняюсь конечно, но что-то подзапутался jupyterhub-yarnspawner я ставлю на всех нодах? proxy user я так же настраиваю на всех нодах. а саму настройку(jupyterhub_config.py) произвожу на одной неймноде?
потом надо готовлю Packaging a Conda Environment with Conda-Pack и кладу его уже в hdfs
источник
17:14пожаловаться#20