Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 November 01

S

Stanislav in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Всем привет, есть в колонке строковые значения, что то типо
Тип1, Тип2, Тип3 = все они являются частью ГлобальныйТип1
как можно в пандас сделать реплейс внутри?
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Привет всем, что дает значение энтропии фич даты ?
Что можно сказать о дате видя значения энтропии каждой из фич ?
Если значения всех фич очень высокие, говорит ли это о сложности кластеризации данных ?
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
Привет всем, что дает значение энтропии фич даты ?
Что можно сказать о дате видя значения энтропии каждой из фич ?
Если значения всех фич очень высокие, говорит ли это о сложности кластеризации данных ?
чем ниже энтропи, тем лучше фича для сплита. вообще измерятеся в information gain, в том сколько "информации" в себе несет отдельная фича
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Islom Babaev
чем ниже энтропи, тем лучше фича для сплита. вообще измерятеся в information gain, в том сколько "информации" в себе несет отдельная фича
information gain(data set) = info(set) - entropy(feature), по этой формуле вычисляется
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Islom Babaev
information gain(data set) = info(set) - entropy(feature), по этой формуле вычисляется
Что в данном обозначение info(set)?
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
Что в данном обозначение info(set)?
info(data set)
источник

DD

David Dale in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
Привет всем, что дает значение энтропии фич даты ?
Что можно сказать о дате видя значения энтропии каждой из фич ?
Если значения всех фич очень высокие, говорит ли это о сложности кластеризации данных ?
Насколько я знаю, обычно измеряют не само абсолютное значение энтропии, а то, насколько оно уменьшается в результате какого-то действия, например, сплита в дереве решений. А какую энтропию считать абстрактно "высокой", без сравнений, не очень понятно.
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
формула энтропи -1 * sum(pi*log2pi)
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
где pi это вероятность отдельного сэмпла по какому либо фичеру
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
David Dale
Насколько я знаю, обычно измеряют не само абсолютное значение энтропии, а то, насколько оно уменьшается в результате какого-то действия, например, сплита в дереве решений. А какую энтропию считать абстрактно "высокой", без сравнений, не очень понятно.
чем ниже энтропи, тем лучше для фичера
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
но при каждом сплите оно повышается
источник

IB

Islom Babaev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
то есть меньше и меньше дает отдельная фича
источник

DD

David Dale in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
Привет всем, что дает значение энтропии фич даты ?
Что можно сказать о дате видя значения энтропии каждой из фич ?
Если значения всех фич очень высокие, говорит ли это о сложности кластеризации данных ?
Ну и высокая энтропия фичи говорит о том, что её значения очень разнообразные, а это скорее означает наоборот, что там какие-то кластеры можно выделить.
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Хм... Кто-то посоветовал в контексте кластеризации посмотреть изначальную энтропию данных, я тогда не совсем понимаю, что он имел ввиду, так как вообще то логичнее смотреть энтропию в контексте классификации.
источник

СВ

Сергей Васильев... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Переслано от Сергей Васильев...
ребят, если у меня есть сохраненная модель, могу ли я вытянуть из нее ее структуру? Количество и тип слоёв, например?
источник

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Сергей Васильев
Переслано от Сергей Васильев
ребят, если у меня есть сохраненная модель, могу ли я вытянуть из нее ее структуру? Количество и тип слоёв, например?
Да, почему нет. Импортировать модель в соответствующий фреймворк и там посмотреть, как это делается.
источник

KP

Kostas PONOMAREW in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ребят, доброго вечера, вопрос такой, кто знает как подготовить собственный датасет для многозначной классификации при помощи tensorflow(keras)?
источник

KP

Kostas PONOMAREW in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Смотрел видео на эту тему, делал всё как в видео, и подгонял под мой случай, но возникала ошибка
источник

KP

Kostas PONOMAREW in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Если у кого-то есть какие-то ссылки на статьи, буду благодарен
источник
2020 November 02

DK

Danil Kalinin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Kostas PONOMAREW
Ребят, доброго вечера, вопрос такой, кто знает как подготовить собственный датасет для многозначной классификации при помощи tensorflow(keras)?
Какой именно этап интересует?
источник