В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Python для анализа данных

1597 membersпожаловаться на группу
2020 November 19

А

Алексей in Python для анализа данных
Алексей
Да. Вторым необязательным параметром кидаю df для мапинга. Если новое значение появляется, то оно добавляется в df с новым интом. Возвращается series c интами и обновлённый df для маппинга
Написал функцию
def autonum(series, df_rules_encr=None):
   ....
   return result_series , return_df_rules
источник
09:27пожаловаться#1

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
Я хэши не считаю а генерирую интовые значения. Это же плюс-минус одно и тоже? Я только делаю дополнительное действие с расчётом максимального id.
не бойся если ты один бойся если ты два (с)

мне кажется библиотек таких полно. Просто в России это не нужно. Несмотря на ФЗ о защите персональных данных.
источник
09:38пожаловаться#2

А

Алексей in Python для анализа данных
Pavel Zheltouhov
не бойся если ты один бойся если ты два (с)

мне кажется библиотек таких полно. Просто в России это не нужно. Несмотря на ФЗ о защите персональных данных.
Мне тоже так кажется, что должны быть библиотеки решающие этот вопрос. Поэтому и спросил.
По поводу защиты ПД в РФ в точку. Я ещё работаю с фин показателями.
Слишком правильный, наверное, в части доступов к информации, поэтому и заморочился маскировкой.
источник
09:49пожаловаться#3

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
Мне тоже так кажется, что должны быть библиотеки решающие этот вопрос. Поэтому и спросил.
По поводу защиты ПД в РФ в точку. Я ещё работаю с фин показателями.
Слишком правильный, наверное, в части доступов к информации, поэтому и заморочился маскировкой.
ничего кроме гугла предложить не могу (я же тоже в России)

https://qxf2.com/blog/anonymize-data-using-faker/

https://github.com/samiriff/anonymizer
Qxf2 BLOG
Anonymize data using Python Faker - Qxf2 BLOG
Anonymize your sensitive data with python faker library is very easy. It has the support of 158 different methods each of which will generate fake data for you
источник
09:50пожаловаться#4

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
Мне тоже так кажется, что должны быть библиотеки решающие этот вопрос. Поэтому и спросил.
По поводу защиты ПД в РФ в точку. Я ещё работаю с фин показателями.
Слишком правильный, наверное, в части доступов к информации, поэтому и заморочился маскировкой.
вообще интересно, конечно, дошли ли в Амазоне до какого-нибудь маразма, что анонимизируют данные при передаче между отделами  ?
источник
10:00пожаловаться#5

А

Алексей in Python для анализа данных
Pavel Zheltouhov
вообще интересно, конечно, дошли ли в Амазоне до какого-нибудь маразма, что анонимизируют данные при передаче между отделами  ?
Можно же обмениваться не текстовыми описаниями а id в бд.
Например таблицы с заказами: datetime, client_id, order_id, product_id, price
С данными такой структуры можно работать и делать какие то выводы, но понять что там кроется за id можно только по косвенным признакам. При этом когда заказчик получит результирующую таблицу и сджойнит "свои" данные, то всё станет понятно.
источник
10:10пожаловаться#6

А

Алексей in Python для анализа данных
Другое дело, что работать с понятными данными легче чем с теми же хэшами или idшниками
источник
10:11пожаловаться#7

СИ

Сергей Ильин... in Python для анализа данных
Алексей
Другое дело, что работать с понятными данными легче чем с теми же хэшами или idшниками
порой, можно попросить или самому нагенерить синтетические данные
источник
10:26пожаловаться#8

СИ

Сергей Ильин... in Python для анализа данных
Pavel Zheltouhov
вообще интересно, конечно, дошли ли в Амазоне до какого-нибудь маразма, что анонимизируют данные при передаче между отделами  ?
это не маразм, в общем, как по мне.
источник
10:26пожаловаться#9

PZ

Pavel Zheltouhov in Python для анализа данных
Сергей Ильин
это не маразм, в общем, как по мне.
а у вас лично телеметрия вся в винде отключена?
вы же осознаете что противодействуя сбору данных, наносите себе вред?
источник
10:31пожаловаться#10

СИ

Сергей Ильин... in Python для анализа данных
Ruslan
Ребят, подскажите, пожалуйста, кто-нибудь считал эластичность спроса по цене ? Как это делается на большом количестве товаров ? Нужен best practice
это те же самые временные ряды, в общем.
гуглите LSTM,  как вариант.

ну и первые три ссылки хабра можно глянуть:

https://habr.com/ru/company/ozontech/blog/431950/

https://habr.com/ru/company/datawiz/blog/271169/

https://habr.com/ru/post/421429/
Хабр
Как прогнозировать спрос и автоматизировать закупки с помощью machine learning: кейс Ozon
В интернет магазине Ozon есть примерно всё: холодильники, детское питание, ноутбуки за 100 тысяч и т.д. Значит, все это есть и на складах компании — и чем дольш...
источник
10:32пожаловаться#11

СИ

Сергей Ильин... in Python для анализа данных
Pavel Zheltouhov
а у вас лично телеметрия вся в винде отключена?
вы же осознаете что противодействуя сбору данных, наносите себе вред?
не, я о другом совершенно. вы сказали “между отделами”. может ли так быть, что какие-то данные не стоит показывать всем подряд?
источник
10:34пожаловаться#12

А

Алексей in Python для анализа данных
Сергей Ильин
это не маразм, в общем, как по мне.
Поддерживаю.
Нужно балансировать между таким "маразмом" и открытостью данных.
Один передал данные без "маскировки", второй положил их в облако подразделения, третий переслал все данные что бы получатель взял "то что ему надо".
В итоге четвёртый получил информацию, о которой ему, например, знать не положено.
По сути все делали "как делали раньше" только первый решил что это маразм и скинул всю выгрузку.
источник
10:36пожаловаться#13

СИ

Сергей Ильин... in Python для анализа данных
Алексей
Поддерживаю.
Нужно балансировать между таким "маразмом" и открытостью данных.
Один передал данные без "маскировки", второй положил их в облако подразделения, третий переслал все данные что бы получатель взял "то что ему надо".
В итоге четвёртый получил информацию, о которой ему, например, знать не положено.
По сути все делали "как делали раньше" только первый решил что это маразм и скинул всю выгрузку.
+
источник
10:37пожаловаться#14

PZ

Pavel Zheltouhov in Python для анализа данных
Алексей
Поддерживаю.
Нужно балансировать между таким "маразмом" и открытостью данных.
Один передал данные без "маскировки", второй положил их в облако подразделения, третий переслал все данные что бы получатель взял "то что ему надо".
В итоге четвёртый получил информацию, о которой ему, например, знать не положено.
По сути все делали "как делали раньше" только первый решил что это маразм и скинул всю выгрузку.
а как же будет развиваться наука без данных?
источник
10:37пожаловаться#15

PZ

Pavel Zheltouhov in Python для анализа данных
Вообще существование Метода Главных Компонент вас не напрягает?
А то,что в широко известном набор данных Нью-Йорского такси можно кучу людей деанонимизировать, не напрягает?
источник
10:38пожаловаться#16

M

Mikhail in Python для анализа данных
гайз, подскажите библиотеку для работы с ОС (интересует создание папки)
источник
10:38пожаловаться#17

А

Алексей in Python для анализа данных
Mikhail
гайз, подскажите библиотеку для работы с ОС (интересует создание папки)
os
источник
10:38пожаловаться#18

M

Mikhail in Python для анализа данных
Алексей
os
спасиб, нашел)
источник
10:40пожаловаться#19

СИ

Сергей Ильин... in Python для анализа данных
Pavel Zheltouhov
Вообще существование Метода Главных Компонент вас не напрягает?
А то,что в широко известном набор данных Нью-Йорского такси можно кучу людей деанонимизировать, не напрягает?
есть что-то, что должно быть точно открыто, а что-то - точно нет.
порой это и вопрос безопасности, и вопросы конкуренции / ноу-хау и все вот это
источник
10:47пожаловаться#20