Size: a a a

Python для анализа данных

2021 August 12

PZ

Pavel Zheltouhov in Python для анализа данных
Подозреваю, что и многие тоже
источник

IS

Ilya Shutov in Python для анализа данных
На п.1 мне даже нечего ответить — тема "хочу / не хочу" ближе к психологии, чем к программированию.
На п.2 есть штатный ответ — пусть многие сами для себя решат и сами за себя говорят.

За сим предлагаю перейти в конструктив. Выложите сюда свою рабочую версию подхода. Будет интересно послушать мнение многих.
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Моя рабочая версия проста : "ребята, че вы там накодили? Сделайте мне нормальный json"
И все . Вопрос решен
источник

IS

Ilya Shutov in Python для анализа данных
Ответ не мальчика, но мужа.

Но не удержусь спросить.
А когда Вы с по-настоящему внешними системами интегрируетесь, Вы им также смело пишете?
Ну, например, с Госуслугами.

И чем этот json ненормальный? Это аналитику он как кость, а для разработчиков — там все просто, понятно и компактно.
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Разумеется, прокатывает на всегда. Обобщаю, но поменьше вашего.
источник
2021 August 13

ИД

Игорь Дубойский... in Python для анализа данных
Приветствую! Нужна помощь. Стоит задача загружать файлы на Google Диск. По статье Алексея Макарова написал код (прилагаю). Все работает, но мне нужно, чтобы json-файл с ключом аккаунта передавался по URL. И from_service_account_file() выдает ошибку, т.к. для нее http не подходит, как я понимаю. Опыта не много, поэтому без подсказки не обойтись. Вижу возможные варианты решения: 1) загрузить json-файл, но как это сделать, не пойму; 2) вставить json прямо в код и обращаться к нему, как к параметру, но опять же - как это сделать? Если не затруднит  - пара строчек кода, пример, скриншот или хотя бы на словах, может кто помочь? Благодарю ))
источник

EZ

Egor Zhulanov in Python для анализа данных
Добрый день!
Спасибо большое за отклик на задачу, я решил данную проблему, конечно же длиннее 1 строки способом, но он также отрабатывает на данных содержащих около 1 млн строк достаточно быстро, но не так как у вас.
Обязательно попробуй поработать с предложенной вами утилитой!!!
Мое решение данного вопроса:
df = pd.json_normalize(test)
pallet = pd.DataFrame(columns = ["sscc","packing_date","owner_id","owner_organization_name","childs"])
pachka = pd.DataFrame(columns = ["sgtin","sscc","status","gtin","expiration_date","batch","pallet"])
for i in range(len(pd.json_normalize(test))):
   sscc = pd.json_normalize(test[i]["down"])
   pallet = pd.concat([pallet,sscc]).reset_index(drop=True)
for i in range(len(pallet)):
   df_sgtin = pd.json_normalize(test[i]["down"]["childs"],["childs"])
   df_sgtin["pallet"] = "Nan"
   for f in range(len(df_sgtin)):
       df_sgtin["pallet"][f] = pallet["sscc"][i]
   pachka = pd.concat([pachka,df_sgtin]).reset_index(drop=True)
источник

EZ

Egor Zhulanov in Python для анализа данных
К сожалению гос.системы, на примере той, с которой возникла проблема у меня, не такие гибкие(от слова совсем), поэтому довольствуемся тем, что есть)
источник

IS

Ilya Shutov in Python для анализа данных
Егор, добрый день.
Да как увидел SSCC/SGTIN, сразу помаркой фармы повеяло.
Госуслуги были просто для аналогии.

В моем решении есть еще две важные предпосылки:
1. Компактный код всегда проще читать.  И коллеге и самому себе через несколько месяцев. Также компактность снижает сложность кода, упрощает отладку и повышает отказоустойчивость.
2. Далеко не все задачи, в т.ч. в DS полезно решать только одним инструментом. Это как с реальными инструментами. 10 в 1 куда хуже отдельного перфоратора, + отдельного шуруповерта + отдельной шлифмашины.
источник

EZ

Egor Zhulanov in Python для анализа данных
Вы абсолютно правы это маркировка фармы))
1. и 2. Полностью с вами согласен, стараемся писать человекочитаемый код и использовать множество инструментов)
источник

AK

Anup Kuplu in Python для анализа данных
🤗 Создайте приложение для резюмирования новостных статей с Hugging Face и Gradio

https://nuancesprog.ru/p/13479/

@machinelearning_ru
источник

IS

Ilya Shutov in Python для анализа данных
Павел, выстрел опять оказался холостой. Чтобы не разводить спам в чате в дальнейшем, я все Ваши (комментарии/вопросы) - шпильки буду оставлять без ответа. Прошу не обижаться и отнестись с пониманием. Ничего личного.
источник

ВД

Вечер Добрый... in Python для анализа данных
Господа, есть у кого-то тестовые для трейни/джуна дата аналитика?
источник

VM

Valerii Mamontov in Python для анализа данных
Здравствуйте!
Попробуйте скачать json и сохранить его на свой компьютер. После этого в скрипте укажите к нему путь.
Например, так:
# Передаваемые значения
data = '''
{
  "service_file": "C:/Users/Documents/walentina-322.json",
  "name": "12_08_2021_01.jpg",
  "folder_id": "1XZhrY914IG4vKyq4pn4LExMK-q3FFFR0",
  "url": "C:/Users/Documents/Image_2021_08_01.jpeg"
}
'''
источник

VM

Valerii Mamontov in Python для анализа данных
выкладывали в чате, используйте поиск
источник
2021 August 14

D

Daria in Python для анализа данных
товарищи, помогите, пожалуйста 🤯 ломаю голову, как заменить знак "/" только в тех строках pandas, где указанный знак разделяет цифры, но не заменять в тех, где он разделяет буквы.
пока что успешно заменяю через регулярку везде, но мне не везде это нужно 😅
условно, у меня есть строка "abc/efg 1/2", между буквами нужно слэш убрать, а между цифрами сохранить
источник

D

Dima🐼 in Python для анализа данных
str.replace('([a-zA-Z])/([a-zA-Z])', r'\1\2', regex=True)
источник

D

Dima🐼 in Python для анализа данных
что-то такое должно бы работать
источник

D

Daria in Python для анализа данных
спасибо, ща попробую!
источник

D

Daria in Python для анализа данных
ура, работает! спасибо)
остался один вопрос: куда вписать вместо исчезнувшего слэша замену его на пробел?
источник