Size: a a a

Python для анализа данных

2021 November 16

VM

Valerii Mamontov in Python для анализа данных
я попытался разложить данные (предположил, что в этом была конечная цель)
а скопировать текст внутрь одной колонки датафрейма - это же совсем просто
источник

VM

Valerii Mamontov in Python для анализа данных
Добрый. Запрограммировать можно всё что угодно. Вопрос времени и целосообразности.
источник

E

Ekaterina in Python для анализа данных
В какую сторону хотя бы смотреть и куда копать?
источник

AK

Anup Kuplu in Python для анализа данных
Обработка отсутствующих данных в машинном обучении

https://dev-gang.ru/article/obrabotka-otsutstvuusczih-dannyh-v-mashinnom-obuczenii-2o48hlbqws/

@machinelearning_ru
источник

I

Igor in Python для анализа данных
with open('./nested_data.txt', 'r') as f:
   data = pd.DataFrame.from_dict({x.split('=')[0]:x.split('=')[1].split(';') for x in f.readlines()}, orient='index')
источник

I

Igor in Python для анализа данных
Вот всё что Вы написали в двух строках
источник

VM

Valerii Mamontov in Python для анализа данных
1. Веб-разработка.
Можно реализовать через веб-приложение.
а) считать данные из сводной таблицы и представить в виде html-страницы (все ячейки кликабельны)
б) при клике на нужную ячейку формируются нужные данные и появляется ссылка "скачать данные"

2. Tableau.
а) соединиться с БД (или загрузить csv-файл)
б) создать дашборд
источник

VM

Valerii Mamontov in Python для анализа данных
очень круто)
1. я люблю максимально просто "раскладывать" код.
мой опыт говорит, что такой код поддерживать проще и модифицировать тоже
2. в чате много ребят с начальными знаниями и (по возможности) я пишу код для них тоже
источник

VM

Valerii Mamontov in Python для анализа данных
я внимательно посмотрел часть кода со "слайсом" и нашёл ошибку в своём коде((
Спасибо за комментарий!🤝
источник

DS

Denys Sedykh in Python для анализа данных
В питоне совсем новичок, подскажите пожалуйста, как его правильно дополнить

Мой код

import json

path = 'result.json'
data = []

with open(path, "r") as f:
   data = json.load(f)
for i in data['messages']['text']:
           print(i['type'])



Пример текста из json-файла


"messages": [

{
  "id": 27451,
  "type": "message",
  "date": "2021-05-16T22:05:37",
  "from": "Uniswap Listings",
  "from_id": "channel1122797258",
  "text": [
   "‼️ New token/pair on Uniswap v3: Meme Token (MEME)\n",
   {
    "type": "link",
    "text": "https://uniswap.info/token/0x825cfe188ab665426323f8c635664d6e175c6ec0"
   },
   ""


Как мне отредактировать код, чтобы вытащить Meme Token (MEME) и остальные значение в файле, если учесть, что сообщения такие блоки типовые?
источник

АМ

Алексей Макаров... in Python для анализа данных
Ключ text лежит внутри словаря messages[0]. Поэтому ваш код будет сыпаться на строчке, for i in data['messages']['text’]

Вам нужно сделать внутри цикла по data[‘messages’] ещё один цикл по содержимому i[‘text] и если тип итерируемой переменной будет словарём, то вы можете вытаскивать type

Надеюсь понятно объяснил. В общем, разберитесь в структуре данных

А ещё рекомендую для парсинга сообщений в telegram посмотреть в сторону каких-то json-парсеров типа jmespath
источник

GK

Georgii Kontsevik in Python для анализа данных
Ты можешь проверять через isinstance какое значение тебе приходит - словарь / список / строка. Или чекать на совпадение с конкретным значением.
источник

T

Tishka17 in Python для анализа данных
0_о зачем, тут разве не фиксированные типы?
источник

T

Tishka17 in Python для анализа данных
цикл по сообщениям, для каждого цикл по text
источник

GK

Georgii Kontsevik in Python для анализа данных
а ну да тогда так :)
а то я забыл и хотел предложить рекурсивно искать
источник

T

Tishka17 in Python для анализа данных
Это даже не рекурсивно, а просто два вложенных цикла
источник

DS

Denys Sedykh in Python для анализа данных
Спасибо за ответы :)
источник

VM

Valerii Mamontov in Python для анализа данных
json - это словарь, который состоит из:
- ключ
- значение

Значением словаря может быть список или другой словарь. Почитайте, как работает Python со словарями и как работает со списками.
Эти две структуры данных (словари и списки) помогут понять как устроен json.

Это... как коробка, с кучей коробочек внутри.
Или коробка, в которой несколько полок и на каждой полке куча коробочек.

Тут... бесполезно объяснять - создайте словарь со списком внутри. Попрактикуйтесь доставать из него элементы. Через какое-то время придёт понимание, как оно всё устроено.


json = {
   'key1': [{'a': 1, 'b': 2}, {'a': 100, 'b': 200}],
   'key2': ['token-A', 'token-B', 'token-C'],
   'key3': [{'x': [44, 55], 'y': [0, 1]}],
}

print(json['key1'])
print('json:', type(json))
print('type:', type(json['key1']))
print('dlen:', len(json['key1']))
print('key1, first item:', json['key1'][0])

# [{'a': 1, 'b': 2}, {'a': 100, 'b': 200}]
# json: <class 'dict'>
# type: <class 'list'>
# dlen: 2
# key1, first item: {'a': 1, 'b': 2}
источник

T

Tishka17 in Python для анализа данных
Шта
источник

VM

Valerii Mamontov in Python для анализа данных
если ошибаюсь, то поправьте меня)
источник