Size: a a a

Python для анализа данных

2021 January 15

AK

Alex K in Python для анализа данных
а как я хз
источник

PZ

Pavel Zheltouhov in Python для анализа данных
ну кто они то? у Макдоналдса есть эти данные.
источник

AK

Alex K in Python для анализа данных
Pavel Zheltouhov
ну кто они то? у Макдоналдса есть эти данные.
а как получить?
источник

AK

Alex K in Python для анализа данных
я туповат во фронте
источник

AK

Alex K in Python для анализа данных
может и не в нем одном)
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Проще всего всего в браузере покопаться и попытаться выловить  информацию из network console.  сайт обычно  отдает живому браузеру в чем-то компактном.

Вот я тут вроде вижу  какой-то json.

Все остальное требует хакерского мышления.
источник

AK

Alex K in Python для анализа данных
понял
источник

МS

Мariia Smirnova in Python для анализа данных
Alex K
Народ, привет,  кто-нить может подсказать как использую библиотеку scrapy можно выдернуть метки с гугл карты?
а в твоем тестовом требуется использовать эту библиотеку? я просто не уверена, что она предоставляет функционал для работы с js-подобными объектами, для них есть geopy (конкретно для карт) и selenium
для парсинга кажется что нужно в первую очередь поковыряться с API яндекс карт и через JSON вытащить адреса, советую почитать доку
источник

AK

Alex K in Python для анализа данных
вроде нашёл
источник

PZ

Pavel Zheltouhov in Python для анализа данных
хакерское мышление подразумевает что доку читать не нужно)
источник

AK

Alex K in Python для анализа данных
Мariia Smirnova
а в твоем тестовом требуется использовать эту библиотеку? я просто не уверена, что она предоставляет функционал для работы с js-подобными объектами, для них есть geopy (конкретно для карт) и selenium
для парсинга кажется что нужно в первую очередь поковыряться с API яндекс карт и через JSON вытащить адреса, советую почитать доку
я вроде через network нашёл доступ, но наверн если библиотеками (geopy (конкретно для карт) и selenium) спарсю поэффектнее будет
источник

AK

Alex K in Python для анализа данных
Мariia Smirnova
а в твоем тестовом требуется использовать эту библиотеку? я просто не уверена, что она предоставляет функционал для работы с js-подобными объектами, для них есть geopy (конкретно для карт) и selenium
для парсинга кажется что нужно в первую очередь поковыряться с API яндекс карт и через JSON вытащить адреса, советую почитать доку
спасибо большое за подсказки
источник

МS

Мariia Smirnova in Python для анализа данных
Pavel Zheltouhov
хакерское мышление подразумевает что доку читать не нужно)
хакерское мышление скорее подразумевает, что дока прочитана))
источник

А

Александр in Python для анализа данных
Mikhail ADN Smotrin
Выглядит так, будто то, что отдаёт вам result, пишет в нее не лучшим образом.
Я для запросов, возвращающих json, использую ф-цию(дальше ее частный случай):
def call_to_API (json_url):
   res = requests.get(json_url)
   data = json.loads(res.content.decode('utf-8'))
   indexes=list(data.keys())
   header=list(data[indexes[0]].keys())
   df = pd.DataFrame ({
   })
   df['groupby']=indexes
   for h in header:
       spisok = []
       for t in df['groupby']:
           try:
               spisok.append(data[t][h])
           except:
               spisok.append('0')
       df[str(h)]=spisok
   return df

И получаю датафрейм без потерь полей. Возможно вам будет удобнее сразу записать в result датафрейм отредактированной ф-цией, чем работать с текстом JSON.
Спасибо, завтра попробую, а то уж с циклами смирился.
источник

AK

Alex K in Python для анализа данных
получается сохранил мак и бургеркинг, а вот kfc вроде не передаёт XHR или я не могу прочитать его нормально. Хотя у них и спсиком можно и на карте
источник

МS

Мariia Smirnova in Python для анализа данных
Alex K
получается сохранил мак и бургеркинг, а вот kfc вроде не передаёт XHR или я не могу прочитать его нормально. Хотя у них и спсиком можно и на карте
тебе в этом кейсе надо спарсить адреса не с карты, а текстом указанные на сайте?
источник

AK

Alex K in Python для анализа данных
Мariia Smirnova
тебе в этом кейсе надо спарсить адреса не с карты, а текстом указанные на сайте?
хоть как
источник

AK

Alex K in Python для анализа данных
просто получить адреса
источник

МS

Мariia Smirnova in Python для анализа данных
Alex K
хоть как
если они указаны текстом, то через beautifulsoup4 парсишь HTML  страницы и извлекаешь нужные текстовые поля по id/ классу, названия которых через консоль в браузере можно узнать
источник

KP

Konstantin Petrov in Python для анализа данных
А кинуть 500р на kwork  и пойти спать, это хакерское решение?😄
источник