SE
а права на bigquery job user?
Size: a a a
2021 February 19
A
Там история на чтение попроще, а на запись и создание - посложнее. Я сам настройки не ковырял - не подскажу точнее
A
Насколько помню, там есть админ и админ_с_нужными_правами
VM
Подскажите в какую сторону копать - нужно соединить кучу эксель файлов в один, написал скрипт, но у меня там в файле в колонке телефон тип данных текст, из-за этого при мердже файлов телефон "теряет" символы
import pandas as pd
from os.path import isfile, join
import os
mypath = r'C:\files\excel'
#files_path = [os.listdir(mypath)]
files_path = [os.path.join(mypath,x) for x in os.listdir(mypath)]
# print (files_path)
all_file_frames = []
for x in files_path:
print('Reading %s'%x)
tab = pd.read_excel(x)
all_file_frames.append(tab)
all_frame = pd.concat(all_file_frames,axis=0)
all_frame.to_excel('final_file.xlsx')
покажите ИСХОДНЫЙ формат столбца и ТО, ЧТО получилось на выходе
A
Подскажите в какую сторону копать - нужно соединить кучу эксель файлов в один, написал скрипт, но у меня там в файле в колонке телефон тип данных текст, из-за этого при мердже файлов телефон "теряет" символы
import pandas as pd
from os.path import isfile, join
import os
mypath = r'C:\files\excel'
#files_path = [os.listdir(mypath)]
files_path = [os.path.join(mypath,x) for x in os.listdir(mypath)]
# print (files_path)
all_file_frames = []
for x in files_path:
print('Reading %s'%x)
tab = pd.read_excel(x)
all_file_frames.append(tab)
all_frame = pd.concat(all_file_frames,axis=0)
all_frame.to_excel('final_file.xlsx')
Бывает на кодировке бьётся, + encoding='utf-8' стоит добавить
a
покажите ИСХОДНЫЙ формат столбца и ТО, ЧТО получилось на выходе
это можно из кода принтануть? в экселе просто общий формат, который эксель предлагает перевести в текст. был телефон в общем вот такой 050515 - стал такой 50515
a
Бывает на кодировке бьётся, + encoding='utf-8' стоит добавить
а куда добавить, не подскажите?
a
в итоге я выполнил исходную задачу - смерджить файлы, поле телефон не нужно, но для себя интересно узнать как этот кейс решить
AO
это можно из кода принтануть? в экселе просто общий формат, который эксель предлагает перевести в текст. был телефон в общем вот такой 050515 - стал такой 50515
При импорте файлов для поля с телефоном можно написать dtype=object
Что-то типа pd.read_excel(...dtype={"phone":object})
Что-то типа pd.read_excel(...dtype={"phone":object})
a
При импорте файлов для поля с телефоном можно написать dtype=object
Что-то типа pd.read_excel(...dtype={"phone":object})
Что-то типа pd.read_excel(...dtype={"phone":object})
спасибо, попробую
VM
в итоге я выполнил исходную задачу - смерджить файлы, поле телефон не нужно, но для себя интересно узнать как этот кейс решить
да, проблема в этом
можно указать явно - колонка имеет текстовый формат ("str")
можно указать явно - колонка имеет текстовый формат ("str")
pd.read_excel('tmp.xlsx', dtype={'Name':str, 'Value':float})SE
Там история на чтение попроще, а на запись и создание - посложнее. Я сам настройки не ковырял - не подскажу точнее
Спасибо, правда дело в правах было
a
При импорте файлов для поля с телефоном можно написать dtype=object
Что-то типа pd.read_excel(...dtype={"phone":object})
Что-то типа pd.read_excel(...dtype={"phone":object})
спасибо, помогло 👍
АМ
Приглашаем начинающих аналитиков данных на стажировку в Яндекс!
Что это? От трёх до шести месяцев оплачиваемой работы в реальном проекте бок о бок с опытным ментором и командой крутых разработчиков. Вы сможете выйти на стажировку уже сейчас — неполная занятость и гибкий график позволяют совмещать работу с учёбой — или пройти интервью и получить оффер на лето.
Чем заниматься? Аналитики в Яндексе собирают, обрабатывают, изучают и анализируют данные, помогая бизнесу принимать правильные решения. Примеры реальных задач можно узнать из статьи.
Где: Москва, офис Яндекса. Если вы из другого города, мы оплатим дорогу и проживание в Москве.
От кандидатов ждём:
- уверенных знаний теории вероятностей и математической статистики,
- уверенных навыков написания кода на Python,
- знание базовых алгоритмов и структур данных.
Этапы отбора: тестовое задание, 2-3 технических интервью и знакомство с командами.
Как откликнуться? Заполнить заявку можно на сайте https://clck.ru/TLbsS
Что это? От трёх до шести месяцев оплачиваемой работы в реальном проекте бок о бок с опытным ментором и командой крутых разработчиков. Вы сможете выйти на стажировку уже сейчас — неполная занятость и гибкий график позволяют совмещать работу с учёбой — или пройти интервью и получить оффер на лето.
Чем заниматься? Аналитики в Яндексе собирают, обрабатывают, изучают и анализируют данные, помогая бизнесу принимать правильные решения. Примеры реальных задач можно узнать из статьи.
Где: Москва, офис Яндекса. Если вы из другого города, мы оплатим дорогу и проживание в Москве.
От кандидатов ждём:
- уверенных знаний теории вероятностей и математической статистики,
- уверенных навыков написания кода на Python,
- знание базовых алгоритмов и структур данных.
Этапы отбора: тестовое задание, 2-3 технических интервью и знакомство с командами.
Как откликнуться? Заполнить заявку можно на сайте https://clck.ru/TLbsS
ИК
Приглашаем начинающих аналитиков данных на стажировку в Яндекс!
Что это? От трёх до шести месяцев оплачиваемой работы в реальном проекте бок о бок с опытным ментором и командой крутых разработчиков. Вы сможете выйти на стажировку уже сейчас — неполная занятость и гибкий график позволяют совмещать работу с учёбой — или пройти интервью и получить оффер на лето.
Чем заниматься? Аналитики в Яндексе собирают, обрабатывают, изучают и анализируют данные, помогая бизнесу принимать правильные решения. Примеры реальных задач можно узнать из статьи.
Где: Москва, офис Яндекса. Если вы из другого города, мы оплатим дорогу и проживание в Москве.
От кандидатов ждём:
- уверенных знаний теории вероятностей и математической статистики,
- уверенных навыков написания кода на Python,
- знание базовых алгоритмов и структур данных.
Этапы отбора: тестовое задание, 2-3 технических интервью и знакомство с командами.
Как откликнуться? Заполнить заявку можно на сайте https://clck.ru/TLbsS
Что это? От трёх до шести месяцев оплачиваемой работы в реальном проекте бок о бок с опытным ментором и командой крутых разработчиков. Вы сможете выйти на стажировку уже сейчас — неполная занятость и гибкий график позволяют совмещать работу с учёбой — или пройти интервью и получить оффер на лето.
Чем заниматься? Аналитики в Яндексе собирают, обрабатывают, изучают и анализируют данные, помогая бизнесу принимать правильные решения. Примеры реальных задач можно узнать из статьи.
Где: Москва, офис Яндекса. Если вы из другого города, мы оплатим дорогу и проживание в Москве.
От кандидатов ждём:
- уверенных знаний теории вероятностей и математической статистики,
- уверенных навыков написания кода на Python,
- знание базовых алгоритмов и структур данных.
Этапы отбора: тестовое задание, 2-3 технических интервью и знакомство с командами.
Как откликнуться? Заполнить заявку можно на сайте https://clck.ru/TLbsS
Всегда любил требования яндекса к кандидатам)
A
Игорь Кудрешов
Всегда любил требования яндекса к кандидатам)
За последние несколько лет аналитики - самые востребованные в Яндексе, в куче департаментов
ИК
За последние несколько лет аналитики - самые востребованные в Яндексе, в куче департаментов
А системные аналитики у них как пользуются спросом?
MC
Игорь Кудрешов
А системные аналитики у них как пользуются спросом?
Системные из другой песочницы))
A
Игорь Кудрешов
А системные аналитики у них как пользуются спросом?
Больше всего - именно человеки-запросы)
ИК
Больше всего - именно человеки-запросы)
😆😆Человеки запросы