Коллеги, привет!
Есть запрос к таблице на Postgress, подключаемся как через коннектор Postgress, так и через ODBC.
В таблице 8 млн строк, в базе занимает 4Gb.
Обновляется на компьютере порядка 40 минут — 2 часа, в зависимости от интернета.
Часто не обновляется, пишет, что не хватает оперативки.
Файл pbix занимает порядка 700Mb.
Компьютер i7, 16Gb, SSD 300Gb свободно
Сервер Postgress: Амазон, 8 ядер, 32Gb, 1Tb SSD
Интернет обычный 100-300Мб
Вопрос: это нормально, что при такой конфигурации компа и сервера данные тянутся по 40минут-2часа, и иногда не хватает оперативки?
Или же требуется оптимизация железа, запросов?
Может есть какие-то рекомендации по работе с данными при их объёме от XXX Гб/строк?
Коллеги, возник затык на больших таблицах.
Конкретные значения в сообщении выше.
Знаю, что в чате есть участники, кто поднимал гораздо бОльшие массивы данных.
У кого есть время и компетенции провести платную консультацию по вопросам работы с большими данными?
Например, до 100 млн строк, а лучше гораздо больше с запасом. Может 100 млн это и не большие данные)
Вопросы:
Какое железо для локального компьютера и для хранилища баз данных?
Какие тарифы Power BI? Вообще, потянет ли десктоп версия или есть другие варианты? Может требуется премиум или Report Server?
Как отлаживать отчёт на настольном компьютере, не загружая всю базу данных, простым ограничением в SQL или есть другие инструменты?
Логику выносить в Power BI или как можно больше оставлять в запросах на стороне SQL-сервера?
Как вообще работать с большими данными и не затрачивать полдня рабочего времени на обновления данных при каждом изменении в ETL?
Может, не мне одному интересны эти темы и можно запланировать вебинар?
Однако, мне информация необходима прямо сейчас)
Если кто-то может проконсультировать платно, напишите в лс, пожалуйста, или здесь.