АП
Ну это просто с данными надо разобраться и всё.
Size: a a a
2020 February 17
EL
Ну это просто с данными надо разобраться и всё.
Не не, давай те скрипт напишем, автоматизируем его, будет грузить пару часов ;))) потратим пару дней на дебагинг
АП
вот ты смеешься, а у меня был экстракт, который 2 часа грузился...
EL
вот ты смеешься, а у меня был экстракт, который 2 часа грузился...
У всех были ;) но я сходил к доктору и вылечился ;)
АП
который грузился 2 часа а потом падал на сервере по таймауту 😂
AB
Не не, давай те скрипт напишем, автоматизируем его, будет грузить пару часов ;))) потратим пару дней на дебагинг
лучше день потерять, потом за 5 минут долететь!
EL
который грузился 2 часа а потом падал на сервере по таймауту 😂
Ну еще бы
EL
лучше день потерять, потом за 5 минут долететь!
Это был сорказм... из серии колеса квадратные, времени нет круглые поставить
AB
Можно еще отдельный ETL-софт купить, специально для этой цели! (ладно, ладно, молчу)
EL
А то помню тут тоже спрашивали - вот у меня 52 млн марок не визуализируются быстро*
AB
Если кроме шуток, я как-то работал с датасетом 400 млн строк, и были fixed и include, и еще какая-то подобная хрень. Предрасчеты всего этого хозяйства скриптами ускоряли работу в сотни раз. Там правда был не лайв ни разу
АП
Можно еще отдельный ETL-софт купить, специально для этой цели! (ладно, ладно, молчу)
кхе-кхе, альтарикс, кхе-кхе...
OK
Если кроме шуток, я как-то работал с датасетом 400 млн строк, и были fixed и include, и еще какая-то подобная хрень. Предрасчеты всего этого хозяйства скриптами ускоряли работу в сотни раз. Там правда был не лайв ни разу
У меня был экстракт в миллиард и работало отлично, просто важно понимать когда это необходимо, а когда лучше сделать иначе
EL
Если кроме шуток, я как-то работал с датасетом 400 млн строк, и были fixed и include, и еще какая-то подобная хрень. Предрасчеты всего этого хозяйства скриптами ускоряли работу в сотни раз. Там правда был не лайв ни разу
Ну ты сделай 3-4 лода вложенных ;) и все ляжет
АП
Ну ты сделай 3-4 лода вложенных ;) и все ляжет
сами топите урановые ломы в ртути... 😜
EL
сами топите урановые ломы в ртути... 😜
Ну а как исчо ;))
EL
А то тут уже собрались на луну лететь что воды добыть
EL
Olga Kolcheva
У меня был экстракт в миллиард и работало отлично, просто важно понимать когда это необходимо, а когда лучше сделать иначе
Ну если не было никакх вычислений - то я поверю, и вопрос - что такое ОК )) отклик в минутах - не ок ,)
AB
А как тебе такое, Илон? Когда в конце проекта тебе подкидывают формулу, которая циклами проходит по всему датасету, чтобы считать коэффициенты на основе почти неаггрегированных данных со всего датасета? )
EL
А как тебе такое, Илон? Когда в конце проекта тебе подкидывают формулу, которая циклами проходит по всему датасету, чтобы считать коэффициенты на основе почти неаггрегированных данных со всего датасета? )
Ну не могу такое представить в табло - нет циклов