Size: a a a

2020 July 28

AT

Al T in Data Engineers
хинты на то и хинты чтобы иногда сказать оптимизатору что он неправ
источник

AS

Andrey Smirnov in Data Engineers
Al T
хинты на то и хинты чтобы иногда сказать оптимизатору что он неправ
потом данные меняются и эти хинты превращаются в тыкву
источник

AT

Al T in Data Engineers
да и с автоматической оптимизацией примерно также
источник

AT

Al T in Data Engineers
все равно будет тыква
источник

SM

Sanzhar Magzumov in Data Engineers
Всем здрасьте🙂
источник

SM

Sanzhar Magzumov in Data Engineers
Подскажите кто знает как транспонировать таблицу в импале или хайве
источник

А

Алексей in Data Engineers
Sanzhar Magzumov
Подскажите кто знает как транспонировать таблицу в импале или хайве
max(case when ...)
источник

AE

Alexey Evdokimov in Data Engineers
Andrey Smirnov
и что это не умет делать оракловский оптимизатор?
во времена 8/9/10-го умел как-то не очень. что сейчас — я хз.

а тогда я просто наблюдал из-за плеча, как происходит магия. дело было в провайдере, ораклом разгребали логи netflow с точки присоединения к магистральной оптике. отчёты по клиенту (типа завод какой-нибудь) за год строили в реальном времени, с апдейтами каждые 5 минут
источник

А

Алексей in Data Engineers
любой оптимизатор начинает ошибаться, когда в запросе больше 8 таблиц
источник

А

Алексей in Data Engineers
в общем случае нужно n! перестановок для определния оптимального плана, число переборов отсекается настройкой
источник

А

Алексей in Data Engineers
остальное: перекос данных, зависимые колонки в фильтре можно, вроде как, решить созданием статистики
источник

AT

Al T in Data Engineers
Алексей
в общем случае нужно n! перестановок для определния оптимального плана, число переборов отсекается настройкой
Плюс еще статистика по таблицам протухает быстро обычно ))
источник

А

Алексей in Data Engineers
сейчас еще все адаптивность внедряют в планировщики, даже вон в spark 3.0 теперь есть
источник

AZ

Anton Zadorozhniy in Data Engineers
Al T
Плюс еще статистика по таблицам протухает быстро обычно ))
щас все неплохо умеют сэмплировать данные для статистики, ну и вроде DL массово наконец поехать должен и СУБД окончательно станут умнее 90% разработчиков)
источник

AE

Alexey Evdokimov in Data Engineers
и те кто по старой памяти оптимизируют руками успешно будут превращать планы в тыкву :_
источник

AT

Al T in Data Engineers
Anton Zadorozhniy
щас все неплохо умеют сэмплировать данные для статистики, ну и вроде DL массово наконец поехать должен и СУБД окончательно станут умнее 90% разработчиков)
пожалуй выпью за это
источник

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
щас все неплохо умеют сэмплировать данные для статистики, ну и вроде DL массово наконец поехать должен и СУБД окончательно станут умнее 90% разработчиков)
зачем там DL то, для хайпа?
источник

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
зачем там DL то, для хайпа?
конечно)
источник

AZ

Anton Zadorozhniy in Data Engineers
сейчас все больше СУБД продаются как PaaS, где у вендора есть непосредственный доступ к каталогам и логам всех клиентов, это открывает некоторые новые возможности улучшения планировщиков
источник

AT

Al T in Data Engineers
всё всегда для хайпа а уж в дате так и вообще... больше хайпа только в жаваскрипте
источник