A
TO /dev/nullа analyze за сколько завершился?
Size: a a a
2020 July 16
YB
скорее BQ заменить на CH и заливать данные для анализа напрямую в КХ
там какойто плагин в постгресе для КХ?
YS
скорее BQ заменить на CH и заливать данные для анализа напрямую в КХ
А в чём принципиальная разница, в таком случае?
YB
а analyze за сколько завершился?
за 15 мин
YS
имеется в виду кликхаусная таблица - там много разных движков под разные кейсы
Если там "настоящий" OLTP — просто не получится, нет?
YB
в общем 40 минут заняло
YB
copy в /dev/null
СГ
Yaroslav Schekin
А в чём принципиальная разница, в таком случае?
тем что данные будут сразу заливаться в КХ и там же анализироваться. Нет необходимости делать связку APP->PG->BQ, будет APP-CH
СГ
Yaroslav Schekin
Если там "настоящий" OLTP — просто не получится, нет?
судя по названию таблиц и полей) - скорее ближе к OLAP
YB
не олап
СГ
Yaroslav Schekin
Если там "настоящий" OLTP — просто не получится, нет?
для настоящего OLTP, конечно, мой совет не подходит
YS
в общем 40 минут заняло
Т.е. ≈ 15 минут чтение, 25 преобразование в copy format (можете ещё с copy binary попробовать, кстати — но это поможет только если есть возможность его преобразовать для загрузки в BigQuery).
Т.е. всё остальное время занимает что-то ещё...
Т.е. всё остальное время занимает что-то ещё...
DL
сложные капчи какието)
YS
тем что данные будут сразу заливаться в КХ и там же анализироваться. Нет необходимости делать связку APP->PG->BQ, будет APP-CH
А, я подумал, что Вы про схему App -> PG -> BQ против App -> PG -> CH. ;)
YB
бинари не импортится
СГ
в общем 40 минут заняло
это выборка 80 млн записей из базы на 250Гб, правильно?
в шелле запустите pg_test_fsync
в шелле запустите pg_test_fsync
YB
это выборка 80 млн записей из базы на 250Гб, правильно?
в шелле запустите pg_test_fsync
в шелле запустите pg_test_fsync
189Гб
A
Yaroslav Schekin
Т.е. ≈ 15 минут чтение, 25 преобразование в copy format (можете ещё с copy binary попробовать, кстати — но это поможет только если есть возможность его преобразовать для загрузки в BigQuery).
Т.е. всё остальное время занимает что-то ещё...
Т.е. всё остальное время занимает что-то ещё...
Я бы сначала попробовал binary copy to /dev/null
YB
я бинари не смогу в BQ скоримиить
СГ
Yaroslav Schekin
Т.е. ≈ 15 минут чтение, 25 преобразование в copy format (можете ещё с copy binary попробовать, кстати — но это поможет только если есть возможность его преобразовать для загрузки в BigQuery).
Т.е. всё остальное время занимает что-то ещё...
Т.е. всё остальное время занимает что-то ещё...
я думаю что там disk i/o проседает. Не обеспечивает хостер заявленные показатели скорости