Size: a a a

Python для анализа данных

2021 September 02

AG

Alexey Gibadullin in Python для анализа данных
вот тут я, честно говоря, недопонял
источник

IS

Ilya Shutov in Python для анализа данных
весь парсинг формата log4j (а приведен именно он, это, фактически, стандарт) можно уложить в одну или две последовательные регулярки. в 99% случаев прокатывает.

не понятно, почему это в базовые курсы не включат...
источник

AG

Alexey Gibadullin in Python для анализа данных
согласен, парсинг в моём случае оказался в стороне. Буду навёрстывать своими силами
Спасибо
источник

VM

Valerii Mamontov in Python для анализа данных
Вот здесь отлично рассказано про float и decimal.
источник

IS

Ilya Shutov in Python для анализа данных
1. использование штучек типа Decimal очень замедляет расчеты, поскольку эмулируется, а не считается процессором на уровне микрокоманд и регистров.
Его применение действительно должно быть обоснованным, если задача не позволяет вручную положить числа в Integer (16/32/64)...
Похоже на эмуляцию общепринятых либ https://gmplib.org/ или https://www.mpfr.org/
2. Расчет идет в Clickhouse, как указано в исходном запросе, а значит Decimal тут не при чем.

Дублирую:
В доке CH черным по белому написано ровно про Ваш кейс (коли есть возмущение и знаете предметную область задачи):
"Рекомендуется хранить данные в целочисленном виде всегда, когда это возможно. Например, переводите в целочисленные значения числа с фиксированной точностью, такие как денежные суммы или времена загрузки страниц в миллисекундах."
https://clickhouse.tech/docs/ru/sql-reference/data-types/float/
источник

VM

Valerii Mamontov in Python для анализа данных
ок, сорри)
всё понял)
источник

IS

Ilya Shutov in Python для анализа данных
я просто в контекст вернул.
выше неоднократно фиксировали проведение расчетов именно в CH

по-хорошему, такие вопросы стоит писать сюда: https://t.me/clickhouse_ru
источник

R

Rustam in Python для анализа данных
А есть скажем, удачная рецензия, которою можно представить коллегам, что бы убедить в переводе валюты в целые числа?
источник

С

Сергей in Python для анализа данных
источник

VP

Vladimir Popov in Python для анализа данных
источник

IS

Ilya Shutov in Python для анализа данных
Зачем? Заказчик музыки в своё время этим коллегам даст морковку прикурить. Чужие ошибки не учат, только свои и далеко не всегда. Главное от них кластеризоваться вовремя.
источник

IS

Ilya Shutov in Python для анализа данных
Трудно нагляднее ответить
источник

AD

Alexander Dergilev in Python для анализа данных
Аххах
источник

AD

Alexander Dergilev in Python для анализа данных
Недавно с float пришлось столкнуться
источник

IS

Ilya Shutov in Python для анализа данных
Кто победил?
источник

AD

Alexander Dergilev in Python для анализа данных
В той ситуации оставил float. Надо было произвести деление, при этом числитель и знаменатель строго во float пришлось преобразовывать. Иначе результаты неожиданные были:)
источник

AD

Alexander Dergilev in Python для анализа данных
источник

AD

Alexander Dergilev in Python для анализа данных
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Оптимально - это написать запрос, который действительно насчитает в сумме нецелые копейки из тех данных, которые имеются.
Вот и узнаем кто тут серьезный бизнес.
источник

AD

Alexander Dergilev in Python для анализа данных
источник