Size: a a a

2021 October 27

DT

Dmitry Titov in Data Engineers
Я думаю большинство рекламных компаний, что собирают информацию несчастных пользователей тоже петабайта не имеют.
источник

ЕГ

Евгений Глотов... in Data Engineers
С каждой из 10млн по 100мб - вот уже и петабайт в год)
источник

AZ

Anton Zadorozhniy in Data Engineers
я говорю про все машины вышедшие за последние 3 года
источник

ЕГ

Евгений Глотов... in Data Engineers
У меня за час 100мб логов собирается, если что
источник

ЕГ

Евгений Глотов... in Data Engineers
Так себе упаковка, если честно😆
источник

AZ

Anton Zadorozhniy in Data Engineers
логи должны быть структурированными
источник

DT

Dmitry Titov in Data Engineers
У одного производителя, плюс три года кажется не такой большой срок для машины
источник

AZ

Anton Zadorozhniy in Data Engineers
а больше не надо
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну я сам структуру писал, избыточность овер9000
источник

ЕГ

Евгений Глотов... in Data Engineers
Зато парсить легко
источник

ЕГ

Евгений Глотов... in Data Engineers
В жЫсонах
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну если прям супер упаковать, будет 1-2мб в час, всё равно немало за год
источник

AZ

Anton Zadorozhniy in Data Engineers
понятно что можно наплодить данные, сохранить с высоким разрешением данные каждого сенсора, но все это на масштабе "миллион машин в год" стоит очень недешево, а какие выгоды? очередь на машины до кризиса была полгода, мы очень долго убеждали сделать первые несколько очень дешевых кейсов, и честно говоря это все дает буквально небольшое улучшение bottomline
источник

ЕГ

Евгений Глотов... in Data Engineers
Да, так и есть
источник

ЕГ

Евгений Глотов... in Data Engineers
Но либо улучшение на 0.0001%, либо Детройт)
источник

AZ

Anton Zadorozhniy in Data Engineers
такое даже наши продавцы не смеют говорить)
источник

ЕГ

Евгений Глотов... in Data Engineers
Вот эти ребята не улучшались на очень немного в год, просто старьё штамповали)
источник

AZ

Anton Zadorozhniy in Data Engineers
Детройт случился не из-за того что бигдата плохая была
источник

ЕГ

Евгений Глотов... in Data Engineers
Плохие прогнозы -> плохие решения
источник

ЕГ

Евгений Глотов... in Data Engineers
Плохие решения -> плохие прогнозы
источник