Size: a a a

F# Flood: No one farsch forever

2020 September 01

M

Mikhail in F# Flood: No one farsch forever
Ilya L Che
Строго говоря, это проблема не из-за отсутствия легализации или декриминализации.
ну в России там много проблем. начиная со странности закона который оценивает общую массу а не массу вещества (т.е. если ты смешаешь 10г табака и 1г марихуаны - суд будет оценивать будто у тебя 11г).

плюс палочная система и потребность отчитываться об эффективной борьбе с наркооборотом
источник

IC

Ilya L Che in F# Flood: No one farsch forever
Именно.
источник

A

AlexxSt in F# Flood: No one farsch forever
Nik Komarov
я сейчас не от sla пляшу, а от задачи))) Кролик к ней подходит лучше конечно, стандартная всем известная пуш-модель. Пожалуй желание воткнуть пульсар с моей стороны выглядит как чрезмерная оптимизация+ просто желание его потыкать)))
Вот тут организовали очередь на кафке https://habr.com/ru/company/sberbank/blog/353608/ и пару лет наворачивали говна из-за того, что концепция неправильная выбрана. Так что с ней поосторожней. Можешь ещё в сторону NATS Streaming посмотреть, он тоже нормальный и кролика позади по перфу оставляет.
источник

GB

George Bessonov in F# Flood: No one farsch forever
закинули на соседний проект на пару дней, разобрать багу. Бага - не проставляется одна штука, которая должна получаться из внешней интеграции.

Архитектура - внешний источник пушит данные, один сервис складирует в монгу as is, другой монгу выгребает в MSSQL-монстра на хранимках, третий ходит по MSSQL, ищет, не подогнали ли чего нового и обновляет, среди прочего, нужное поле.

Так вот. Оказалось, что по проблемным записям из внешнего источника в MSSQL ничего не приходило, хотя должно было (судя по отсутствию соотв. записей). Полез в логи перегружающего сервиса, куча записей падает на десериализации в byte значения, большего чем 255. Значения поля TryCount.

Так вот, у пачки записей это поле стоит в 256... с 27 июня. При этом - интервал ретрая - 3600 МИНУТ, т.е. до 256 попыток сервис полз практически два года.

Мониторинг? Обсёрвабилити?
источник

IC

Ilya L Che in F# Flood: No one farsch forever
А хотели поставить 3600 секунд, судя по числу.
источник

VP

Vasiliy Pereverzev in F# Flood: No one farsch forever
George Bessonov
закинули на соседний проект на пару дней, разобрать багу. Бага - не проставляется одна штука, которая должна получаться из внешней интеграции.

Архитектура - внешний источник пушит данные, один сервис складирует в монгу as is, другой монгу выгребает в MSSQL-монстра на хранимках, третий ходит по MSSQL, ищет, не подогнали ли чего нового и обновляет, среди прочего, нужное поле.

Так вот. Оказалось, что по проблемным записям из внешнего источника в MSSQL ничего не приходило, хотя должно было (судя по отсутствию соотв. записей). Полез в логи перегружающего сервиса, куча записей падает на десериализации в byte значения, большего чем 255. Значения поля TryCount.

Так вот, у пачки записей это поле стоит в 256... с 27 июня. При этом - интервал ретрая - 3600 МИНУТ, т.е. до 256 попыток сервис полз практически два года.

Мониторинг? Обсёрвабилити?
погоди, т.е. 2 года ничего не обновлялось?
источник

GB

George Bessonov in F# Flood: No one farsch forever
Vasiliy Pereverzev
погоди, т.е. 2 года ничего не обновлялось?
кое-что не обновлялось
источник

GB

George Bessonov in F# Flood: No one farsch forever
часть записей проскакивала без ошибок
источник

GB

George Bessonov in F# Flood: No one farsch forever
сейчас их стало достаточно много и их заметили
источник

RM

Roman Melnikov in F# Flood: No one farsch forever
George Bessonov
закинули на соседний проект на пару дней, разобрать багу. Бага - не проставляется одна штука, которая должна получаться из внешней интеграции.

Архитектура - внешний источник пушит данные, один сервис складирует в монгу as is, другой монгу выгребает в MSSQL-монстра на хранимках, третий ходит по MSSQL, ищет, не подогнали ли чего нового и обновляет, среди прочего, нужное поле.

Так вот. Оказалось, что по проблемным записям из внешнего источника в MSSQL ничего не приходило, хотя должно было (судя по отсутствию соотв. записей). Полез в логи перегружающего сервиса, куча записей падает на десериализации в byte значения, большего чем 255. Значения поля TryCount.

Так вот, у пачки записей это поле стоит в 256... с 27 июня. При этом - интервал ретрая - 3600 МИНУТ, т.е. до 256 попыток сервис полз практически два года.

Мониторинг? Обсёрвабилити?
красивая история
источник

VP

Vasiliy Pereverzev in F# Flood: No one farsch forever
согласен, история классная
источник

R

Roman in F# Flood: No one farsch forever
че-то напомнило историю друга, у них там был сложный пайплан с бигдатой и прочими смузи. Че-то вычислялось на больших мощностях и считалось бизнес-критикал частью.
Пока кто-то не заметил, что промежуточный результат на каком-то шаге перетирается в гигабайтные файлы, забитые нулями
источник

R

Roman in F# Flood: No one farsch forever
дата саенс, все дела
источник

RM

Roman Melnikov in F# Flood: No one farsch forever
: D
источник

GB

George Bessonov in F# Flood: No one farsch forever
Roman
че-то напомнило историю друга, у них там был сложный пайплан с бигдатой и прочими смузи. Че-то вычислялось на больших мощностях и считалось бизнес-критикал частью.
Пока кто-то не заметил, что промежуточный результат на каком-то шаге перетирается в гигабайтные файлы, забитые нулями
прекрасно
источник

ЕБ

Евгений Бурмистров... in F# Flood: No one farsch forever
господа и дамы, а спрошу-ка я вас про дотнет, не про F#

можно ли сваггер 3 \ опенапи заставить генерить nullable: false автоматом на все параметры где C# 8 nullable фича включена?

потому что если с моделями я ещё конечно навтыкал там везде [Required], но вот в просто контроллерах где

public IActionResult Method(int param1, int param2)
втыкать везде аттрибуты никаких сил нету
источник

R

Roman in F# Flood: No one farsch forever
Мне кажется, это охуенно. Вк посылает жсоны, с которыми не может справиться система типов фшарпа. Но парень нашел выход
источник

R

Roman in F# Flood: No one farsch forever
Переслано от XÆA-XII
Я тут подумал, а зачем десереализовать жсон полностью, когда можно просто сделать тип, который будет просто хранить в себе JObject и свойства, которые будут из этого JObject'а вытаскивать все нужные поля?🤔🤔🤔
источник

R

Roman in F# Flood: No one farsch forever
Переслано от XÆA-XII
Вк апи жсоны посылает, которые не очень вписываются в типизацию фшарпа, поэтому приходится писать такие вот велосипеды
источник

SB

S B in F# Flood: No one farsch forever
Roman
Мне кажется, это охуенно. Вк посылает жсоны, с которыми не может справиться система типов фшарпа. Но парень нашел выход
так а чем это отличается от программирования на условном Питоне?
источник