аа
перевожу из кабала в никс через haskellSrc2nix
Size: a a a
2020 July 13
аа
VY
как максимально убрать "шум" при запуске бенчмарков (criterion)? я бы хочел получать более-менее одинаковые числа, по возможности...
АХ
Закрыть все программы, графическую сессию, заходить на компьютер по ssh
VY
Ну да... я видел вот такой чеклист https://www.freebsd.org/doc/en_US.ISO8859-1/books/developers-handbook/testing.html#testing-micro-benchmark, кажется, он исчерпывающий (наверное)
VY
А есть ли смысл пробовать менять настройки gc для этих целей? Это может как-то помочь?
АХ
GC? может
АХ
Это один и тот же бенчмарк, запускаемый 1000 раз в старом критероионе, когда тот держал собранные данные в памяти, а не страсывал сразу в csv. Бенчмарк растёт из-за роста кучи
VY
Хм, интересно, спасибо, попробую потвикать gc и посмотреть как это влияет
АХ
Баг, впрочем, ископаемый. Его пофиксили лет 7 назад
VY
> variance introduced by outliers: 91%
это же насколько сильно "разброс" (вот эти самые outliers-значения) повлиял на измерения? т.е. 91% это = очень-очень сильно повлияли? 😅
это же насколько сильно "разброс" (вот эти самые outliers-значения) повлиял на измерения? т.е. 91% это = очень-очень сильно повлияли? 😅
АХ
Треш, угар, содомия скорее всего
АХ
Ошибки критериона можно смело множить на 10
АХ
Вот так вот выглядят 1000 бенчмарков подряд при запущенном браузере, музычке...
VY
ха, ну хоть на
μ
(в целом оно довольно неплохо выглядит)АХ
Ну ка-а-ак сказать. Вот с оценками ошибок критериона. Критерион очень сильно недооценивает ошибку
АХ
А вот так печально выглядит распределение измерений
JS
оказывается, выход из программы реализован в base (exitWith) как исключение (ExitCode)
JS
оказывается, некоторые фрэймворки перехватывают все исключения, даже выход из программы
JS
что происходит с исключением, выброшенным и не пойманным в побочной нитке? оно прилетает в main?