+ https://hackage.haskell.org/package/text-short

этот надо сравнивать с просто text, цели у них заявлены одинаковые

да

Это text на utf8 вместо utf16

да, вот что-то такое... Но все равно не сказать, что он очень прям популярен (653 downloads).

Модули же снойман запретил

А все пакеты на text

ага, да, то есть подмена будет безболезненной (теоретически) -)

ага, я прочитал. если много текста латиницей, то не понятно будет ли какой-то выигрыш.

я что-то перелопатил до черта форумов, бенчмарков, но не сказать, что нашел убедительные доказательства что 8 лучше чем 16. Вроде как в 16 jump-ов меньше статистически. И еще по объему проверил на кириллице и на азиатских - кириллица чуть-чуть больше на 16-ти, а азиатские ощутимо больше на 8-ми

В преамбуле text пишут

Internal Representation: UTF-16 vs. UTF-8
Currently the text library uses UTF-16 as its internal representation which is neither a fixed-width nor always the most dense representation for Unicode text. We're currently investigating the feasibility of changing Text's internal representation to UTF-8 and if you need such a Text type right now you might be interested in using the spin-off packages text-utf8 and text-short.

В общем экспериментируют

Тут не сколько размер, сколько сложность операций

ага) Ну они правы, но статистически нерегулярность у 16 ниже же чем у 8? хотя безусловно ... is neither a fixed-width ...

я видел бенчмарки где 8 лучше 16 только на latin но разница весьма маленькая

java на 16, вроде как?

шах и мат популярность utf8

опытным путём удалось установить, что сегфолт происходит не на этапе взаимодействия с внешними системами, а где-то в парсинге с xeno (который подозревался менее всего, и я его опустил в описании даже)

вы используете xeno ?!

по-моему. И Винда UCS2 - это 16. А D - там все есть, но в некоторых случаях автоматом конвертят в 32. В общем сложно тут 100% доказать. Я даже читал такой аргумент типа "копируется 16 дольше чем 8" (мои ИМХО что чаще это не так)