VG
ничего страшного, просто везде делать decode/encode как полагается
Size: a a a
2020 December 27
VT
Игорь
Весело становится когда у тебя в utf8 скрипте подключается 2 пакета (utf8 и 1251) плюс данные от БД в 1251 и данные от стороннего api в utf8. Я до сих пор с wide character временами воюю, просто теперь это быстрее из-за того, что помню где посмотреть.
просто надо держать в уме в какой кодировке данные
VT
всегда, даже если это "text"
VG
а лучше проектировать правильно, и держать не в уме
VG
а как положено, на точках выхода-выхода данных, где заодно же и прочие очистки и эскейпинги проводить
VT
ну, есть данные, а есть их представление
VG
я склоняюсь к тому, что надо бы всё-таки декодировать string (а bytes нет) в телеперле по схеме
VT
то есть, автоматически должен вставать вопрос, а в каком формате приходят данные
VG
именно
VT
я склоняюсь к тому, что надо бы всё-таки декодировать string (а bytes нет) в телеперле по схеме
+
АК
да, покури их
Эвалю через
Решил в принт добавить
Теперь файл создаётся корректный в UTF-8 с BOM.
Но! При чтении – нифига не считывается, пока BOM не уберу.
Что, регуляркой резать?..
$data = eval(<$handle>);Решил в принт добавить
local $Data::Dumper::Useqq = $utf8 ? 0 : 1;
my $bom = $utf8 ? encode_utf8(chr(65279))."\n" : '';
my $str = $bom.Dumper($data);
Теперь файл создаётся корректный в UTF-8 с BOM.
Но! При чтении – нифига не считывается, пока BOM не уберу.
Что, регуляркой резать?..
АК
Или переходить на JSON?
AB
На питон или го переходи
AP
Или переходить на JSON?
если более человекочитаемый, то ямл, а если более машиннолюбимый, то джейсон
K
На питон или го переходи
+1
AP
Или переходить на JSON?
вообще, вот варианты: https://perlmaven.com/data-serialization-in-perl
АК
если более человекочитаемый, то ямл, а если более машиннолюбимый, то джейсон
А если плювать через дампер (с : вместо =>), а кушать через JSON:XS, норм? Или одинарные кавычки не проглотит?
AP
ну, что-то проглотит, а что-то нет
AP
сделать из дампера почти джейсон вполне можно, но я ни разу не парился
АК
JSON:XS тоже упирается в BOM и выдаёт
malformed JSON string, neither tag, array, object, number, string or atom …
UPD: Ну ладно, пусть вот так будет:$str =~ s/^\s*\xef\xbb\xbf\s+//;$str =~ s/\s+$//;