а это проблемы именно во время выполнения или во время парсинга и компиляции скрипта? если второе, то ещё можно понять (не хотят ломать обратную совместимость)
но вообще это надо спрашивать питонистов, будет ли в этом случае ошибка, если туда (в строчку) залетит, например, поломанный нижний суррогат. Т.к. я с этим сталкивался 1000 лет назад и вполне допускаю, что у меня тогда просто руки из жопы были
Это зависит ещё от количества битых чаров. Так то любая строка может быть одновремено во всех кодировках (ну т.е. содержимое одно, а читать можем по разному). Возникает лишь одной вопрос — автоопределения кодировки.
Из-за этого ранее если из разных шаблонов взять чуть html в одной кодировке и скрестить с частью в другой, то браузер не мог понять какую использовать и временами ошибался
Ну и как бы спека юникода постоянно расширяется. Те же эмодзи, например, используют конкатенацию из верхнего + нижнего суррогатов, которых в utf-8 "как бы нет", но вот как оказалось есть
А толку от них, если ПО определило, что внутри куча текста в Win1251? Тут браузер подумает, что юзер натупил и вначале прилетело то, что прилететь не должно было (как когда хеадеры раньше времени прилетели)