Я бы сказал, что unsafe блок подразумевает, что дальше идет код, ответственность за который больше на разработчике, чем на компиляторе.
При этом "больше" - правильное слово, в отличие от, как думают многие, "целиком", о чём постоянно все забывают и пишут про "воооот в языке сразу всё небезопасно становится, зачем тогда вообще safe нужен"