Не знаю, если честно. Но в SFML больше объектов "выского" уровня, вроде спрайтов, шейдеров и прочего. SDL же простая обертка над платформой, с базовыми типами для "играйся сам". Тут выбор зависит от тебя, ибо ты можешь использовать SFML просто как удобная обертка над окном и управлением, а остальное писать на OpenGL/своем