Орм воссоздает в памяти граф объектов из реляционной бд для принятия решений относительно состояния этих объектов. Так же оно имеет удобные инструменты для транзакционности, атомарности, контроля изменений состояния объектов и вот это вот все.
ОРМ - это не адаптер, которым ты подключаешь БД в свой проект. Как видишь у него немного другие задачи.
А дальше все просто - если тебе не нужно ничего из того, что предлагает ОРМ, то ты не юзаешь ОРМ