Мне кажется, суть в том, что:
1. Главнейшее понятие категории - морфизмы. (Можно в принципе даже без объектов обойтись, наверное, ведь каждому соответствует взаимно однозначно единичный морфизм?)
2. В отличие от ориентированного графа, где если A-> B, то на этом всё, морфизмы категории можно комбинировать, и получаются тоже морфизмы. То есть морфизмы это пути между вершинами (с учётом того, что можно впихнуть еще единичных морфизмов любое количество по пути).
Да, можно дать определение категории бех объектов.
Объекты, это просто точки, через которые соединяются морфизмы.
И категорно, никакой "структуры" объекты не содержат и даже равенства между ними нет и его можно определить, разве, как равенство единичных стрелок.