Объект который хочу туда вложить, да на сцене. Сам префаб будет создаваться в нужный момент (изначально не на сцене)
ну так префаб не может ссылатся на объекты определенной сцены, ведь тогда его могут получить другие сцены. А теперь представь себе как на сцене объекты ссылаются на объект, который находится на другой сцене