Ну это типа как если персонаж собирает монетки, то не стоит проверку на колизию вешать на монетки, лучше на персонажа?
Один из вариантов решения твоей проблемы, это синглтон. То есть ты создаешь скрипт на котором у тебя есть ссылки на все что нужно. Делаешь его синглтоном и обращешься к нему, чтобы получить дорступ к другим объектам