библиотеки собираются в том же проекте? тогда для линковки нужно указывать относительный путь по-тупому через ../../.. итп, или через $${PWD} и иже с ними
а библиотеки разделяемые следует устанавливать в /usr/share/$appname/lib. Если для основного приложения используется конфиг sailfishapp, то rpath дл этой папки будет выставлен автоматически, если нет, то нужно использовать QMAKE_RPATH в файле проекта