お行儀のよいやり方としては絶対パスを含んだ.pcを作ってSwiftPMのpkgconfigインテグレーションに任せる、もしくはswift build するときに-Xswiftc -L で渡す、かなぁ