たぶん libopencv_core.so が /usr/local/lib にインストールされてると思うので、 -Xlinker=-L/usr/local/lib も付けないとだめかな？