Only Build pull requests. をONにすると、PR作成時にdangerがスキップされることなく実行されました！このままでCIの動作に問題ないか、いろいろ試してみます。 @銀の人。さんありがとうございました！