Dictionary.Keys に Set 的なメソッド（ intersection, subtracting 等）ほしくないですか？一度 Set に包み直すのはオーバーヘッドがあるし、 Dictionary も Set もハッシュテーブルなので原理的には同等のパフォーマンスで実現できるかと。