そう、NSNumberの動きを調べると色々CoreFoundationへ丸投げされてるので、Swiftでも同様に丸投げするのが近道。