ありがとうございます。丁寧な説明でとても助かりました。 downloadを非同期的な処理に変えてコールバックでremoveFromSuperViewを実行することで、期待通りの挙動になりました。後者の方法は、なぜかうまくいきませんでしたが、これはダウンロードを行う関数が同期処理になっているためでしょうか？