Foundationのコードを真似たらうまく動くようになりました。 SOの回答で
availableData が空だったらEOFだからhandlerをnilにするってのを何件かみたんですが、 ドキュメントだと使い方が不明瞭ですね……低レイヤなれてる人なら常識なのかもしれませんが。 https://developer.apple.com/documentation/foundation/filehandle/1412413-readabilityhandler
https://developer.apple.com/documentation/foundation/filehandle/1411463-availabledata
availableData が空ならEOFというのは合ってそうですが、readabilityHandlerのほうはEOFが来ることを保証していないような気がする。