同じリレーサーバーからいなくなるとフォローが外れる取ったことは未確認ですが、他のクライアントと多少誤差で表示されてるっぽいことに気づいて夜中に投稿してます。Damusでフォローフォロワー数を確認が一番正確だと思われます

Twitterが、1万人超えると決まった方法でしか正確な人数が確認できなのと似てるのかもしれません