恐らくはリレーの不安定なタイミングで、フォロワーが一時的に減る（リレーを共有できない）ということは頻繁にあるようです。フォロワー数の参照に都度ひと手間かかるのはそのためかも。

一方、フォロー数が激減する現象は、リレーサーバーのバージョンが古い、クライアントのバグなど処々言われているようです。こちらは、気づいてすぐならnostgramなどで復帰できる可能性があります。