Estou quase certo que isso é por conta dos Relays, exemplo: você está conectado aos Relays A, B e C, e a outra pessoa aos Relays B, C e D, quando você segue essa pessoa e ela te segue de volta, os Relays A, B, C e D registram esse evento, se você se desconecta dos Relays A, B e C e se conecta nos Relays E, F e G, você não verá mais ele como seguidor pois não estão mais conectados em um Relay em comum que havia registrado esse evento, mas caso você entre no Relay D, verá, pois esse registrou o evento a partir dele que fez o envio pro Relay.

Lembre-se que ao trocar de Client, os Relays que você se conecta mudam também, você pode até se conectar com alguns relays do outro Client, mas mudam, por isso é bom sempre escolher os Relays que quer se conectar e sempre alterar para eles caso mude de Client. E essa mudança de Client pode resultar nessa percepção que você teve de perda de seguidores.

Os relays podem sofrer com conexão também, instabilidade, etc... Isso pode resultar nessa sua perpeção também.

Talvez eu não tenha conseguindo explicar de forma clara, mas também pode ser que minha teoria não esteja correta.