Dúvida libertária: o direito de falar VS a obrigação de ouvir.

Fui expulso do grupo do Facebook do Alexandre porto sei lá quanto tempo atrás, por ter insistido que estava certo numa situação, em que não lembro exatamente o motivo, mas um cara ficou me seguindo falando besteira pela rua. Depois de uns segundos trocamos umas ofensas, contiuei seguindo meu caminho e ele vindo atrás de mim gritando. Certa hora avisei que a paciência estava acabando e não iria ficar ouvindo ele falando besteira. Como esperarado só começou a gritar mais, o que fez ele acabar no chão desmaiado.

Levando em consideração que se o ambiente era "público, gratuito e de qualidade". Logo as regras são inexistentes ou inaplicáveis exceto se vc for do governo. Não vejo lógica em não ter o "direito" de reagir a excessos. Minha pergunta é: do ponto de vista libertário, errei?

Ah só pra avisar a região, talvez a cultura tenha influência, é baixada fluminense, Rj