BIP173から飛べるbech32の参照実装はsegwit addressのhex to bech32, bech32 to hexしか実装してないのでwitness versionを取り出すところを全部無視してまるごと8bit to 5bit、5bit to 8bitするだけで良いですよ