最新のv0.24.0ならもっと早いみたいです

> また、初期ブロックのダウンロード時間を最大 45 時間以上から約 6 時間に大幅に短縮する一連のパフォーマンスの改善も含まれています。

https://github.com/btcsuite/btcd/releases/tag/v0.24.0