https://github.com/mirth/chonky

GitHub - mirth/chonky: Fully neural approach for text chunking

GitHubのChonkyはテキストチャンキングのためのニューラルネットワークアプローチです。

長く連なった文章を意味のある区切りで分割します。

動画からの自動文字起こしや、テキストの特徴量をベクター化する際にも役立ちそうです。