ちょっとどうかとは思いつつですが、 Reactionとかリプライの数でスコアをつけて、上位から容量の許す限り要約対象に入れていく、みたいな方式はどうでしょう。もちろん反響が少なくてもまとめるにあたって考慮されるべき発言はあるとは思うのですが、計算リソースの効率化を考えるとやむを得ないかなという感じです。
Discussion
1時間に1000件以上くらいはあるので、一つ一ついいね数取得しに行くだけで1投稿あたり5秒かかると1時間以内に終わらなくなってしまうので常時subscriptionしてカウントアップしていかないと厳しそうです。並列処理にしてもいいけどリレー側にやさしくないのでやりたくないところ。
ひとまずレーベンシュタイン距離とかを使って類似の投稿はGPTに投げる前に省こうかなあと思っています。