GPTはdecoderのみのtransformerらしいので、入力の前半のみ事前処理しておくとかできそう。
こういうのはprefix tuningというらしい。
https://arxiv.org/abs/2101.00190
Please Login to reply.
No replies yet.
