YubiKey で secp256k1 で署名出来るかどうかの件、libykcs11 を使って PKCS#11 関数にアクセスすればよいという情報を頂いたので調べてみた。
ドキュメントを見る限りではおそらく出来ないっぽい。以下のサポートされている PKCS#11 関数一覧の C_SignInit のところには secp256k1 はない。おそらく libykcs11 では PKCS#11 の一部しか実装していないように見えます。
https://developers.yubico.com/yubico-piv-tool/YKCS11/Functions_and_values.html
一方、YubiKey に直接質問している人もいて、
https://github.com/Yubico/yubico-piv-tool/issues/405
> The formatting of data to be signed is done outside the OpenPGP applet on any OpenPGP card, so in theory, with the right middleware, any data can be signed with the keys on the card (such as a YubiKey). Only the raw ecdsa signature operation is performed on-card.
と言っているので、ミドルウェアの変更で出来るかもしれない。
もう一点、secp256k1 が対応していたとしても、secp256k1.schnorr.sign 出来るのかは不明。