大規模言語モデルの出力スピードを最大24倍に高めるライブラリ「vLLM」が登場、メモリ効率を高める新たな仕組み「PagedAttention」とは？

<#gigazine>

https://gigazine.net/news/20230622-vllm-paged-attention/