asken テックブログ

askenエンジニアが日々どんなことに取り組み、どんな「学び」を得ているか、よもやま話も織り交ぜつつ綴っていきます。 皆さまにも一緒に学びを楽しんでいただけたら幸いです! <br> 食事管理アプリ『あすけん』 について <br> https://www.asken.jp/ <br>

LLM

SageMakerでvLLMを動かそう

Amazon SageMaker と vLLM を組み合わせて、高速な LLM 推論基盤を構築する方法を解説します。AWS の LMI(Large Model Inference)コンテナを活用し、AsyncLLMEngine による非同期処理、Continuous Batching によるスループット向上、コールドスタート対策…