雑記– category –

6月の机のうえで起きていること 技術記事の側では、わが家のローカルLLM環境について書きました。RTX 5060 Ti (16GB) と RTX 3080 Ti (12GB) の2枚刺し、推論基盤は llama.cpp。Gemma系31Bを Q5 で動かしてだいたい 18 tokens/sec、というやつです。 書い...