逸般の誤家庭– tag –

6月の机のうえで起きていること 技術記事の側では、わが家のローカルLLM環境について書きました。RTX 5060 Ti (16GB) と RTX 3080 Ti (12GB) の2枚刺し、推論基盤は llama.cpp。Gemma系31Bを Q5 で動かしてだいたい 18 tokens/sec、というやつです。 書い...

但し書き: この記事は、ごく普通の一般家庭の住人による構築記録です。使っているのはゲーミングPC（ちょっとグラボに奮発しましたが）と、いまどきの家庭なら普通に1台くらいある自宅NASです。どこのご家庭にもありますよね、NAS。ね！ 構築手順は至って...