ローカルLLM– tag –

生成AIの利用量に課税される夢を見ました。1Mトークンにつき100円、成果物の売上に10〜20％。荒唐無稽に聞こえますが、ロボット税はすでに何度も真顔で検討されています。架空の制度検討資料8枚とともに、この設計が誰の首を絞めるのかを考えました。

6月の机のうえで起きていること 技術記事の側では、わが家のローカルLLM環境について書きました。RTX 5060 Ti (16GB) と RTX 3080 Ti (12GB) の2枚刺し、推論基盤は llama.cpp。Gemma系31Bを Q5 で動かしてだいたい 18 tokens/sec、というやつです。 書い...

この記事の主役は、構築の苦労話ではない 自分のPCにそこそこのGPUが刺さっていると、いつか必ずこう思います。 「クラウドのAIに毎月お金を払うより、自分のマシンで、自分のLLMを動かせばよくない？」 そう思った人が辿り着く先が、ローカルLLMです。自...