6月の机のうえで起きていること
技術記事の側では、わが家のローカルLLM環境について書きました。RTX 5060 Ti (16GB) と RTX 3080 Ti (12GB) の2枚刺し、推論基盤は llama.cpp。Gemma系31Bを Q5 で動かしてだいたい 18 tokens/sec、というやつです。
書いている側は涼しい顔ですが、書かれている側――つまり実機が置いてある部屋――は、もう夏に向けて静かに不機嫌になってきています。この記事はその不機嫌の話です。技術記事ほど真面目ではありません。サーバーラックでもデータセンターでもない、机のうえの一台と一部屋の、ただの小競り合いです。
1. アイドル時はおとなしい。問題は「LLMを呼んだ瞬間」
普段、PCの前に座って Web を眺めたり、エディタで文章を書いたりしているぶんには、GPU2枚刺しの本体はわりとおとなしいです。ファンの音もそこそこで、机の足元から立ちのぼる熱気も「あ、暖房ついてる？」くらい。
問題は、ローカルLLMに何か聞いた瞬間にやってきます。
「ねえ、これ要約して」と投げる。すると、いままで静かだったタワーのなかで、ファンが一段、二段と段階的にギアを上げていきます。机の天板に手を置いていると、その下から熱風が、ちょうど髪を乾かしたあとのドライヤーくらいの温度でゆらゆら昇ってきます。視覚的にも、机のうえに置いてある温湿度計の数字が、5分くらいかけてじわじわ動いていく。これがけっこう、笑ってしまうほど可視化されます。
GPU2枚に LLM を載せている家のひとならわかると思うんですが、「推論コストはクラウド代だけじゃない、電気代と部屋の温度でも払っている」というあの感じです。
2. やったこと① ― エアフローの「足し算」より「引き算」
最初にやったのは、扇風機の追加。とりあえず扇風機を背中にあててみる、というやつです。これは半分しか効きませんでした。
熱を生んでいるのはタワーの中の GPU で、部屋の空気はそれを浴びるだけ。部屋全体をかき回す前に、PCの中を出入りする空気の道を見直したほうが早い、というのは少し動かしてみてわかりました。
やったことを書き出すと、こんな感じです。
- タワーの吸気側の前を塞ぐ家具をどける（ここに本棚を寄せていたのが致命傷でした）
- 排気側の壁との距離を10cm から 30cm くらいまで離す
- 机のうえの配線を束ねて、ケーブルが熱だまりを作らないようにする
- 部屋のドアを少し開けて、廊下と「空気の通り道」を作る
これだけで、推論中の体感温度がワンランク下がりました。お金は1円もかかっていません。熱対策はモノを足す前に、まず邪魔をやめる――しみじみそう思いました。
3. やったこと② ― 「24時間ぶん回す」をやめる
もうひとつ効いたのは、運用のほうのチューニングです。
つい先日まで、わが家のローカルLLMは「LANに常駐して、いつ聞かれてもすぐ返事できる状態」でいてもらっていました。要するに、使っていない時間もモデルを VRAM に置きっぱなしにしていた、ということです。
これをやめました。
- 使うときだけ llama-server を立ち上げる
- 使わないときはモデルをアンロードして、GPU をアイドルに戻す
- 「ちょっと聞きたいだけ」のときは、もっと小さいモデルで済ます
これだけで、机のうえの温湿度計が、夕方になっても突き抜けて上がらなくなりました。重い 31B モデルは「ここぞの本番」だけにして、ふだんは軽い子に頼る。LLM 環境の運用って、技術的なベストプラクティスより、「いつ呼び出すか」のメンタル設計のほうが効くのかもしれません。
4. それでも夏は来る ― 「割り切り」と「諦め」のあいだ
ここまでやって、それでも、たぶんこの夏は厳しいです。
エアコンの設定温度を1℃下げて済む話ではなくて、机のうえの温湿度計が30℃台の半ばに乗ったら、たぶん重いモデルでの長時間バッチ処理は無理になります。クラウドのほうがよっぽど涼しいです。
それでも、この机のうえに自分のLLMがいる、というのは、ちょっと特別な感じがあります。お金を払えば借りられる涼しさを蹴って、わざわざ汗をかきながら自分の足元に置いている。コスパでも合理性でもなく、ロマンと意地でしか説明できない選択です。
たぶん、家でGPUを増やしたことがある人なら、この感覚はわかってもらえると思います。涼しいクラウドにあらゆる正しさを譲りつつ、それでも机の下のタワーは手放さない。それが、自宅サーバー勢のささやかな夏の過ごし方なのかもしれません。
しばらくはこの調子で、温湿度計と相談しながらやっていきます。次の更新は、たぶんもう少し涼しい話か、もしくは「結局エアコン買い替えました」のどちらかになる予定です。
ここまで読んでくださって、ありがとうございました。
コメント