https://techblog.wasutech.dev/tags/monitoring/ Recent content in Monitoring on 怠惰技術ブログ Hugo -- 0.147.7 ja Mon, 20 Jul 2026 17:00:00 +0900 https://techblog.wasutech.dev/posts/infra-diary-everyday/ Mon, 20 Jul 2026 17:00:00 +0900 https://techblog.wasutech.dev/posts/infra-diary-everyday/ <p>自作監視ツールにメトリクスを追加したら、その日のうちに電源劣化を検出してしまった。ついでにRaspberry Pi 3でWPA3が使えるか実験して散った。今日一日の活動記録。</p> <h2 id="メトリクス追加-swap--throttled">メトリクス追加: swap / throttled</h2> <p>自宅Raspberry Piクラスタを監視している自作ツール (Go製・SSH pull型・エージェントレス) に、メトリクスを2種追加した。</p> <ul> <li><strong>swap使用量</strong>: <code>free -b</code> で取得。メモリ収集と同一コマンドなので実行を統合</li> <li><strong>スロットリング状態</strong>: <code>vcgencmd get_throttled</code> の生hex値を保存し、表示側でビットデコード</li> </ul> <p>throttledのビットフラグは以下の通り。</p> <table> <thead> <tr> <th>bit</th> <th>意味</th> </tr> </thead> <tbody> <tr> <td>0</td> <td>低電圧 (現在)</td> </tr> <tr> <td>1</td> <td>ARM周波数制限 (現在)</td> </tr> <tr> <td>2</td> <td>スロットリング中 (現在)</td> </tr> <tr> <td>16</td> <td>低電圧 (過去)</td> </tr> <tr> <td>17</td> <td>周波数制限 (過去)</td> </tr> <tr> <td>18</td> <td>スロットリング (過去)</td> </tr> </tbody> </table> <p>アラートは<strong>現在ビット (bit0-2) のみ対象</strong>にした。過去ビットは再起動までクリアされないので、対象にすると鳴りっぱなしになる。この設計判断が後で効いてくる。</p> <p>あわせてメモリ利用率の表示・アラートも追加。利用率はDBに保存せず、<code>(total - available) / total</code> を表示・判定時に都度計算する方式にした。<code>used / total</code> だとキャッシュ込みで常時高く出て、1GiBノードではアラートが無意味化するため、available基準が実態に合う。</p> <h2 id="監視が初日から仕事をした">監視が初日から仕事をした</h2> <p>デプロイ後ほどなくして、AP役ノードの1台 (Pi 3、以下AP#1) からthrottledアラートが鳴り始めた。</p> <pre tabindex="0"><code>アラート種別: throttled 状態: 発生 値: 0x50005 アラート種別: throttled 状態: 復旧 値: 0x50000 </code></pre><p><code>0x50005</code> = bit0 (低電圧・現在) + bit2 (スロットリング中) + 過去ビット。<strong>稼働中に本当に低電圧が起きている</strong>。</p>