Azure Linux エージェントがメモリを大量消費していた際の対処法

こんにちは、サイオステクノロジーの荒俣です。
先日、このサーバと同様にブログ運営しているサーバにおいてメモリ使用率が、多くなっているとアラートが出ていました。
実際に、調査してみると最高でも50%前後ですむサーバなのに、80%ぐらいまで上昇していました。

1．犯人は？

このような状態になったのは、ブログへのアクセス増加によりhttpsプロセスなどのメモリ使用率が増加しているためと考えていたのですが、
topコマンドですぐにタイトルの通り、Azure Linux エージェント (waagent) がメモリを大量消費していたためと、わかりました。
その後、アラートが出る1か月前から、徐々にメモリ使用率が上がっていることもわかりました。

2．Azure Linux エージェントとは

今回、メモリを大量消費していたAzure Linux エージェントですが、あまり知らない方もいるかと思いますので、簡単にご紹介します。

Azure Linux エージェント (waagent) はLinuxのプロビジョニングとその後の管理を行ってくれます。
基本、AzureでLinuxマシンを作成した場合は、インストールされていますし、自動起動になっています。（WindowsマシンにもちゃんとWindows版のエージェントがインストールされています。）
ちなみに、このエージェントがインストールしてあり、起動していることが前提となっているAzureの機能があることを確認していますので、アンインストール・停止はしない方がよさそうです。

3．なぜ、メモリの使用率が増えたのか

普段は、Azure Linux エージェントのメモリ使用率は、サーバ機能に支障がない範囲に収まるようになっています。
なので、MSサポートに現状の状態とログを提出し、調査していただきました。
結論から言うと直接の原因はMSにもわからないというのが、MSサポートからの回答でした。(事象発生から1か月放置していたので、仕方がないと思います。)
ただ、過去のエージェントのバージョンの中には、メモリーリークを引き起こす不具合を抱えているものがあると、報告されました。
今回のエージェントは問題のバージョンではなかったですが、、、

4．対処法

サービスを再起動することが対処法のようです。
以下のコマンドで、再起動することでメモリの使用率が低下します。

systemctl restart waagent.service

ただ、暫定対応に過ぎないので、エージェントのバージョンを最新版にバージョンアップします。
MSからもエージェントが最新版であることが推奨されています。
以下にバージョンアップ手順を紹介します。本手順はCentOS及びRHELの手順になります。

まず、インストールされているエージェントのバージョンを確認します。

sudo yum list WALinuxAgent

バージョンアップ可能な更新プログラムを確認します。

sudo yum check-update WALinuxAgent

最新版のパッケージをインストールします。

sudo yum install WALinuxAgent

これで、最新版にバージョンアップできましたが、リリースされるたびの対応が煩わしい場合、
以下の設定で、自動更新を行うことができます。

現在の設定を確認します。

cat /etc/waagent.conf | grep AutoUpdate.Enabled

設定されていれば以下の出力があります。

AutoUpdate.Enabled=y

設定されていない場合、以下の設定を/etc/waagent.confに追加することで、自動更新を有効にできます。

AutoUpdate.Enabled=y

設定変更後、一度サービスを再起動します。

systemctl restart waagent.service

5．最後に

今回は、Azure Linux エージェントによる不具合とその対処法についてご紹介しました。
皆さんも、クラウド上の仮想マシンで不具合が生じた際は自身が構築した部分だけでなく、クラウドサービス特有の原因を探ることを忘れないでください。
Azure Linux エージェントは普段あまり意識していないせいか、バージョンが古くなりがちです。
しかし、いざ不具合発生して、Azureのサポート・サービスを使用した際に、エージェントのバージョンが、、
といわれるのは悲しすぎるので、都度対応することをお勧めします。