クラウド型ストレージサービス「LucidLink」を色々触ってみた【Windowsクライアント編】

◆ Live配信スケジュール ◆
サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。
⇒ 詳細スケジュールはこちらから
⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください

【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました
生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!!
https://tech-lab.connpass.com/event/315703/

1 はじめに
2 LucidLinkとは
3 LucidLinkサービス登録
4 ファイル共有領域の作成
5 作成したファイル共有領域にマウント
6 マウント確認
7 検証1：ファイルコピー時のオブジェクトストレージ側の挙動の確認
8 検証2：ファイルコピー時間の確認
9 最後に

はじめに

こんにちは、サイオステクノロジー小林です。

今回はクラウドストレージであるLucidLinkをご紹介したいと思います。さて、本記事はWindowsクライアント/Linuxクライアント/LucidLinkの各種機能の紹介と全3回に分けてお話しさせて頂こうと思います。

LucidLinkとは

マルチプラットフォーム環境（Windows、Linux、MAC）のファイルシステムをオブジェクトストレージに接続することができるクラウド型のストレージサービスです。LucidLinkを使うとクライアントはAWS S3等オブジェクトストレージを分散ファイルシステムとしてマウントします。

LucidLinkサービス登録

では、早速使ってみます。LucidLinkを使うためには、サービス登録する必要がありますので、公式ページの手順に従って、LucidLinkサービスアカウントを登録します。 LucidLinkサービスアカウント登録手順

※今回LucidLinkを使う上で事前に準備したものは以下になります。

オブジェクトストレージとしてAWS S3を準備。バケットは「s3.siostechnology.net」という名称で作成
クライアント端末は、Azure上にCPU:2core/RAM:4GBの仮想マシンを準備し、OSに「Windows Server 2016 Standard Edition」を導入

ファイル共有領域の作成

LucidLinkのFilespaceを作成し、実際にクライアント端末にマウントされるところまでの流れを紹介していきます。

LucidLinkサービスにサインインして、「Create new FileSpache」をクリックします。

今回は準備したストレージを使用するため、「Your Storage Provider」をクリックします。

Filespaceの名称を入力します。 ※ここで入力した名称でクライアントからマウントした際に表示されます。

使用するオブジェクトストレージプロバイダを選択します。

リージョンを選択します。

リージョンの選択画面下より、「I will provide my own bucket name」にチェックを入れます。 ※チェックを入れないと、オブジェクトストレージ上にランダムな名称で自動的にバケットが作成されます。

事前に作成したバケット名称を入力します。

入力した内容に問題なければ、「Create」をクリックします。

作成したファイル共有領域にマウント

LucidLinkサービス画面より、「Initialize」をクリックし、クライアントからストレージを使用できるようにします。

「Launch the desktop client」をクリックします。 ※LucidLinkクライアントをインストールしていない場合は、画面上に表示されているリンクから各プラットフォームに対応したLucidLinkクライアントをインストールしてください。

AWS S3に接続するためアクセスキーとシークレットキーを入力します。

Filespacheのルートパスワードを設定します。

「Open the folder」をクリックします。

マウント確認

Windowsのエクスプローラーを見てみると、作成したFilespaceの名称でマウントされていることが確認出来ます。

検証1：ファイルコピー時のオブジェクトストレージ側の挙動の確認

まずはマウントしたストレージにテストファイルを配置します。今回は10MB程度のWordファイルを使って確認したいと思います。マウントしたディレクトリにテストファイルを配置した後、テストファイルの容量を確認します。

&amp;amp;amp;gt; certutil -hashfile "テスト文書.docx" MD5
MD5 ハッシュ (ファイル テスト文書.docx):
897a6cbe2a86eef6ef170b84911ce810
CertUtil: -hashfile コマンドは正常に完了しました。

次にS3側の状態を確認します。チャンクファイルが分割して生成されいるのが確認できます。このファイルサイズの合計を確認すると、ストレージ上に配置したテストファイルと同等の容量になっていることが確認できます。

&amp;amp;amp;gt; aws s3 ls s3://s3.siostechnology.net --recursive --human-readable --summarize | sort
   Total Size: 14.0 MiB
2019-07-10 17:55:36  242.6 KiB 6c939b40-326e-4f24-bfa3-a575253ddc82
2019-07-10 17:55:36  251.2 KiB 6241c5c8-af0a-4db7-af01-9956e2837283
2019-07-10 17:55:36  252.3 KiB 5698d475-a21a-47b2-a8b1-a008590ea256
2019-07-10 17:55:36  256.8 KiB 08c5508b-5e01-48ed-be79-fa9fa1a669a6
2019-07-10 17:55:36  257.1 KiB 1e5b3cfb-632b-402b-96b0-c781635d2139
2019-07-10 17:55:36  257.1 KiB b2975610-a381-4451-92b9-f21dc6029731
2019-07-10 17:55:36  257.2 KiB 08ada68f-0422-4763-a346-2e01df3b3d09
2019-07-10 17:55:36  257.2 KiB 22ef977f-b3c5-44c5-bc88-d9cec0bbffef
2019-07-10 17:55:36  257.2 KiB 8939a2f3-75d8-43ab-bf64-b22a26bac577
2019-07-10 17:55:36  257.3 KiB 112e2e05-f74e-4886-b1e1-1e665b1de8ba
2019-07-10 17:55:36  257.3 KiB b7cca9dd-a884-4203-a61f-87bed75fc4a1
2019-07-10 17:55:36  257.3 KiB ed7e784d-cea5-4016-b529-81b6df31568a
2019-07-10 17:55:36  257.4 KiB 3ba7e46f-335a-4221-9ae4-a15736b6584a
2019-07-10 17:55:36  257.5 KiB 0fc40c76-022b-4223-be80-b34f1d2c8c75
2019-07-10 17:55:36  257.5 KiB 9204bafd-be7c-42e8-a714-e156d06f818c
2019-07-10 17:55:36  257.5 KiB af02ba0e-fb0e-4dd2-8f85-295437947f98
2019-07-10 17:55:37  246.8 KiB 7564adec-4152-493c-9140-10a8313ff93d
2019-07-10 17:55:37  255.9 KiB 301d0d95-1075-4ec8-b04e-7ad064b82a7c
2019-07-10 17:55:37  257.6 KiB 0321c31d-7b28-41c6-bffb-cafdc336a5a6
2019-07-10 17:55:37  257.6 KiB f7c646fc-bb8c-4e54-9514-b862d01dbfbf
2019-07-10 17:55:37  257.6 KiB f83eaa93-a1a8-43c5-93c2-f1cdf10892a9
2019-07-10 17:55:37  257.7 KiB 1e783b92-9a4e-4dab-a716-fa0b439ee9f8
2019-07-10 17:55:37  257.7 KiB 25656ec8-3984-4567-b9cf-cbe3b240df90
2019-07-10 17:55:37  257.7 KiB 86198620-50a0-4977-9114-b762c3aba3e9
2019-07-10 17:55:37  257.7 KiB a6a8f1b5-f5ea-4ac7-8796-a8d5485501d5
2019-07-10 17:55:37  257.8 KiB 2ff664cb-0659-41db-acf3-921d0251aaa2
2019-07-10 17:55:37  257.8 KiB c314b434-601c-40ae-b6e6-a44fc83e9381
2019-07-10 17:55:37  257.8 KiB d51206ac-0ff4-429d-b0ec-c43681d5fa8c
2019-07-10 17:55:37  257.9 KiB 88525f44-7bd0-4975-b169-bc88eb5f672b
2019-07-10 17:55:37  257.9 KiB 9f675fa8-7895-4f4c-81e1-578f8e8c5a0a
2019-07-10 17:55:37  258.0 KiB 69986e36-8ed9-40e7-ab6d-21e74f4ede70
2019-07-10 17:55:37  258.0 KiB b8c1197c-3bcd-4e73-bceb-fa88d8b847f0
2019-07-10 17:55:37  258.1 KiB 003e4b12-74bc-4ba5-9557-e6c500bde7be
2019-07-10 17:55:37  258.1 KiB 3c9e0b60-dd6c-46ce-b54e-a561a333dc5f
2019-07-10 17:55:37  258.1 KiB 7f81d281-4041-439f-becf-ef5a1cd67352
2019-07-10 17:55:37  258.2 KiB 1826834c-4313-4133-9132-99b74c259913
2019-07-10 17:55:38  221.5 KiB 5d289b0c-4c69-40e9-bd39-2069d637fecd
2019-07-10 17:55:38  252.6 KiB db85c6b5-0ba3-4581-b97b-904326ebea88
2019-07-10 17:55:38  255.8 KiB 9dbd453c-93d7-4b61-a0d8-371e24654808
2019-07-10 17:55:38  258.2 KiB 715025a5-fc32-48dc-a106-7dfa96ed1c72
2019-07-10 17:55:38  258.2 KiB ff7c66c3-03da-4270-a189-934a62fe04b9
2019-07-10 17:55:38  258.3 KiB 274cb7f3-2224-498b-81e7-4c31b61c9335
2019-07-10 17:55:38  258.3 KiB 8ca470e9-0ec9-4c17-a83d-76ce018ec8fd
2019-07-10 17:55:38  258.3 KiB a8de1330-cb17-4907-894c-788cbc03a5e1
2019-07-10 17:55:38  258.3 KiB c83dce62-8d56-4505-93f5-a436941acd8f
2019-07-10 17:55:38  258.4 KiB 2ac00aa7-a10d-4f3d-bdcf-ccbda33c8e1a
2019-07-10 17:55:38  258.4 KiB 387795de-dc0a-44b8-96f3-a69fa27e6f82
2019-07-10 17:55:38  258.4 KiB e17c6219-2ca9-4467-bbd7-355a9ee5bf2a
2019-07-10 17:55:38  258.5 KiB 02a896ff-d328-47dc-8096-468983255fbd
2019-07-10 17:55:38  258.5 KiB 47f89bcf-dff1-4baa-99f0-a801f61fcaa9
2019-07-10 17:55:38  258.5 KiB bc0b353d-7f95-461d-b946-4851d4fcb09e
2019-07-10 17:55:38  258.5 KiB f4585b90-ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffe9af-434e-80a0-58fbcdc0364c
2019-07-10 17:55:38  258.6 KiB a7b61363-4c3d-4f09-bc95-62843c1ea7e7
2019-07-10 17:55:38  258.7 KiB 6ee34148-4f2b-4e86-87b2-2fcd04f2f7ea
2019-07-10 17:55:38  258.7 KiB 9a3af1d4-5eb3-457d-a70d-814e0765e055
2019-07-10 17:55:38  258.7 KiB eff80381-aded-43cb-875c-325fdd06078a
Total Objects: 56

次にストレージ上に配置したテストファイルの内容を変更した場合のS3側のチャンクファイルの数を確認します。なお、テスト文書の最下行にコメントを1行追記しております。

それではS3側の状態を確認します。テスト文書変更後は、今までのチャンクファイルは56個増えて112個になっていることが確認できます。

&amp;amp;amp;gt; aws s3 ls s3://s3.siostechnology.net --recursive --human-readable --summarize | sort
   Total Size: 28.0 MiB
2019-07-10 17:55:36  242.6 KiB 6c939b40-326e-4f24-bfa3-a575253ddc82
2019-07-10 17:55:36  251.2 KiB 6241c5c8-af0a-4db7-af01-9956e2837283
2019-07-10 17:55:36  252.3 KiB 5698d475-a21a-47b2-a8b1-a008590ea256
2019-07-10 17:55:36  256.8 KiB 08c5508b-5e01-48ed-be79-fa9fa1a669a6
2019-07-10 17:55:36  257.1 KiB 1e5b3cfb-632b-402b-96b0-c781635d2139
2019-07-10 17:55:36  257.1 KiB b2975610-a381-4451-92b9-f21dc6029731
2019-07-10 17:55:36  257.2 KiB 08ada68f-0422-4763-a346-2e01df3b3d09
2019-07-10 17:55:36  257.2 KiB 22ef977f-b3c5-44c5-bc88-d9cec0bbffef
2019-07-10 17:55:36  257.2 KiB 8939a2f3-75d8-43ab-bf64-b22a26bac577
2019-07-10 17:55:36  257.3 KiB 112e2e05-f74e-4886-b1e1-1e665b1de8ba
2019-07-10 17:55:36  257.3 KiB b7cca9dd-a884-4203-a61f-87bed75fc4a1
2019-07-10 17:55:36  257.3 KiB ed7e784d-cea5-4016-b529-81b6df31568a
2019-07-10 17:55:36  257.4 KiB 3ba7e46f-335a-4221-9ae4-a15736b6584a
2019-07-10 17:55:36  257.5 KiB 0fc40c76-022b-4223-be80-b34f1d2c8c75
2019-07-10 17:55:36  257.5 KiB 9204bafd-be7c-42e8-a714-e156d06f818c
2019-07-10 17:55:36  257.5 KiB af02ba0e-fb0e-4dd2-8f85-295437947f98
2019-07-10 17:55:37  246.8 KiB 7564adec-4152-493c-9140-10a8313ff93d
2019-07-10 17:55:37  255.9 KiB 301d0d95-1075-4ec8-b04e-7ad064b82a7c
2019-07-10 17:55:37  257.6 KiB 0321c31d-7b28-41c6-bffb-cafdc336a5a6
2019-07-10 17:55:37  257.6 KiB f7c646fc-bb8c-4e54-9514-b862d01dbfbf
2019-07-10 17:55:37  257.6 KiB f83eaa93-a1a8-43c5-93c2-f1cdf10892a9
2019-07-10 17:55:37  257.7 KiB 1e783b92-9a4e-4dab-a716-fa0b439ee9f8
2019-07-10 17:55:37  257.7 KiB 25656ec8-3984-4567-b9cf-cbe3b240df90
2019-07-10 17:55:37  257.7 KiB 86198620-50a0-4977-9114-b762c3aba3e9
2019-07-10 17:55:37  257.7 KiB a6a8f1b5-f5ea-4ac7-8796-a8d5485501d5
2019-07-10 17:55:37  257.8 KiB 2ff664cb-0659-41db-acf3-921d0251aaa2
2019-07-10 17:55:37  257.8 KiB c314b434-601c-40ae-b6e6-a44fc83e9381
2019-07-10 17:55:37  257.8 KiB d51206ac-0ff4-429d-b0ec-c43681d5fa8c
2019-07-10 17:55:37  257.9 KiB 88525f44-7bd0-4975-b169-bc88eb5f672b
2019-07-10 17:55:37  257.9 KiB 9f675fa8-7895-4f4c-81e1-578f8e8c5a0a
2019-07-10 17:55:37  258.0 KiB 69986e36-8ed9-40e7-ab6d-21e74f4ede70
2019-07-10 17:55:37  258.0 KiB b8c1197c-3bcd-4e73-bceb-fa88d8b847f0
2019-07-10 17:55:37  258.1 KiB 003e4b12-74bc-4ba5-9557-e6c500bde7be
2019-07-10 17:55:37  258.1 KiB 3c9e0b60-dd6c-46ce-b54e-a561a333dc5f
2019-07-10 17:55:37  258.1 KiB 7f81d281-4041-439f-becf-ef5a1cd67352
2019-07-10 17:55:37  258.2 KiB 1826834c-4313-4133-9132-99b74c259913
2019-07-10 17:55:38  221.5 KiB 5d289b0c-4c69-40e9-bd39-2069d637fecd
2019-07-10 17:55:38  252.6 KiB db85c6b5-0ba3-4581-b97b-904326ebea88
2019-07-10 17:55:38  255.8 KiB 9dbd453c-93d7-4b61-a0d8-371e24654808
2019-07-10 17:55:38  258.2 KiB 715025a5-fc32-48dc-a106-7dfa96ed1c72
2019-07-10 17:55:38  258.2 KiB ff7c66c3-03da-4270-a189-934a62fe04b9
2019-07-10 17:55:38  258.3 KiB 274cb7f3-2224-498b-81e7-4c31b61c9335
2019-07-10 17:55:38  258.3 KiB 8ca470e9-0ec9-4c17-a83d-76ce018ec8fd
2019-07-10 17:55:38  258.3 KiB a8de1330-cb17-4907-894c-788cbc03a5e1
2019-07-10 17:55:38  258.3 KiB c83dce62-8d56-4505-93f5-a436941acd8f
2019-07-10 17:55:38  258.4 KiB 2ac00aa7-a10d-4f3d-bdcf-ccbda33c8e1a
2019-07-10 17:55:38  258.4 KiB 387795de-dc0a-44b8-96f3-a69fa27e6f82
2019-07-10 17:55:38  258.4 KiB e17c6219-2ca9-4467-bbd7-355a9ee5bf2a
2019-07-10 17:55:38  258.5 KiB 02a896ff-d328-47dc-8096-468983255fbd
2019-07-10 17:55:38  258.5 KiB 47f89bcf-dff1-4baa-99f0-a801f61fcaa9
2019-07-10 17:55:38  258.5 KiB bc0b353d-7f95-461d-b946-4851d4fcb09e
2019-07-10 17:55:38  258.5 KiB f4585b90-e9af-434e-80a0-58fbcdc0364c
2019-07-10 17:55:38  258.6 KiB a7b61363-4c3d-4f09-bc95-62843c1ea7e7
2019-07-10 17:55:38  258.7 KiB 6ee34148-4f2b-4e86-87b2-2fcd04f2f7ea
2019-07-10 17:55:38  258.7 KiB 9a3af1d4-5eb3-457d-a70d-814e0765e055
2019-07-10 17:55:38  258.7 KiB eff80381-aded-43cb-875c-325fdd06078a
2019-07-10 17:59:02  249.3 KiB 09d8b647-cb7d-49f0-8116-00c593876241
2019-07-10 17:59:02  257.1 KiB bd746521-b4da-4891-b95c-6f6f32756e1f
2019-07-10 17:59:02  257.1 KiB c175fda5-ea06-4680-9ab0-da1725f048d1
2019-07-10 17:59:02  257.2 KiB 2919e34b-af57-44b7-9c9e-fff7404ef961
2019-07-10 17:59:04  242.6 KiB 1afe6b9a-fe8d-47ff-ae8a-858480f7beae
2019-07-10 17:59:04  246.8 KiB 99d9659f-a1b8-4f06-8c35-5c5cf88df026
2019-07-10 17:59:04  251.2 KiB f8931be7-1e0e-4249-972f-343e59cba55a
2019-07-10 17:59:04  255.7 KiB 1c5cc109-adce-438e-a3cd-7ffee0c62db4
2019-07-10 17:59:04  257.2 KiB 5f5a4b36-e9cf-4c90-ab80-c9061c9a4d95
2019-07-10 17:59:04  257.2 KiB b3bab548-55e4-46f7-92a4-ae336a63dc11
2019-07-10 17:59:04  257.3 KiB 37e10ebb-c4e7-4695-bebc-05b0650696be
2019-07-10 17:59:04  257.3 KiB 7d070569-99fb-498e-b3eb-d4559174e2a3
2019-07-10 17:59:04  257.3 KiB 804bd0d0-f792-4ace-808a-8f5e6e9e2258
2019-07-10 17:59:04  257.4 KiB 5b7ee4fd-cb2f-4c34-9fce-65dd4b3c6764
2019-07-10 17:59:04  257.4 KiB ff174029-f202-45c8-9402-e4fffecd82b4
2019-07-10 17:59:04  257.5 KiB 26cd08f2-a802-4c14-8555-a475407f2353
2019-07-10 17:59:04  257.5 KiB 6648f768-d820-464f-aa92-d7b9425315d3
2019-07-10 17:59:04  257.5 KiB e210903f-58dc-4deb-8ff2-728d1a6eb984
2019-07-10 17:59:04  257.6 KiB c116537f-a6cc-4d3e-a200-8f27c9875865
2019-07-10 17:59:04  257.6 KiB ea012a88-dc7c-40dc-a031-dc77465fb05e
2019-07-10 17:59:04  257.6 KiB f8875a8d-8456-4249-aaa2-38256340b773
2019-07-10 17:59:04  257.7 KiB 428cd28a-82e6-4537-9ece-8121bafd2c9f
2019-07-10 17:59:04  257.7 KiB 9e5aafe1-2a4a-4929-9227-ba134b5d4b6e
2019-07-10 17:59:04  257.7 KiB f8442f20-c891-425b-a6cf-16c9a3e87ecc
2019-07-10 17:59:04  257.7 KiB fc3a6bf0-c04b-4b5f-b287-1bf872daf395
2019-07-10 17:59:04  257.8 KiB 7aced327-92e8-44b9-985e-1c5d0574205f
2019-07-10 17:59:04  257.8 KiB ef1c18f7-d1cf-4e8f-bea2-bdf94494a949
2019-07-10 17:59:04  257.9 KiB 29c37673-08ea-470a-9a3c-b92f85fc5f80
2019-07-10 17:59:04  257.9 KiB bf23b3fd-2a8c-4077-8f81-ce67e7ea6a54
2019-07-10 17:59:04  257.9 KiB e9690b83-f7b5-4bf2-bf61-8950dc41119b
2019-07-10 17:59:04  258.0 KiB 695f0aa3-16f3-49dc-90fa-f6cf037c8faa
2019-07-10 17:59:04  258.0 KiB b853ea71-0619-427e-b4e7-586186666711
2019-07-10 17:59:04  258.1 KiB 1dbdc59a-a186-472f-a2ba-ef5d427a5c86
2019-07-10 17:59:04  258.1 KiB ad6134db-045f-4918-8710-f616907a57f2
2019-07-10 17:59:04  258.1 KiB cd30a86a-907c-4f6e-9092-d46070d1965b
2019-07-10 17:59:04  258.2 KiB 3807f64b-168a-4b43-b652-a483da72a4c1
2019-07-10 17:59:04  258.2 KiB 572eee81-c634-4485-a177-17006a1efd25
2019-07-10 17:59:04  258.2 KiB cece6003-ea3a-4b7f-9da6-a93f0db2fb52
2019-07-10 17:59:04  258.3 KiB 14394952-2b1b-4388-8ef8-0a85240e6818
2019-07-10 17:59:04  258.3 KiB ff8b3e34-6ab9-4cd2-8b4d-9caf1308fbbb
2019-07-10 17:59:05  221.7 KiB d2a4e90f-6d41-4a16-8d07-147cd91d8fda
2019-07-10 17:59:05  253.0 KiB a4a44ecf-1618-49c7-9d43-ecf7edbf6efc
2019-07-10 17:59:05  256.3 KiB 1dfc1c4b-cab4-4a88-9900-39348ecdf035
2019-07-10 17:59:05  258.3 KiB 0e143a8a-655d-42d8-aa4f-4d7aae0affda
2019-07-10 17:59:05  258.3 KiB 79b2c889-89ea-4055-a6a3-8463437498c1
2019-07-10 17:59:05  258.4 KiB 1eb18401-79af-4020-8607-6cf49bab95ba
2019-07-10 17:59:05  258.4 KiB 7e1bdde8-07de-4f45-b6ca-72066e7c688e
2019-07-10 17:59:05  258.4 KiB fdc03e0c-1563-4ee0-bcc2-5e68b2ef195e
2019-07-10 17:59:05  258.5 KiB 1a3f6b70-d81f-4154-ac74-266c8bac976c
2019-07-10 17:59:05  258.5 KiB 4e33137b-793e-4107-8b7c-668ca0c96742
2019-07-10 17:59:05  258.5 KiB 73d7f99e-352f-4caa-98f6-da27b0224d30
2019-07-10 17:59:05  258.5 KiB c4b71058-abea-4f81-b8fb-a1112ae75234
2019-07-10 17:59:05  258.6 KiB e6e3a510-bd33-4e3a-9ed5-1cedc97da964
2019-07-10 17:59:05  258.7 KiB 0c0ff455-542d-4be6-914c-916786aae5b0
2019-07-10 17:59:05  258.7 KiB 7794dc38-0295-42f9-8720-bbc4e3396b00
2019-07-10 17:59:05  258.7 KiB d7ea8f84-62c9-460b-900c-2e8ad1f86aa3
Total Objects: 112

最後にストレージ上に配置したテストファイルを削除した場合のS3側のチャンクファイルの数を確認します。すると、文書変更前のチャンクファイルが削除され、変更後の56行分のチャンクファイルのみになっております。

# aws s3 ls s3://s3.siostechnology.net --recursive --human-readable --summarize | sort
   Total Size: 14.0 MiB
2019-07-10 17:59:02  249.3 KiB 09d8b647-cb7d-49f0-8116-00c593876241
2019-07-10 17:59:02  257.1 KiB bd746521-b4da-4891-b95c-6f6f32756e1f
2019-07-10 17:59:02  257.1 KiB c175fda5-ea06-4680-9ab0-da1725f048d1
2019-07-10 17:59:02  257.2 KiB 2919e34b-af57-44b7-9c9e-fff7404ef961
2019-07-10 17:59:04  242.6 KiB 1afe6b9a-fe8d-47ff-ae8a-858480f7beae
2019-07-10 17:59:04  246.8 KiB 99d9659f-a1b8-4f06-8c35-5c5cf88df026
2019-07-10 17:59:04  251.2 KiB f8931be7-1e0e-4249-972f-343e59cba55a
2019-07-10 17:59:04  255.7 KiB 1c5cc109-adce-438e-a3cd-7ffee0c62db4
2019-07-10 17:59:04  257.2 KiB 5f5a4b36-e9cf-4c90-ab80-c9061c9a4d95
2019-07-10 17:59:04  257.2 KiB b3bab548-55e4-46f7-92a4-ae336a63dc11
2019-07-10 17:59:04  257.3 KiB 37e10ebb-c4e7-4695-bebc-05b0650696be
2019-07-10 17:59:04  257.3 KiB 7d070569-99fb-498e-b3eb-d4559174e2a3
2019-07-10 17:59:04  257.3 KiB 804bd0d0-f792-4ace-808a-8f5e6e9e2258
2019-07-10 17:59:04  257.4 KiB 5b7ee4fd-cb2f-4c34-9fce-65dd4b3c6764
2019-07-10 17:59:04  257.4 KiB ff174029-f202-45c8-9402-e4fffecd82b4
2019-07-10 17:59:04  257.5 KiB 26cd08f2-a802-4c14-8555-a475407f2353
2019-07-10 17:59:04  257.5 KiB 6648f768-d820-464f-aa92-d7b9425315d3
2019-07-10 17:59:04  257.5 KiB e210903f-58dc-4deb-8ff2-728d1a6eb984
2019-07-10 17:59:04  257.6 KiB c116537f-a6cc-4d3e-a200-8f27c9875865
2019-07-10 17:59:04  257.6 KiB ea012a88-dc7c-40dc-a031-dc77465fb05e
2019-07-10 17:59:04  257.6 KiB f8875a8d-8456-4249-aaa2-38256340b773
2019-07-10 17:59:04  257.7 KiB 428cd28a-82e6-4537-9ece-8121bafd2c9f
2019-07-10 17:59:04  257.7 KiB 9e5aafe1-2a4a-4929-9227-ba134b5d4b6e
2019-07-10 17:59:04  257.7 KiB f8442f20-c891-425b-a6cf-16c9a3e87ecc
2019-07-10 17:59:04  257.7 KiB fc3a6bf0-c04b-4b5f-b287-1bf872daf395
2019-07-10 17:59:04  257.8 KiB 7aced327-92e8-44b9-985e-1c5d0574205f
2019-07-10 17:59:04  257.8 KiB ef1c18f7-d1cf-4e8f-bea2-bdf94494a949
2019-07-10 17:59:04  257.9 KiB 29c37673-08ea-470a-9a3c-b92f85fc5f80
2019-07-10 17:59:04  257.9 KiB bf23b3fd-2a8c-4077-8f81-ce67e7ea6a54
2019-07-10 17:59:04  257.9 KiB e9690b83-f7b5-4bf2-bf61-8950dc41119b
2019-07-10 17:59:04  258.0 KiB 695f0aa3-16f3-49dc-90fa-f6cf037c8faa
2019-07-10 17:59:04  258.0 KiB b853ea71-0619-427e-b4e7-586186666711
2019-07-10 17:59:04  258.1 KiB 1dbdc59a-a186-472f-a2ba-ef5d427a5c86
2019-07-10 17:59:04  258.1 KiB ad6134db-045f-4918-8710-f616907a57f2
2019-07-10 17:59:04  258.1 KiB cd30a86a-907c-4f6e-9092-d46070d1965b
2019-07-10 17:59:04  258.2 KiB 3807f64b-168a-4b43-b652-a483da72a4c1
2019-07-10 17:59:04  258.2 KiB 572eee81-c634-4485-a177-17006a1efd25
2019-07-10 17:59:04  258.2 KiB cece6003-ea3a-4b7f-9da6-a93f0db2fb52
2019-07-10 17:59:04  258.3 KiB 14394952-2b1b-4388-8ef8-0a85240e6818
2019-07-10 17:59:04  258.3 KiB ff8b3e34-6ab9-4cd2-8b4d-9caf1308fbbb
2019-07-10 17:59:05  221.7 KiB d2a4e90f-6d41-4a16-8d07-147cd91d8fda
2019-07-10 17:59:05  253.0 KiB a4a44ecf-1618-49c7-9d43-ecf7edbf6efc
2019-07-10 17:59:05  256.3 KiB 1dfc1c4b-cab4-4a88-9900-39348ecdf035
2019-07-10 17:59:05  258.3 KiB 0e143a8a-655d-42d8-aa4f-4d7aae0affda
2019-07-10 17:59:05  258.3 KiB 79b2c889-89ea-4055-a6a3-8463437498c1
2019-07-10 17:59:05  258.4 KiB 1eb18401-79af-4020-8607-6cf49bab95ba
2019-07-10 17:59:05  258.4 KiB 7e1bdde8-07de-4f45-b6ca-72066e7c688e
2019-07-10 17:59:05  258.4 KiB fdc03e0c-1563-4ee0-bcc2-5e68b2ef195e
2019-07-10 17:59:05  258.5 KiB 1a3f6b70-d81f-4154-ac74-266c8bac976c
2019-07-10 17:59:05  258.5 KiB 4e33137b-793e-4107-8b7c-668ca0c96742
2019-07-10 17:59:05  258.5 KiB 73d7f99e-352f-4caa-98f6-da27b0224d30
2019-07-10 17:59:05  258.5 KiB c4b71058-abea-4f81-b8fb-a1112ae75234
2019-07-10 17:59:05  258.6 KiB e6e3a510-bd33-4e3a-9ed5-1cedc97da964
2019-07-10 17:59:05  258.7 KiB 0c0ff455-542d-4be6-914c-916786aae5b0
2019-07-10 17:59:05  258.7 KiB 7794dc38-0295-42f9-8720-bbc4e3396b00
2019-07-10 17:59:05  258.7 KiB d7ea8f84-62c9-460b-900c-2e8ad1f86aa3
Total Objects: 56

その後しばらく待ってから再度S3の状態を確認すると、変更後のチャンクファイルも削除されることが確認できます。

# aws s3 ls s3://s3.siostechnology.net --recursive --human-readable --summarize | sort
   Total Size: 0 Bytes
Total Objects: 0

検証2：ファイルコピー時間の確認

検証1で使用したファイルをより容量が大きいファイルを使って、ファイルコピー時の転送スピードを確認したいと思います。今回使用するファイルは、OSのISOイメージ(4.27GB)を使用します。また、ローカルディスクの容量には影響がないことを確認したいと思います。コピー前はのローカルディスクは25.6GBの空き容量となっております。当然クラウドストレージにコピーするので、この容量が減少することはないことが想定されます。

それでは、ストレージへファイルコピーを開始します。

ストレージへのコピーが完了したので、ローカルディスクへの影響がないことを確認します。

次にS3側のチャンクファイル数とファイルサイズを確認してみます。ストレージ上にコピーしたファイルサイズと同等のチャンクファイルのサイズが作成されていることが確認できます。今回の検証環境では、クライアントからストレージ上のコピーは1分程度で完了しましたが、その後S3側にて数十秒程度チャンクファイルの作成処理が継続しており、その間クライアントのCPU使用率が40～50％程度消費しておりました。

&amp;amp;amp;gt; aws s3 ls s3://s3.siostechnology.net --recursive --human-readable --summarize
2019-07-05 11:09:40  260.9 KiB ffcf1be5-33ac-4ba5-86d5-50bf79a5e79c
2019-07-05 11:06:29  260.2 KiB ffd576ac-fb94-492a-a8d8-6afa01f808d1
2019-07-05 11:06:42  259.1 KiB ffd6fe71-d93b-44cf-82d8-42a3380d0d12
 ～ 中略 ～
2019-07-05 11:06:22  255.4 KiB ffd7436a-9f4a-47da-8702-b7b6500ed7c8
2019-07-05 11:04:42  258.5 KiB ffd9bbf0-ac40-42df-99db-70eea5aa9805
2019-07-05 11:07:21  262.3 KiB ffdebcd4-09f5-40a4-a1d9-ba75d464856f
2019-07-05 11:05:38  260.4 KiB ffdf8361-2789-494b-8bc3-7f6064d45a59
2019-07-05 11:08:10  260.1 KiB ffe282d4-573d-4c6a-a3aa-9cd4ad592485
2019-07-05 11:02:29  259.7 KiB ffe49e85-3907-44c9-89f9-18062c4212b6
2019-07-05 10:59:48  261.4 KiB ffe749dd-4d05-4a9a-bdf7-0eff8dff209e
2019-07-05 10:55:16  258.8 KiB ffe9336e-356c-4cb8-9c14-1b5a96d44800
2019-07-05 11:06:11  259.5 KiB ffede6bd-d668-4fe4-8d80-6a01f26bf60b
2019-07-05 11:09:46  260.7 KiB fff74a96-9753-45b9-a766-5a3931964508
2019-07-05 11:01:25  259.1 KiB fff899b8-85e5-4fde-afd2-e49a3d0c200f

Total Objects: 17504
   Total Size: 4.2 GiB