秋分の日はパパの実家で（２）

二日目〜。
朝から車に乗って、なんだか山に上り始めたぞ？
ここは見覚えあるかも。
冬に上って、まだ雪があって半分だけ上って断念した筑波山だ！

距離的にはそれほどでもないんだけどね？
それにしても、なんか湿気が多いなー。

この山道にも大木が多いんだよね。

（シ：根っこも凄くて、ちょっと歩きにくいですー）

幾多の困難を乗り越え、、、

男体山山頂到着！

ちょっと曇り気味だけど、下まで見えたよ！

記念撮影。

そして、次はいよいよ前回断念した女体山！

でも丁度小学生の遠足と重なっていて、あまりウロウロできないなー。
という訳で、サクッと登ったけど、、、

雲の中、、、

でも強い風が吹いて来て、、、

パパー、下の方まで見えたよー。

一瞬だったけど、見ることが出来て良かったー。

帰りはガマ石をじっくり観察。

確かにカエルに似てるかも。
段々お天気も悪くなってきたので、少し休んですぐ下山。

これは男女川（みなのがわ）。

ほぼ源流域なので、水量は少ないよね。

下りは登りより全然楽だね。

（シ：パパちゃん大丈夫ですか？遅れてるですよ？）

（ひ〜！！！もう疲れたよー）

と言っているうちに、登山口に到着。

雨も降ってきたし、早く帰ろう！

秋分の日はパパの実家で（１）

秋分の日を挟んで、パパのお仕事は３連休。
それを聞いたママは「ちょっと実家に帰ってくるから、もう一日仕事お休みにして四連休にしてワン公の面倒見といて〜」

で、パパの実家のお母さんが「今年はお盆に帰省できなかったから連れてって」
ということで、四連休はパパの実家に帰省することになったんだ〜。

一日目〜。
いきなりなんか違う方向に走り出したパパ。
渋滞に延々掴まりながら着いたところは、、、

千葉県香取市、香取神宮。
ここの狛犬は、なんと木彫り！

なーんか、良い感じだなー。

そして次に向かったのは、、、

茨城県神栖市にある息栖神社。
ここは今年の春にも来てるので、見覚えあるかも。

ここは社殿の後ろにも回れるんだけど、なかなか良い雰囲気。
昔社殿の礎石に使われていた石。

今はお役御免になって、悠々自適？
木も良い木陰を作ってくれているよ。

今回も忍井のお水はキレイ。

でも、写真で見ると色々浮いてるね？

そして、更に次に向かったのは、、、

鹿島神宮。
この神社は、裏に森があって、ここをしばし散策。
あ、もちろんボク達は入れないから、パパだけだけどね。

梢の影が地面に落ちて、なんか複雑な模様。

森も鬱蒼としてるんだよ！

鹿島神宮のご祭神武甕槌大神。


裏の泉の前には茶店が出ていて、しばし休憩。


また大木が並ぶ森を抜けて帰るんだよ。


そして、お次は日本第二の湖、霞ケ浦！

広いなー。
（ちょっと記念撮影しとこうか！）
えー。

（シ：シーちゃんも良い笑顔するですー）

うーん、良い笑顔とはちょっと違う気がする、、、

ディープラーニングはボーダーコリーを個体識別できるか？（４）

次はいよいよ本命Resnet-152のFineTuningにチャレンジ！
Resnet-152はILSVRC2015で優勝したモデル。
参考書のサンプルをそのまま動かした際には、正解率100%が並ぶ素晴らしいスコア。
Theano＋Luaというのがちょっとネックだけど、何とかソースを追いかけて修正。
実行してみると、極めてあっさり動作。

＜結果＞
【flora】
flora    551    83.6%
thistle    58    8.8%
william    50    7.6%

【thistle】
flora    89    13.3%
thistle    465    69.6%
william    114    17.1%

【william】
flora    72    11.1%
thistle    0    0.0%
william    574    88.9%

ウィルの識別率が大分上がってきた。
また、ウィルをシーちゃんとご認識する確率は0%！
懸案のシーちゃんの正解率も69.6%と、大分上がってきたなー。

自信を持ってフローラに間違えた以下の写真。
img    　　　　　　flora 　　　　　   thistle           william
thistle759.jpg    0.995503128    0.004093261    0.000403622    flora

確かにちょっとフローラに似てるかも。
フローラの写真は、ハイアングルで上から見下ろす感じの写真が意外と多いので、何となく間違える理由も分かる気がする。

ウィルをフローラと間違えているこの写真。
img    　　　　　　flora 　　　　　   thistle           william
william287.jpg    0.952002704    0.002536457    0.045460802    flora

言われてみると確かにフローラっぽいかも。

これも同じく。
img    　　　　　　flora 　　　　　   thistle           william
william490.jpg    0.950813413    0.000494563    0.048692018    flora

感想は、Resnet-152は流石だなー。
でもフローラに関してはVGG-16の方が成績が良かったので、選んだデータがはまればVGG-16も結構使えるかも。

といったところで、続きはまた今度。
ちょっと時間は掛かるけど、学習精度を上げるのとか、物体検知の応用でフローラ／ウィル／シーちゃん検知とか、トレーニングデータを少し増やしたりしてみての再チャレンジとか、トレーニング／バリデーション／テストデータをシャッフルしてみてからの学習とかしてみようかと思います。

ディープラーニングも、Resnet-152ともなると犬の個体識別にも結構使えそうですね。

ディープラーニングはボーダーコリーを個体識別できるか？（３）

お次はVGG16のFine Tuningに挑戦！
VGG16はILSVRC2014で第二位の成績を納めた、比較的新しめの精度の高いモデル。
更にILSVRCの1000クラス分類の学習済モデルをFine Tuningするので、かなり期待度は高いかも。

ソースの構成は9層CNNとほぼ同じなので、特にエラーも無く終了。
学習時間はepoc数10なので、少し短いかな？(9層CNNは40)

結果。

【flora】
flora    578    87.7%
thistle    53    8.0%
william    28    4.2%

【thistle】
flora    307    46.0%
thistle    262    39.2%
william    99    14.8%

【william】
flora    148    22.9%
thistle    11    1.7%
william    487    75.4%

フローラとウィッちゃんはグンとスコアアップ！
一方、シーちゃんは微増。
なぜか今回はフローラと誤判定される確率が高い。
でも、これくらいいくと、ボーダーを見慣れてる、でもまだ１、２回しか会ったことない人レベルにはなったかな？

ちなみに、割合自信をもってウィルと判定しているこちらのファイル。
img    　　　　　　flora    　　　　　thistle           william
thistle204.jpg    0.266937196    0.013605269    0.719457567    william

シーちゃんらしい写真だと思うんだけどなー。
ついでに言うと、ウィルよりはフローラの方が似てると思う。
どこに着目してウィルと判定しているのか、謎だなー。
白の面積の量？
こんな感じで顔以外の部分がアウトフォーカスして輪郭が背景に溶け込んでいくような写真は苦手なのか？

とても自信を持ってウィルと言っているこの写真も、白の面積が多いかも。
img    　　　　　　flora    　　　　　thistle           william
thistle334.jpg    8.47E-05    0.004932418    0.994982898    william

フローラと誤判定しているこちらの写真。
img    　　　　　　flora    　　　　　thistle           william
thistle382.jpg    0.980258584    0.019402424    0.000339068    flora

横顔のちょっと難しい写真ではあるけど、全体に黒っぽいとフローラ判定？

まあ、大分使えるレベルになってきたかな？
ということで、次はResnet-152に挑戦！

ディープラーニングはボーダーコリーを個体識別できるか？（２）

まずは参考書の章立てに従って、9層のCNNに挑戦！

クラス数を6から3に修正しなくてはいけなかったけど、何カ所か修正漏れがあり、エラーは出たものの修正して無事動作。

学習で待つこと約40分。
長い、、、
でも、GPUを使わずCPU処理した場合、多分10時間くらいかかるはず。
それを考えれば画期的に早い。

学習も無事完了し、いよいよワクワクしながらテストを開始。

＜結果＞
【flora】
flora    344    52.2%
thistle    121    18.4%
william    194    29.4%

【thistle】
flora    172    25.7%
thistle    207    31.0%
william    289    43.3%

【william】
flora    233    36.1%
thistle    82    12.7%
william    331    51.2%

フローラとウィルの正解率は50%をかろうじて超えている。
でもシーちゃんは30%。
あてずっぽうで確率論でやるのとあまり変わらない、というかそれより成績悪いかも。
あと、フローラもシーちゃんも、ウィルと間違える確率が高い。
ウィルを間違える場合はフローラに間違える確率が高い。

img　　　　　　　　flora　　　    　　thistle           william
thistle225.jpg    0.107242167    0.444881022    0.447876781    william

img　　　　　　　　flora　　　    　　thistle           william
thistle226.jpg    0.178101882    0.644204736    0.177693456    thistle

上記二つのファイルは、人間の見た目的にはあまり変わらないけど、片やウィル、片やシーちゃんと判定されているみたい。
thistle225の場合はシーちゃんとウィルでちょっと微妙な判定ではあるけど。。。

これなんかは、かなり自信を持って間違ってる。
img　　　　　　　　flora　　　    　　thistle           william
thistle404.jpg    0.871371627    0.086606659    0.042021737    flora

うーん、フローラに見えなくもないけど、シーちゃんだよね～。
ま、データの良し悪しもあるので、一概には言えませんが微妙な結果。。。
ボーダーコリーやウチのを見慣れていない他犬種の飼い主さんくらいの成績。
さて、気を取り直して次はVGG-16に挑戦！

ディープラーニングはボーダーコリーを個体識別できるか？（１）

最近流行りのディープラーニングというものに、なんとなーく興味を持ってちょっと遊んでみました。

参考書は以下。
「実装　ディープラーニング」（オーム社：藤田一弥著／高原歩著）

先ずは環境構築。
やっぱりGPUが載ってないと辛いよな～、と思って以下のスペックのノートPCを調達。

メーカ：ドスパラ
機種名：GALLERIA GKF1060NF
CPU ：Core i7-7700HQ
メモリ：32GByte(DDR4 SO-DIMM (PC4-19200/16GBx2/デュアルチャネル))
ディスプレイ：17.3インチ
GPU：GTX1060
HDD：1TB
SSD：250GB(M.2スロット / AHCI接続)

UBUNTUの14.04をインストールせよとあるので、インストール。
でも、いきなり最初でつまずく。
LANポートを認識しない。
ネットに繋がらないと、LINUXのインストールはなかなか進まない。
多少割り切って16.04、17のインストールにもチャレンジしたけど、14.04よりも状況悪し。
インストーラが途中でだんまりになってしまう。
14.04はLANポートを認識しないものの、インストール自体は完了する。
覚悟を決めて、Winパソコンを使ってインターネットで情報収集。
LANコントローラチップの種類を調べ、チップベンダのHPでパッチの当て方を見つけ、ソースをWinパソコンでダウンロードしUSBメモリ経由で保存。
カーネルをビルドする際のエラー攻撃に参りながらも、なんとか一週間かけてLANポートの認識に成功、、、
これでようやくスタートライン。

出版社のHPからサンプルソースをダウンロードしたり、必要な環境をダウンロードしたりして、環境整備。
まずは本の通りに一通り動作させてみる。
ここでも問題が幾つか。
テストの際にエラーが出て終了してしまう。
著者のHPに幾つかFAQが掲載されており、どうやらGPUの違いによるものと推定。
元々本の方ではGTX1070を使用しているが、今回はGTX1060を使用。
グラフィックメモリの容量に差があり、テスト時のバッチサイズを減らさなくてはダメそう。
とりあえず半分にしてみて、なんとか動作。

その後、動かしてみた感覚を頼りにサンプルソースを解読。
どうやら、データの読み込み元、分類するクラス数の変更、ラベルの変更、データ数の変更などの修正でいけそう。
本のサンプルではcaltech101の中からairplaneとかbonsaiとか6クラス分類。
今回は我が家のボーダーコリー達の個体識別をできるかに挑戦することに。
ということで、flora、william、thistleの3クラス分類。
各々約800個のファイルを用意して、Photoshopのアクションを作って、バッチでリサイズ＆カンバスサイズを変更。
全て1024x1024に揃えました。
名前もラベル_通番.jpgのフォーマットに変更し、準備完了。

ちなみに、特徴さえよく出ていればピンボケ、手ぶれOKなのが良い所。
ただ、データを揃えるだけで丸2日くらいかかった。
やっぱり800個のデータを三頭分選別するのは、かなり大変だった。

そして、いよいよ次から本番です！

台風一過

さて、台風１８号が通り過ぎた月曜日、久し振りの素晴らしい青空。

富士山もよく見えています。

普段見慣れたおサンポ風景も、なんか違って見えるから不思議～。

空が青くて、緑が鮮やか。

ただそれだけなんだけどねー。

公園には沢山の木の枝と、

どんぐりが落ちていました。

我が家の玄関先は、、、

日除け、崩壊、、、

夜中の間に通り過ぎたので、あまり気付かなかったのですが、風も強かったんだねー。
そういえば、朝起きた時ウィルの前脚の飾り毛がぐっしょり。
夜間の豪雨と強風の音が怖くて、すごいヨダレだったみたい。
朝サンポの後、少し早目のお墓参りに行って、その間ハウスしてたんだけど、眠かったのか昼の間ずっと爆睡してました。

で、夕方いつもの広場へ。

なかなかの夕陽。

でもよーく見て！

なんか夕陽に透けた沢山の点々。。。
オーブ、、、ではなくて、、、
実はこれ、全部羽虫。
台風が通り過ぎて、一気に大発生したみたい。

虫の中を突っ走った子の顔にも虫が何匹か、、、

要領の良いこっちの子は、あまり虫を付けずに澄ました顔。

一緒におサンポに行っても、シーちゃんは何故か足の汚れがひどくて、ウィルはさほどでもない。
なんでだろうね？

（ウ：そろそろお家へ帰ろうよ！）

（シ：帰ろうです！）

そうだね。
昼間久しぶりに暑かったけど、良い風が吹いてきたね

なぜ？

ふきふきの準備をしていたら、いつの間にか、、、

ぎゅうぎゅうになって寝てました。
なんで～？

ゴハン前

カワイクやどかり状態になっていますが、、、

目が真剣
お腹空いてるんだね～。
（ウ：早くしてよね！）
はいはい。

の～び～

おサンポが終わって、ふきふきを待つシー助。

（シ：の～）

（シ：び～、です）

（シ：カワイク撮れたですか？）