AAEはゆっくり進んでいます。ゆっくりゆっくり進んではいるけど、オートエンコーダの誤差があまり下がりきらないしときどき忘れたりします。うーむ、もうちょっと待つけど。
今日は雨だと思ってたけど晴れたので夕方に散歩に出ました。晴れた日に川沿いを歩くと開放感があってとても気分が高揚する。ねこの写真も撮った。
さて、明日は病院の予約が早いので早く寝る必要があります。ところで頭が痛い。なんか最近散歩すると頭痛くならない？気のせい？
昨晩はAAEを調整していました。Discriminatorがぜんぜん学習しないなーと思っていたのだけど、それはどうも間にReLUを挟むのを忘れていたからだったらしく、ギャーという感じです。非線型性を挟まないとどうなるのかの勉強にはなった（無駄にした時間よ）。
今日もいろいろ試行錯誤しているのだけど、なんか計算が発散するので難儀しています。しかも数値チェッカーを挟むと発散しなくなる。うーん、困った。いや、発散しなくなるならそれでいいという考えかたはあるんだけど、それって何かが正常ではないってことなわけじゃん？あと遅いし。
あとはちょっと本を読みました。今夜もAAEの調整をします。
昨晩はAAEをただのオートエンコーダにして動かしました。これだとちゃんと動くので、よくわからんなあという感じ（わからなさが改善しない実験は無駄な実験なのでは？）。今夜は先にオートエンコーダを動かして落ちついてきたところにD/Gを投入する方針でやってみようかなと思います。泥沼感。
仕事はゆっくり。Faster R-CNNの性能評価が異常に低かったのは単にスクリプトの使い方がまずかっただけだったとわかったのでそれを修正したり。まあいずれにしてもあんまり高くはないのですけど。たぶん単にステップが足りてないせい。
あとはC++を書こうと四苦八苦してみたり。僕はどうもC++に苦手意識があるのだけど、結局触らなきゃいけない機会が結構あるのでどうしたものかと思う。なんかいいIDEとかあれば扱いやすくなるんだろうか。
さて土日。片方くらいは散歩に出たいような、それよりゆっくり休んだほうがいいような。それにやることたくさんあるのよね。うーむ。
昨晩はAAEをちまちま調整したり社内向けにTensorFlow入門を書いたりしました。計算グラフの概念は最初見たときなかなか要領を得なくて難儀したので、そういうところを重視した説明があったらよかったかなと思ったりします。でも結局理解してるんだしそんなの必要ないのかも。難しいですね。
仕事はわりと周辺的な作業。tfmodelの出力とか。ただメタグラフの扱いかたがよくわからなかったのでステップ数とかタイムスタンプとか変数として保存しちゃいました。こういうのは本当はメタデータとして持つべきなんだろうけど、ドキュメントがない。あとラベル文字列も格納したけど、これもこういうのがいいのかは謎。でもモデルダンプなんだし無駄に外部に依存すると扱いづらいから、これでいい気がする。
AAEはまだうまくゆきません。オートエンコーダとしてはまあ普通くらいに頑張ってくれるんだけど、Adversarial部分が全然、ほとんど何も動かないし、しばらく放置するとオートエンコーダもやる気をなくしてしまう。なんでなんだろうな。うーむ。
あとぼんやり見てたらなぜか画像の重複が多い気がしてなんでかなと思っていたのだけど、どうも存在しない駅を選ぼうとして失敗して全部函館らへんのどこかになってしまっているみたいでした。マジかよ、除去するの面倒だし修正して最初からやり直しかなあ、今週の作業が無駄になってしまった、はー。
昨晩はAAEを実装しました。でもうまく動いているようには思えません。というか、オートエンコーダの損失が大きすぎるんじゃないだろうかという気もする。スケールすればいけるのかな……。
お昼から仕事。Batch Normalizationがおかしかった問題は、単に移動平均が追いつくのが遅すぎただけのようでした。decayを0.99にしたらうまく動くようになって、テストセットでの正答率は90%ということで、ほんまかいなと思うのですけど（テストセット作る時に何らかの偏りが混入していないか？）まあまあうまく動いていると言えるようでほっとしました。
今夜もAAEをいろいろ触りたいのだけど、なんか風邪の気配が忍び寄っているので、早くたくさん寝たほうがいいかも。寝たくらいで風邪が退散してくれるというのもあまり覚えがないのだけどもね。
昨晩は本当に死ぬほど気分が悪かったのだけど、今日はちょっと相談していろいろ回避できることになりました。まあこれで全部解決するのかよくわからないけど。とりあえずそれ以降は元気なのでよかった。
仕事は遅れているなりに進んではいる。顔分類器を書いたら正答率が85%くらいになって、やるじゃんと思った。だけどBatch Normalizationがうまくリストアされないみたいで、これは僕の使い方が悪いのかnightly版の機能をドキュメントもないのに使った僕が悪いのかはまだよくわからない。どっちにしても僕が悪いので、オーブンでお耳をバッチンしないといけませんね。
地図のDCGANは（DCGANにありがちなように）夜中に発散しました。残念です。しばらくして発散するのがありがちだと思ってるのってもしかして僕だけ？僕の実装が悪いんだろうか。うーむ？
今夜は夜更かしはしないけどAEEの実装を進めたい。TensorFlowを使ったコードの設計に関する洞察が日に日に深まるので書いたコードがどんどん見通し悪くなっててつらい。
体調が悪いのか精神状態が悪いのかその両方なのかよくわからない状態にあります。最悪だ。土日はすこし元気だったのに。
今日は本当に途中から精神がやられてしまって全然なにもできませんでした。悲しい。辛い。こんなにしょうもないことでこんなに簡単に精神が打ちのめされてしまうなんて思ってもみなかった。いや、思えば大学院に居たときだってそうだったのではなかったか？だけど、僕はあの時よりはずっとうまくやれていると思っていたし、実際うまくやってきたと思っていたのに、それがこんなに簡単に崩壊してしまうなんて。
とにかくこうなってしまったらどうすればいいのかわからない。わからなくて途方に暮れている。なんとかしなくては。だけど、僕にできるんだろうか？もうだめだ、死にたい。（一度こう書いて消して、またこう書く）
fと電話ですこし話したら、転職を検討すると気が楽になるよ、と教えてもらった。まあ、確かに自分がここにいることが必然ではないと思えること、その閉塞感からの解放は必要なことだと思う。でも僕にはそんな社会性あるんだろうか。いや、身につけなくてはいけなかったものをいま身につける時なのではないだろうか。でも、怖い。途方に暮れてしまう。
地図画像DCGANはあまりうまくいっていません。発散しているわけではないのだけど、学習がなかなか進まない。Lossは緩やかに発散する方向に動いているような気もしてすこし心配。
http://gyazo.necocen.info/3430ed695a999f2b061d042e7b31ef79.png
今夜はもう寝る。体調がおかしい。疲れているんだろう。明日は元気になれているといい、でもそんなこと無邪気に期待できない。
昨晩はGoogle Mapsから画像をダウンロードするコードを書いていました。たくさんダウンロードするのは時間が掛かるので並行処理できたらいいなと思ったんだけど、Pythonでそういうのをどうすればいいのかよくわからなかったので諦めました。まあ手許で動かすわけでもないのだし、問題ないでしょう。ただ一日25000件縛りがあるからすぐには集まりません。
http://gyazo.necocen.info/140d6f3bee238c3177a9767734d83897.png 様子です
今日はあれやろうこれやろうと思っているうちに結局なにもできなくて、さっきようやく地図画像をDCGANに食わせ始めました。結局データはどういう形で与えるのがやりやすいのかよくわからなくて、よくわからないのだけどtfrecordsに固めることにしました。これもせっかく分割してるのだし並列化とかできたらよかったんだけど、やっぱりよくわからないのでやめました。Pythonのマルチスレッドについてはどこかでしっかり勉強した方がいいかもしれません。ってかいつのまにか普段からPython使う感じになってしまったな、まあ悪い言語じゃないし（2/3対応は勘弁してほしいけども）。
今夜はAAEのモデル書くところまでできたらいいなと思うのだけど、まあ無理だろうな。でもがんばろう。
昨晩はConv４層Deconv４層のオートエンコーダを書きました。MNISTで試したらちゃんと動いたのだけど、まあMNISTごときじゃよくわからないよねとは思います。
今日は（いつもながら）特に何もしていません。Google Maps APIから地図をダウンロードすることを検討したり、日本の駅の緯度経度の一覧を取得したりしました。とりあえず駅と線路沿いに的を絞ればそれなりに人のいる陸地になるでしょうという期待です。あとは国勢調査の結果でも参照して人口密度くらいを取れればいいかなーとか。うまくゆくのかわかんないですが。
今夜は画像取得を開始できたらと思います。あとsafebooruあたりでアニメキャラ画像も取ってこようかな。テーマとして地図だけじゃなくていろいろやりたい。
なんだかしんどいなーと思って体温計をはさんでみたら微妙に体温が高いです。なんだこれ。いったいなにをすれば体調を崩さずにのんびりできるんだ。
昨晩は勉強会の準備をしました。async/awaitの例外処理は思った通りそのままtry-catchを書けばよく、ああこれは素晴らしい仕組みだなあと思いました。
お昼から仕事。勉強会の発表を乗り切ったら予想外に精神状態が改善したのだけど、あれそんなに重荷だったんだろうか。面倒だなとは思っていたけど、もっと他にいろいろあるだろうに。精神を支配する力学はわからぬことだらけだ（昔からよく知られた事実）。
でも仕事はあんまり順調ではないです。たぶん来週ResNet-ELUを実装することになるな。
今夜は画像のオートエンコーダを書きます。それが思ったより上手くいったりしたらそこからAAEに突入だけど、それより面白みのある画像データを集めるなどすべきかもしれない。地図とか、アニメキャラとか。でもあんまり夜更かししないようにしたい。
「ハンマーを持っているとあらゆる問題が釘に見える」病に罹患しているので、「ハンマーを持っているとあらゆる問題が釘に見える」病は要するにoverfittingなんだと考えており、教師データを増やすことで対応可能だろうと推測したりする。合ってるんじゃないかという気もする。