昨晩からずっと心身ともに具合が最悪です。なんだこれ。なにをすれば元に戻るんだ。助けてくれ。助けてくれ。
友達づきあいの不要な友達がほしい。その差分が何なのかはあまり真面目に考えたくはない。
勉強会の準備は結局たいして進んでいないので今夜これからやります。来週も心が休まらない。もうだめだ。無理だ。
今日は異常に具合が悪い。（全然信じてないこと言いますが、）低気圧でも来てたんだろうか。
考えなしに無職になってしまいたいという想いが日に日に積み上がってゆく気配を感じる。とにかく伊豆あたりで静養したい。当たり前みたいな顔して週に五日も労働してるの馬鹿みたいじゃん。（「五日も」と言いましたが三日ならいいというわけではないです）
仕事はあまり上手くいっていないが話だけが先へ進み続けている。心が休まらない。
健康だった頃のスナップショットからやり直せるならその間のこと全部忘れたって構やしないと思う。六年くらいは戻ることになると思うけど、まあなんとかなるでしょうと思う。
今夜こそは早く寝なくてはいけないのだが、勉強会の資料も作らねばなるまい。あまり気乗りがしない。
あまり気乗りがしない。
朝からずっとおなかが痛い。たぶんおなかに来る風邪なんだと思う。お引き取り願いたい。
おなか痛かったので仕事はあんまり進みませんでした。いろいろ検討はしたけど。うーん、ちょっとテンション低い。なんかモチベイションを回復するものがないと。
23日になるたびに、今日はなにかの記念日ではなかったかという気持ちになる。23という数には、そういう特別さがそなわっていると思う。（好きな数は17だけど）
お昼から仕事。週末の間に死んでいた学習の司法解剖を試みたけど結局よくわかりません。仕方ないので三箇所くらいにcheck_numericsを挟んだけど、こいつ勾配を伝搬しないらしい（それはバグでは？）。厄介。
明らかに進捗が遅れっぱなしのように思われるんだけど大丈夫なんだろうか。大丈夫ではないのだが。
今日はとても具合が悪いので早く寝ます。でも髪が乾くまでは起きてなきゃいけないので、今日の勉強会の講義ノートをまとめる作業でもしようかな。TensorFlowはちょっとお預け。あとXamarinは水曜日くらいから資料作る。
偉大な人物になれないのなら、せめて礼儀正しく穏やかな人物でありたいと願ったのに、現実は人生は容赦なく僕に降りかかってくる。きっと誰でもそうなのだろう。僕だけは負けてはいけない。でも負けてしまうのかもしれない。僕だけは負けてはいけない。
昨晩はXamarin Studioをちょっと触りました。async/awaitを使って非同期HTTP通信するのとかも試したけど、これ便利ですね。dispatch_asyncとかだとコールバックでネストがどんどん深くなっていくのをフラットに書けるってことでしょ？エラー処理はまだ試してないんだけど、try-catchの中に普通に書けるっぽいしそれで済むんじゃないかな。かっこいい。
今日はどうも具合が良くないのであまりなにもしていません。そういえばDCGANさんは一時ちゃんと数字を覚えてくれたのだけど、さっき見たらなんかゲームに出てくる遺跡の古代文字みたいなのをどんどん吐くようになってしまっていました。なんだこれ。Discriminatorさんチームは何をやってるんだ。いま見たらGeneratorさんチームの最後のdeconv層のbiasが急に大きくなってしまっているけれど、君はいったい何を学んだ結果そうなったんだ。
あとVariational Autoencoderのことをすこし勉強しようと思ったのだけど、ベイズ学習？とかのことがよくわかっていないのでいまいちピンときません。うーん、腰を据えて勉強した方がいい気がするな。いつまでもそういうところを無視してロジスティック回帰のオバケばかり触って喜んでいるわけにもゆくまい。
明日は病院（定例）。今夜はあまり夜更かししたくないのだけど、深層学習勉強会の課題をやらねば。
昨晩はTensorFlowでDCGANを実装しました（間違ってたことがあとでわかったのだけど）。なんとなく、こう書くと見やすいし手を入れやすくなるかな、みたいな流れはわかってきたのだけど、DCGANのように一つのネットワークを二回通すような場合はどうするのがいいのかまだよくわかりません。variable scopeを共有するとtensorboardにでっかい矢印がでてきてイケてないし、summaryもなんか微妙になる。
データは結局MNISTを食わせたのだけど（TensorFlowのチュートリアルコードで数行で読めたので）、単純なコーディングミスでweightがtrainableになってなかったので全然だめでした。
今日は起きてからDCGANの様子を見て、いろいろ修正してから夕方に散歩に出ました。なんか六本木？とか赤坂？とかの年収が高そうなところを通ったりしました。あいかわらず方向感覚がないので、西に進んでいるつもりが途中から南になったりしました。
DCGANは一応動いてくれるようになったのだけど（いろいろ表示させておくとGeneratorが突然理解りを得るのとかが見えて楽しいですね）、log lossが発散するので対策を考えています。1e-12くらい足しておけばいいだろうか。
今夜はXamarinをいろいろ触ります。非同期で通信するようなものを作れるといい。
仕事は昨日よりは順調。一応動き始めて、何かを学習している素振りは見せ始めるようになりました。でも一回突然NaN出して死んだし予断を許さない。チェッカーを挟もうとしたらGPUのメモリに乗らないとか言われたので挟めなかった、でもいくつかアタリつけて挟むべきだと思う。週明けにでも試すべき。
あとOpenCVで簡単なクロップをするスクリプトを書いたり。諸々の不安要素を置き去りにしたままシステムが形を現しはじめる。
今夜はDCGANの再実装をしたい。目標はそこではなくAdversarial Autoencoderなんだけど、こないだDCGANのlossが僕の思ってたのとオリジナルの論文とでちょっと違うと知ったので（もしかすると実質的には等価かもしれないが）それもあわせて実装する。その次はseq2seq Autoencoder。ふむ、やりきれるだろうか。
あとXamarinも触らないといけないのよね、勉強会で発表するので。土日も忙しい。明日は散歩に行けたら行きたい。
にゃおにゃお、と口にしている間しか、生きるつらさを忘れられない。
仕事の前に健康診断。身長体重は去年と大差なし。ただ視力があいかわらず左だけ悪い。しかも両眼ともに去年よりちょっと下がった。左目これ以上悪くなると自動車免許の更新に失敗する気がする。メガネ買い換えなきゃいけないんだなあ、眼鏡屋さんは（その他の多くの衣服に関する店と同様に）苦手。
仕事は昨日よりはましな感じ。AdamOptimizerをやめてMomentumだけにしたら発散しなくなったのでナーンダ無駄なことしたわいと思いました。なんでそういうことが起こるんだろう？weight decayだけが先に効き過ぎるとかなんだろうか？まあどうでもいいや。明日には系全体で動かせるといいんだけど。
これは一行も書かずに思いつきを述べるのですが、LSTM seq2seq AutoencoderができたらこれをAdversarial Autoencoderにして、二人の人間が書いた文章を食わせれば文体と内容とを分離できるかもしれないと思いました。そんな上手くいくかいな、とも思います。試してみる価値はあるかも。
本当はTwitterのpostでやりたいんだけど、僕じゃない人のpostはAPIでは3200件しか取れないので難しいでしょう。ふうむ。
h.b. > f.
仕事は難航。とりあえずデータを自動でダウンロードするスクリプトを（やっと）書いたのでこれでGPUインスタンスで動かせるようになりましたが、どうにも学習が進まない。たぶんrelu5_3が全部０になってしまっているのが原因なのだけど、それはどうすれば取り除けるのだろう。うーん。勾配をクリッピングしてみたけど効果なさそうだし……（もっと小さくクリップすればいいのかもしれないけど）
tensorboardにはいろいろな情報が表示されるけど、結局それらの読みかたや適切な対応がわからないので、目をつぶって祈っていたのを目を開けて祈るようになっただけの違いでしかない。うーむ。
明日は健康診断。しかしこの一年で五回くらい血液検査してる気がするしわざわざ行く意味ない気がする（そういうものじゃないけど）。ああでも視力が落ちてるだろうな。
昨晩はAdversarial Autoencoderの論文を読んだりしました。これおもしろそうだな。GANは収束しづらいという噂だったけどこれは収束性いいんだろうか。元がオートエンコーダなんだし悪くはなさそうだけど。オートエンコーダとDiscriminator部分にDCGANみたく畳み込みを使うことはできないんだろうか（それってなんか意味あるのか？結局NNの表現力がどんなものなのかよくわからない）。
あとRNNのseq2seqをオートエンコーダ的に使えば文章の内部表現を同じようにimposeできるんじゃないかと思うんだけど、やってみたいな。まずは単純なseq2seqのオートエンコーダを作ろうか。
仕事は壁。一応学習を試しつつ調整しているんだけどどうしてもlossが突然発散してしまって、おかしいなあと思ったんだけどどうもtfのクロスエントロピーの関数が壊れている。正確には、ラベルに-1を入れて無視させようとしたときに異常な挙動をとるように見えるのだけど、まあちゃんと調べたわけでもないのでわかりません。とにかく手動で無視する部分を除去したら発散しなくなった。ただそれだけでうまくゆくというわけではない。時間が……