具合は昨日よりはマシって程度。相変わらず目覚まし時計より早く目が覚める（「東京タワーより高く跳ぶ」みたいな文）。仕事の前に病院にゆく。
心身の具合の悪さによって、この世界の楽しいものすべてから締め出されてしまったような気がする。世界は、前と同じように輝いている。でも、僕はもう、そこにはいない。
全か無かという思考からさまざまなものを引き剥がしてゆく格闘。
にゃーお。
びっくりするほど調子が悪い。早起きと体調の関連性なんてまやかしの見せかけの幻想でしかなかったことに気づかされる瞬間。あとiPhoneのバッテリーもばかになってしまって充電が30分くらいしかもたない。あと数日で御役御免だからって気を抜いているのか、それともささやかな抵抗なのか。
仕事を途中で一旦抜けて病院へ。寝付きは良くなったけど夜中に目が覚めたりしますと言ったら薬がちょっと増えた。
精神状態が良くないのは会社でも家でもうまくゆかない問題と格闘し続けているからだろうと思い、じゃあしばらく家では計算機巫女業やめます、ちょうどAWSのスポットインスタンスも止められてしまったし、と読書をしようとしたのだけど、気がつくとうつらうつらしてしまっており何の生産もしていない自分に苛立ちがつのる。こんなことならコード書いてるほうがマシだったのでは？
明日は上長と評価面談。毎度毎度気が進まない時間だ。せめて体調が悪くないといい。
今日はビームサーチを書いたり、あと少し本を読みました。テストとか書くべきポイントだけどそういうのができそうな抽象化がとてもできなかったので諦めた。一応それらしく動いてはくれているので大丈夫でしょう。
それなりにちゃんと学習させておくと、40文字くらいまでは復元できるように見えます。これは僕が書いた文章だから効率が良いというわけでもないらしく、ソースコードなんかもこのくらいなら復元できています。これはもっと学習すれば伸びるんだろうか。
もっとも、別にそんなのはどうでもよく、それより問題はこの内部表現をGaussianにインポーズできるかなのよね。あとsampled-softmaxで高速化できるならそうしたいと考えてはいるけど、いまの設計とバッティングするので悩んでる。でも文字種は4000以上あるから使った方がいいはず。
明日は午前中にSkype会議。それから午後にちょっと会社を抜けて病院。
昨晩はうまく眠れなかったので、その分早く起きていろいろしました。ねむいのでもう寝ます。
まずskip-gramによるcharacter embeddingを書きました。これはでも、べつにanalogyとかがやりたいわけではないので特に評価はしていません。
それからTensorFlowのトレース機能を試したのだけど、まあなんかカラフルじゃのうくらいで特段役に立つことはなさそう。
それと、一つのGPUで複数の学習プロセスを動かす実験。普通にできないのは単にTensorFlowがメモリを食えるだけ食って内部でやりくりするようになっているからなので、そこにリミッタを掛ける設定を追加してやれば普通にできました。ただ二つ動かすと速度は半分よりちょっと速い程度まで落ちるので、特に効率化にはなりません。まあそれでもCPUでやるより早いから恩恵はある場合もあるだろうけど。あと条件の違う二つの学習が同時に走ってくれたほうがうれしいこともある。
あとLSTMオートエンコーダのデコーダのところにAttention Modelingを入れてみました。ただし見に行くのは過去に自分が生成したところだけです。結果はまだわかりません。
ねむい。明日はビームサーチを書こうかなと思っている。あともしかしたらDiscriminatorを書いて本格的にAAEのスキームに載せるかもしれない。
昨晩はcharacter embeddingの実装を試みていたのだけど、途中でnce_lossがなにやってるのかわかんなくなったので挫折して寝ました。
夕飯を食べてお風呂に入ろうと思っていたらfから飲もうぜと誘いが来たので居酒屋でジンジャーエールを飲みました。途中でλも合流してなんか昔の話とかした。僕はお腹いっぱいだったので本当にジンジャーエールとウーロン茶を飲むだけだった。あとちょっと具合悪くなったりしたけど、これはたぶん緊張感によるものだと思う。難儀な身体になってしまったねえ。
そういうわけで今夜はもうなにもしません（してもいいんだけど生活リズムを護りたい）。明日こそはembeddingを書きたい。あとTensorFlowの機能をいろいろ調べたい。メタグラフの読み書きとか、あとGPUのメモリ使用率を制限すれば複数のタスクを並行できるのか？とか、あとプロファイラのこととかも。あとMovingAverageの実装がこれで正しいのかとかも気になっているし。全部は時間ないと思うけど。
昨晩はAppleの製品発表会を観ていました。Apple Watchの新型が来たのでまたちょっとだけほしくなったけど、腕時計まで二年に一度買い換える暮らしはちょっとなあという躊躇があります。とはいえボーナスでも出たらそのタイミングで買ってもいいのかも。いや他になんかあるでしょうけど。計算機とか（はいはい）。
ところでiPhone7はSuica対応だそうなので、使ってるのはPASMOなんだけど乗り換えかなあと考えています。iPhone7を買うのは確定。小さいほうね。
計算機巫女業はいろいろ試行錯誤するのにも飽きてきたのでちゃんとした評価方法を実装しようとしたのだけど、なかなか難しい。とりあえず対数尤度でいいっぽいのだけど、隠れ変数からの生成の場合それは推定しかできないので、ガウシアンカーネルを使って推定するんだけども、そのパラメータを決定するために交差検定とかやるのがけっこう大変。というか手許のmacでは力不足感がある。明日ももうちょっと試してみるけど。
RNNオートエンコーダは、curriculum learningを試してみた。確かにちょっと良さそうなのでこれで行きますが、具体的にどのへんでレベルを上げるとよいのかとかはまたハイパーパラメータなので困る。
今夜は文字の埋め込みの初期値を文字単位のword2vecでやれないか試してみようと思います。skip-gramって結局どう作ればいいんだっけ。調べなくては。
昨晩はTensorBoardに複数の実行結果を重ねて表示できるように試みたりしました。今まで使ってなかったけどこれ便利だ。だいたいの数字じゃなくてちゃんと差がはっきりわかるのは助かる。ただいくつも表示すると重い。
計算機巫女業は難航。AEに使うOptimizerとGANに使うOptimizerを別々にしてたんだけど、それを統合したら挙動が変わってしまった。なんでだ……？
あと、データボリュームコンテナをエクスポートするためのコンテナを簡単に作るDockerイメージなんかを作りました。もっとも、別に学習結果を保存するのにデータボリュームなんか使わないでどっかマウントしちゃえばいいんじゃないのという気はする。いや、今回の発明によってこっちのほうが便利な可能性が出てきたのか？まあどうでもいいや。
今夜はiPhone7の発表だそうで、僕は買い換えのタイミングだから気になってるんだけど、はてさて。しかしせっかく最近早寝早起きなのに、こんなの観てしまって大丈夫なのかしらん。
そういえばRNNオートエンコーダはcurriculum learningを試しています。まだ一回目の途中なので効果はまだわからない。もうちょっと難易度を上げるのを遅らせてもよかったかもしれない。
昨晩は……そうだ、RNNオートエンコーダをGRUからLSTMに替えてたんだった。ところでHighway RNNの実装も見つけたのでこれも試してみたい気持ちがあるぞ。
計算機巫女業はすこし前進。いっそ最初から学習率を一桁落とせばいいじゃない、というのと、あと隠れ変数の次元数を上げたのと。あとはこれでDiscriminatorが仕事してくれればいいのだが、それはここから調整していこう。
今夜はcurriculum learning（綴りに自信がない）をやってみようかなと思います。短い文から始めて、途中から長い文を含むデータセットに移行するの。三段階くらいでやればいいかな。長さのヒストグラムなどがあってほしい気持ちがあるけど、どうすれば見られるかしら。
「〈赤〉あるよね」「ある・・・」
仕事の前に病院。そういえば眠りが浅いんですよね〜という話をしたら薬を少量出してくれることになった。うまく機能してくれるといいのだけど。
計算機巫女業は相変わらず神頼み。そういえば、学習率を途中で一桁下げてみたら？となぜか思ったので（なぜだったかは忘れた）そうしてみたらlossが覿面に下がった。前にもそうなるのを見たことがあったけど、これAdamじゃん、なんでそういうのが必要なの？
ちょうど読んでる教科書に「もし１個だけしかパラメータをチューニングできないとしたら学習率を選べ」みたいなこと書いてあって、せやな、と思った。
LSTMオートエンコーダは、いろいろ手を入れつつもいろいろ試行錯誤中。短いといけるんだけど長いとだめになるのは、隠れ層を拡大すべきなのかLSTMに替えるべきなのか…… 先にLSTMを試してみようかなあ。
決定論が正しければ、因果的関係とは単に時間の隔てられた論理的必然に過ぎない。コインの裏と表の関係だと思えばそれは文法的と呼んでもいいかもしれない。
決定論が正しくなければ、そもそも何かが因果的であることなどできない。
なぜこんなことを急に思ったのかは忘れた。ヒュームは買ったきり序文しか読んでない。
今日もお昼前に起きました。昨晩から動かしていたLSTMオートエンコーダは、なるほどという感じの動きをするけれどもあいかわらず学習が遅い。
ところで、AWSでGPUのスポットインスタンスを借りてみたのだけど、こっちでやると、ミニバッチサイズと実行時間の間にほとんど相関がない（50でやっても300でやっても倍にさえならない）っぽいので、どこかに巨大なオーヴァヘッドがいるのかなという感じがあります。まあそれならバッチ大きくしたもの勝ちっしょ、ということで300で試す（500になるとメモリが載りきらないようだ）。
夕方にすこしだけ散歩しました。一時間ちょっとで５キロ強。スカイツリーの下まで行ったんだけど、なんか疲れたから昇ったりはしませんでした。
夕飯は寿司の出前を取りました。ピザより安い。
明日は仕事の前に病院。なんの話するか決めてないけど、まあこのところ落ちついてるからな。