ＶＲ（Vanished Reality）技術によって現実を無にすることができるデバイスが登場、Kichstarterで瞬く間に五億円を調達。
二日続けて早起きしました。早起きはやっぱり気持ちが良いですね、などということはなく、普通に具合が良くない。まあ活動できた時間はちょっと長かったので悪くはなかったのかもしれない。しかし疲れた。
仕事はゆっくり進んでいます。tensorflow筋力がちょっとついてきた気がする。Eigenはまだまだ。明後日は違うことするつもりだから、明日のうちにもうちょっとがんばって進めておきたい。
何かを思い出そうとすることというのは、神経細胞のレベルではどういう現象と対応しているのだろうか。何かを思い出そうとしているときの感じって、本当に何かを思い出すことと関係があるのだろうか。それとも、それは単に随伴現象に過ぎないのだろうか。
自分の意志が実際にこの身体を動かしている、という考えかたには昔から馴染めなかった。そのような模型を描くことは、なにか違う階層のものを暗黙的に繋いでおいてその繋ぎ目を有耶無耶にしてしまったような違和感がある。うまく言えない。
結局昨晩はなかなか寝付けませんでした。こうなることはわかっていたのに、愚かな男よ……。
仕事の前に病院。せっかく朝早くに予約したのに（早くったって十一時だという話はさておき）結局一時間くらい待ちました。まあね、そういうことよくあるところだからね、本も読めたしいいんだけどね、ただちょっと早起きがしんどかったよ、
仕事はEigenと格闘。Eigen、Tensor型のサポートがどうもぜんぜん不十分のように思われます。仕方ないのでMatrixにしてがんばったりするしかない。あとこれ逆伝搬はどうやって書けばいいんだ。なんかPythonで書けますみたいな顔してるけどそれは既存のopで書けるものだけで、結局逆伝搬用のopを書かなきゃいけないんじゃないのか。（ちょっと工夫したらもしかするとPythonのコードだけで済むかもしれないけれど）。
機械学習でどうこうする計画はだいぶ行き詰まったのでそろそろ違うことしようかな、elixirでもやろうかな、それより積んである本を読もうか、などと思っています。そういえばRNN系をちょっと試してみてもいいのかもなーとも思うんだけど、どうせ碌な成果が出ないんだろうなとも思えてちょっと萎え気味。seq2seqの要領で入力列自身を学習するようなオートエンコーダ的RNNを作ったら、その折り返し地点での内部状態は入力列の良い表現になっていたりしないかな、とか思ったけど、だったら何なんだという感じもあります。やっぱもうちょっと意味のある教師データを探さないとだめだよなあ。
まあ、今日のところは明日も早いし本を読むだけにしておこう。（また本買ったし）
明日は午前中に打ち合わせなのでまた早起きです。そういえばゴールデンウィークの休暇申請しました。十一連休の見込みです。最後の一日はリハビリ。前半は実家にいるんだけど後半はどうしようかなあ、ちょっとくらいは遊びに行きたいかもしれない。そうだね、電車に乗ろう。
具合が悪いようでそこまで悪くない感じ。
昨晩は結局だらだらとtext-dcganに手を入れたりTCP/IP入門を読んだりして夜更かししてしまった気がします。そう、何をしたのかはよくわからないけれど夜更かししてしまったのだけは本当。そういうことをすると今夜寝付けなくて明日の朝がつらい。明日の朝は病院に行くから早起きしなくてはいけないのに。はあ。
今日はおよそ生産的なことをなにもしていません。未練がましくtext-dcganを触ったりしていますが当然ろくな成果はありません。weight decayを入れておくと最初の数千ステップはおとなしくしているのですが途中でいきなり蜂起してどこかへ発散してゆきます。なんだこれ。
あと、今更なんだけども、食わせている文字列の埋め込みベクトルは全部固定的で、しかも規格化されている（たぶん）ので、discriminatorが簡単すぎるんじゃないだろうか。じゃあノイズを足してみたらいいのかなと思うのですが、いまのところあまり上手くいっていません。うーん、そろそろ本当に諦めるべきな気がするなあ。あとはdiscriminatorの過学習を疑っているけど、いや、それはないか……。
来週は人と会う用事が複数あって心配。はー。
昨晩はtensorflowのopを書いていました。なんでこれうまくいかないんだろーと思ってたものがわりとしょうもない勘違いに起因していたことがわかって、それでやっとNMSが動きました。やっぱりC++のエラーメッセージはわかりにくい。実行時になら出せる情報を型推論だけで全部やろうとするからなんだろうと思う。それともちゃんとしたIDEがあれば違うんだろうか。
今日は夕方から散歩に行きました。楽しい楽しいと思ってどんどん歩いていると、やあ疲れてきたなと思ったところで復路が残っているのでしんどいですね。「デバッグはコーディングの二倍難しいので、全力のロジックは自分でデバッグできない」みたいな格言を思い出します。今日は17.5kmでした。10kmを越えるとつらいので、今度からは5kmくらいで折り返すべきなんだけど、遠くに行きたいのよね。帰りは電車に乗るとかしたほうがいいのかも。
今夜はもうちょっとC++でいろいろ書く練習……と思ったのだけど、さっきからなんか体温が高いので早めに寝たほうが良さそう。なんだこれ、ちょっと疲れただけとかだったらいいんだけど。
Make everything seachable.
見聞きして書いたものすべてを検索可能にすべきだと思うのです。tweetも、likeも、reblogも、この日記も。一年か二年か前にtweetは検索可能にしたけど（ http://logt.necocen.info/ ）、それではぜんぜん足らない。特にreblogとlikeがないのが痛い。
作るとしたらelixirの勉強がてらということになるんだけど、今はぜんぜんそんな時間がない。まあでも機械学習に飽きたらそっちやりましょうかね。
text-dcganは結局ぜんぜんうまくいっていません。なんでgeneratorのlossがどんどん発散するんだろう。やっぱりRNNを使わないといけないんだろうか。そういえばこないだRNNの新しいのが出てたよね、実装してみようかしら。
仕事は久々にアプリ開発。見透しよく書くにはどうすればいいのか、なんてことに悩むのは久々という感じ。すこしは貢献できているといいのだけど。
あとはEigenと格闘したりもしましたが結局よくわかりません。つらい。週末にちょっと調べてみようかなあ。
さて週末。明日晴れてる ∧ 元気ならまた散歩に行こうかなあ。週に一度はちゃんと歩かないと。
ずっとグアイワルニャーオ。
昨晩は「マスタリングTCP/IP」を読んだりしました。読んでて思ったのだけど、僕が一番知りたいのは物理層なんじゃないだろうか。こないだCPUエミュレイタ書いたときみたいにさ、とにかく実際に触れるものとの接触点がどうなっているのか、なによりまずそこを理解しないといけない気がする。
仕事は難航。ついにC++でtensorflowのopを書き始めたのだけど、ドキュメントがぜんぜんないのでなかなか進みません。というかEigen？のことがよくわからないのがつらい。これ将来的にはCUDAでも書かなきゃいけないの？しんどいな……
あとC++（というかテンプレート）はちょっと間違えただけで世界の終わりみたいにエラーを寄越すのもしんどい。REPLのある言語のありがたみよ。
今夜もtext-dcganを応援しながら本を読みます。text-dcganはあんまり収束する気配がありません。generatorさんチームはもうすこしがんばってください！
昨晩はtext-dcganを書いていました。一応動かせるところまで来たのだけど、なかなかgeneratorが学習してくれません。cross entropyが50とかになってるの、なんか壊れてるんじゃないのかな。ふーむ。
仕事は難航。FRCNNの実装なんだけど、いざ書こうとしてみると理解があやふやなところとかいろいろ出てきたのでまたソースを復習したり。とりあえずproposal部分はNMS以外はpythonで書けそうなんだけど、NMSは無理でしょう。まあ元実装のコードを参考にしつつ明日がんばるつもり。
ところでOCRのほうは完全に諦めムード。まあしょうがないよね。
今夜はtext-dcganを応援しつつ本でも読もうかな。ちょっと疲れているから早めに寝るよ。
昨晩はdiscriminatorの周辺をちょっと修正して、とりあえずグラフ的には正気っぽいコードになったところまでで寝ました。今夜は実際のデータを流すところまでやりたいんだけど、できるかなあ。
お昼から仕事。社外打ち合わせ。なんで僕を連れてくんですかって訊いたら「雰囲気を出すため」みたいなことを言われたので、僕はもしかしたら人間よりも間接照明に近い存在だったのかもしれない、と思いました（思っていません）。雰囲気は出しました。名刺交換くらいでキョドるのはさすがになんとかしたいよね。
あとFaster R-CNNのtf実装を検討しています。できればC++書きたくないんだけど、少なくともNMSは必要だし、RoI Poolingとか、あとSmooth L1 Lossも必要でしょう。そういえばFCLNのRoI Poolingって何がどう微分可能なんだっけ。勉強が足らない。
具合は昨日よりちょっと良くなっている気がする、けど単に朝風邪薬飲んだからかもしれない。
昨晩はDCGANのモデルを書いていました。一応たたみ込んだりするところはできたのだけど、discriminator二回走らせたらグラフが二つになって、変数は共有してるにしてもあまり格好良くないので、一度で済ませられるように工夫するつもりです。
具合はあまりよくない。明日は社外の打ち合わせに同行するらしい。二年ぶりくらいだから緊張する。
昨晩はtfでモデルを書き始めたけどやっぱり微妙に不慣れなので進みません。特に、generatorとdiscriminatorを別々に作って独立にパラメータ更新するところとか、これまで適当に任せてたところをちゃんとやらないといけない感じで難しい。
今日は特になにもしていません。「ヤマノススメ」一期がAmazonプライムで観られたのでぼんやり観ました。そういえば二年半くらい前に高尾山登ったっけな。ぜんぜん記憶が無いけど。
調子があんまりよくない。元気がない。うーむ。