昨晩はお酒を飲みながらDRAGANの面倒を見ていました。いろいろ構造をいじってみたのだけど、どうもcollapseが早まるばかりでうまくゆきません。pixel shufflingとか入れてみたんだけど見た目に特段の影響はなさそうです。うーん。
今日もチューニングしつつ昼寝していました。やっぱりうまくゆきません。やっぱりlearning rateを漸減させるなどする必要があるのかなあ。それで良くなるともあまり思えないんだけどなあ。
仕事はぜんぜんだめ。LT発表はまあなんとか乗り切れたけど、不具合はぜんぜん直らない。
さて今度こそ週末。DRAGANの世話でもしようかしらね、でも次の一手が思いつかないのよな。うーむ。
5813
ずっと寝たり起きたりしていました。LTの準備をしなくてはいけないのに。ずっと寝たり起きたりしていました。LTの準備をしなくてはいけないのに。
今夜はすこし夜更かしすることになるでしょう。LTの準備をしなくてはいけないので。
実験ノート。バッチサイズを128に拡大したところmode collapseの発生が早まった。これはDiscriminatorの学習が安定化したためと思ってよいのだろうか。そうだったとして対策は特に思いつかない。うーむ。learning rateをcollapseの手前で落としてみるとかすべきなのかなあ。
仕事は残タスク対応と不具合検討。でもこれiOSのSDK使ってる限り直らないんじゃないかなと思う。そういう不具合とどう闘ってゆくべきなのか、受託開発の身としてはわからぬままだ。
夜は先輩の送別会。ながくお世話になった人なのでとても寂しい。しかし、さようなら（そのようにあらねばならないのなら）、どうかお元気で、という気持ちだ。
それはそれとして、僕も転職を真面目に考えるべき時期なのかもしれない。でもな、僕には社会性が足りないし、その会社がエンジニアをどのように扱っているかなんて外からじゃわからないのではという気もするしな。（あとまあ、現状の僕の立ち位置からではそんなに不満は見えないというのもある）（それは僕が近視眼的すぎるというだけでは？）
さて週末、と書きかけてそうではないことに気づきました。明日はLT会の準備をしないと。でも一年半も前にやったことの記憶なんてあてにならないし、ちょっと調べたら状況もいろいろ変わっているっぽいし、なんかやる意義を見出せないよなあ、これ。うーむ。
まあ、結論からいうと昨日のアレはぬか喜びだったわけですが。だいたい30000Stepsあたりでmode collapseが起こるみたいで、その閾値はλパラメータにあまりよらないみたい（いま調べている限りでは0.5でも1でも2でもだいたいそのあたりで崩壊する）。ただVanilla GANやλ=10とかだと最初からcollapseしているのでそういうのと比べるとずっとよいように思われるから、あとはこれをどう処理するか考えないといけない。どうも30000Stepsあたりでが急激に低下するようなのだけど、これはDiscriminatorが過剰に賢くなっているということなのだろうか？（でもそれってなんか関係あるか？だいたい摂動した入力を与えてるんだからfake判定されるのは当然ではないのか？）
仕事は不具合調査と対応と、あとLT会の資料作成。Gyazo Cloneの話をしようと思っているのだけど、一年半前の自分がなぜこういう構成で行こうと思ったのか正直よくわからなかったりして困る。まあそのあたりはうまいことごまかしてストーリーを構成すればいいかなあ（できるとは言っていない）。
明日は会社の先輩の送別会。幹事とかやるの久々か初めてかどっちかなので緊張する。ハー。
そんなことより聞いてくださいよ、DRAGANのλパラメータを1にしたらmode collapseがなくなって正常に学習が進み出したんですよ！まだStep数少ないし見た感じupsamplingに難があるけどとにかくcollapseしたり真っ黒になったりしなくなっただけでも大きな前進です。やった、うれしい、あとはネットワーク構造のチューニングかな（それはそれで沼感）。
仕事？今日はギリギリまで寝てたけど12:10まで寝ててもなんとか間に合うことがわかった以外は収穫なかったよ。会社のmacはなぜか空き容量が足りなくて３つ目のXcodeが入らないよ。前は３つ入れてたはずなんだけど、いったい誰が領域食ってんだ？明日調べるか……（まあXcode8しばらく使わなさそうだからそっち消してもいいんだけど）
明日は仕事の前に病院（定例）。そういえば後輩の引越祝いに五年近く使ってない炊飯器をあげようと思ったのだけど明日は病院だから明後日にしよう。あーでも明後日雨か。うーむ。
今日は夕方に髪を切りに行った以外はずっと寝てたかDRAGANいじっていました。
DRAGANはあいかわらずmode collapseしっぱなしです。勾配ペナルティの入れ方が悪いんかなと思ってλを0に落としてVanilla GANにしてみたけどこれはこれでmode collapseする。なんなんだこれは一体。一年前のAAEのほうがずっと良い結果だったぞ。とするとネットワーク構成がよくないんだろうか。ううむ……。
ところで明日は平日だそうですね。なんだかぜんぜん心休まらなかった気がします。そして仕事はヘヴィな不具合調査が待っているらしい。つらいにゃあ。
昨晩はCycleAAEをDockerで走らせられるようにして会社の計算機に投げました。そしたら家のmacで五日間掛かった計算が四時間くらいで完了したのでちょっとウケました。てかメモリに載りきるんだね。意外。
そのまま一晩走らせたけど結局あまり良い結果は得られなかったので止めてDRAGANに移行しました。でもこちらも今のところ良い結果ではありません。なんか青いノイズみたいなのばっかり吐いてくるし、どう見てもmode collapseしてるんですが、実装がおかしいんだろうか。なんか論文の式と著者の公開してるコードも微妙に食い違っているし、うーむという感じです。まあもうしばらく様子を見てみるか……。
今夜はちょっとだけお酒を飲んでアニメを観ます。明日は夕方に髪を切りに行きます。
（略）
仕事はなんかレビューやったりしてたら終わってしまった。まあ金曜日だしもうやることもそれほど残っていないし大丈夫でしょう。実は不具合があるのを知っているのだが知らないふりをしている。
あと先輩の送別会の幹事業をやりました。いろんな人に誘いのメッセージを送ったり電話で予約を取ったり（三軒も電話したんだぞ！）で疲れた。でもこれであとは当日を待つだけのはず。いい会になってくれると嬉しい。
さて週末。今夜はお酒を飲みながらdocker-compose.ymlを書いて会社の計算機に投げるところまでやれたらいいなと思いますがどうなることやら。あと日曜日の夕方に髪を切る予約をしたので（また電話だ！）髪を切りに行きます。
丸四日（略）
いい加減諦めたほうがよさそうだ、というかさっさとDockerコンテナに入れて会社の計算機に投げ込むべきだ。でも週末までは時間がとれそうもない。TensorFlowのビルドはなんとかできたのだけど。
仕事はのろのろ。簡単なURLスキーム遷移のハンドリングだと思ってたら実は遷移先に遷移を考慮した実装が存在しなくてアワアワとなったりした。うーむ。
最近八時頃には帰ろうと毎日思っているのに結局九時半近くまで残ってしまう。まあそのくらいの時間にならないとやる気が出てこない僕が悪いという話はあるのだが。
今夜はDRAGANの論文を読んでから寝ようかなと思いますがさっさと寝たほうがいいかもしれないしよくわかんない。疲れた。