とある京大生の作業ログと日々の雑記

コンピュータサイエンスについて学んだことを可視化したり日々の雑記をまとめてます。

GoodfellowのDeep Learningを読んだので

こんにちは、コミさん(@komi_edtr_1230 )です。




今回はGoodfellowのDeep Learningを読んだので、その書評です。



読んだきっかけ






実はもともとこの本は読もうと思ってて、8月にCSの教科書のPDFを収集してたときにすでにストックしてあったんですよね。




ぼくが日立にいたときから上司に勧められてて、京大の人工知能サークル(?)の人もこれ輪読してて、ずっと読もう読もうと思ってたんですけど他のやるべきこととかに追われててしっかり頭から読んだことなかったんですよね....




研究とかの過程でわからないところがあったとき、ちょうど去年くらいに東大の松尾研が翻訳してて無料公開してたので、それを適宜見たりって感じで.....




てことで一度はしっかり読もうって思ってたんですけど、PRMLやらカステラ本、SICPなど他に抱えてたPDFに気が向いてしまって結局ようやく読んだって感じです。



読み方






もともとDeep系の知識はある程度あったんで、基本的には知ってるところは流し読みで、不明瞭なワードとかはググったり他の書籍を参照しながら定義を確認しつつ、スタイルでいきました。




また、ちょこちょこ登場する実装とかも擬似コードを追ってちゃんと計算フローを確認しました。




読むところはちゃんと読んでテキトーなところはテキトーに流して、ってスタイルだったので700ページちょっとあったけどだいたい4日くらいで読めました。




あんまりこんなペースで読むのはオススメできないんですけど、ある程度Deep系の知識がある人ならこのくらいでもちゃんと中身は頭に入ってくると思うので、読み方については各自の工夫でって感じかもですね。



全体の感想






通しで読んでの感想としては




Deep Learningの本としては決定版だろう




という感じでした。




というのも、最近ブームのDeep系がちゃんと理論的に解釈できてネットワーク構造に意味合いを見出すという意味で非常に有用な一冊だと思いました。




最近のDeep界隈の良くないところとして、とりあえず思いついたアイデアニューラルネットに流し込んでうまくいったら論文にしてって感じで、モチベーションとかが曖昧で理論的保障もないんですよね。




流行りのGANも、単純に「こういう風にやれば面白いかも」みたいななんとなくの思いつきじゃなくて、しっかりDeep系の中でも生成モデルと識別モデルがあり、ちゃんと事前分布として何を仮定して、って理論的な裏付けがあるんだってことを理解するべきな感じがしてます。




最近のDeep界隈はなんとなく流行ってるからって外部からの参入が多くて、しかも先ほど述べたような感じであまり今のDeep界隈は好きじゃないなぁって思いはあるんですけど.....




まあそういうことは置いといて、良かったところを述べていきましょう。



ベイズ的解釈






前にツイッターで「実際のところ機械学習は事前分布を仮定しなくてもやりたいことはできてしまう」みたいなことが一瞬話題になってたんですけど、これは識別モデルの話で、生成モデルについて語ろうとすると確実にベイズを使うことになって事前分布とかが出てきます。




そういう意味でPRMLは統計的学習においてベイズをふんだんに使った解説をしていて古典的生成モデルとして名著だと思うんですけど、今回のDeep LearningもDeep系においてベイズをあらゆる箇所で使っていて、現代的生成モデルの本として非常に良くできてる本だと思いました。




まあ著者のGoodfellowがあのGANの発案者というのもあるかもですけど....




ぼくはベイズを使って数式をゴリゴリ押していくのが好きな人間なので、そういう意味でこの本は非常に好感でした。



基礎をしっかり






この本は大きく3部に分かれていて、Part 1で数式いじりのための基礎や統計的学習の基礎的なものを解説しています。




Part 2ではCNNやRNNなどのよく扱われるニューラルネット構成を説明、Part 3では最近のDeep系の研究として表現学習や深層生成モデルの話を展開します。




生成モデルの話が良かったのはそれはそうって感じなんですけど、個人的にグッときたのは表現学習のところです。




ぼく自身の興味対象として学習における汎化性能があり、Zero shot learningとかOne shot learningあたりはかなり注目してた部分なんですよね。




ちゃんと人間の脳と学習機構について言及しつつ、それをDeepで実現しようという最近の研究の方向性をしっかり提示していてぼくは感動しました。




ぜひオススメです。



まとめ






Deep Learningというとどうしてもインチキ機械学習erが声を大にしてツイッターでギャーギャー騒いでるイメージがあるんですけど、そういうインチキ機械学習erと差別化を図るという意味でこの本は是非とも読んでおくべきだと思います。




というのも、今後Deep Learningという技術を振り回すにあたって理論的な理解は必要不可欠です。




理論をないがしろにするとすぐにボロが出ます。




Deep Learningという技術はブラックボックスなのは事実なのですが、その上で「どこがどうブラックボックスなのか」ということ程度は理解しておかなければなりません。




これは機械学習界隈に身を置く自分として非常に伝えたいことの1つです。




わからないことをわからないで放置せず、何がどうわからないのか、せめて部分問題に分解するという作業は絶対に必要でしょう。




機械学習を社会実装しようという動きがあるからこそ、機械学習Deep Learningを理解しようとする姿勢は肝要です。




そんな意味でもこの本は非常に有用だと思いました。




ぜひとも一読あれ。








最近の話と今後の予定






さて、本のレビューもしたところで、最近の話とかを。




気がつけば11月も半分が終わり、12月の帰国まで1ヶ月を切りました。




.....早すぎん?




スイスに来たのが8月16日とかだったので、3ヶ月経ったことになりますね。




なんか留学生ブログとかを見てると「留学開始3ヶ月が1番つらい!」なんか書いてあったりしてて、実際そう感じるのかなって思ったりしたんですけど今のところは特にストレスもなく伸び伸びと生活しています。




まあもちろんラーメンとか牛丼は食べたいですけど、そこまで死ぬほど食べたいかって言われたらそうでもなくて、だから別に今の感情としては「日本に帰らずとも意外とやってけるなー」って感じなんですよね。




多分もともとバックパッカーとかやってたのもあるから海外への適応能力がー、って感じかもですけど....




そんなこんなでスイスに来てから3ヶ月間、特に困ったことなくのんびり留学生活エンジョイしてます。




さて、今後の予定なんですけど、まずはインターンの話。




.....Amazonからのインターンの返事来ねえ。




11月1日にAmazon UKのBristolでのインターンの推薦メール来てから全く連絡がこないという状況なんですけど、それは置いといて、なんとこの前にAmazon CanadaとAmazon USからも推薦状が届きました。




何が起きた.....俺は何をしたんだ....




意図せぬ形で世界中のAmazonインターン推薦を手に入れてしまいました....w




ということでAmazon CanadaとAmazon USもインターンの申請は出しといて、ついでに遊びでAmazon Luxembourgにもインターンの申請を出しました。




さあ、ぼくは来年はどこに国にいるんでしょうか!!!!




こんな状況だから、来年から一応で確保しといたインドのスタートアップの会社に本当にインターンしに行くかも微妙で、ぼくは今ホントに何も動けない状況なんですよね....




なんとか今月中には連絡くるといいなぁ....




まあインターン事情はこんな感じで未定です。




さて、今後の予定の話その2で、今後の勉強の予定について。




この前まで「このDeep Learning読んじゃったらあんまり読みたい本なくなるなぁ...」って思ってたんですけど、ふとコンピュータービジョンが未修であることに気づきました。




そしてすぐにCV系の本を漁ること、良さげな本が2冊ほど。




てことでこれからはコンピュータビジョンに移行します。




もともと機械学習とかでOpenCVにはお世話になってたけど、そういや中身のアルゴリズム何も知らないなぁって....




これからも勉強することはまだまだたくさんありそうです。




さてさて、今後の予定の話その3で、今後の進路について。




うーん、決まらない。




もともと東大の研究室か京大の研究室でそれぞれ良さげなところがあったのでどっちかかなぁなんて思ってたんですけど、ふと海外の大学院も割とアリなのではと思い始めたり....




てことでせっかく選択肢が絞り込めてたのにまた選択肢が増えて決まらなくなってしまいました。




もう学部3回生の11月なのにここまでボヤッとしてるのはやばいよなぁ、って思ってます。




...早く色々決めよ。








てことで今後でしっかり決まってるのが勉強の予定くらいしかないんですけど、まあ何か新しいことが決まったりしたらツイッターとかで報告します。




楽しみにしててくださいね(?)




ではお疲れ様でした!