2023年ふりかえり

2023年、よく働きました。
2016年10月から働いて7年経ったものの、今年の前半はその中でも最も働いた期間となりました。爆発的な成果が実ったとはいいがたいですが、とはいえ体調や健康を崩すことなく乗り切れたのは幸いでした。新作ゼルダもピクミンも日々の漫画もあって精神衛生上助かりました。

 

さて、昨年は三次元復元という技術を使った4D Scanや3D Scanというサービス開発をしている話をしました。現実の物体や瞬間をそのままデータ化し、CGの箱庭の世界で自由に視覚化できます。
sosk.hateblo.jp

www.youtube.com

今年もその継続をやっており、たとえばワールドカップバレーの映像制作やAR演出に使われました。


その他今年は新たに広い範囲をドローン撮影スキャンする発展もありました。展示会ではコントローラを通りすがりの小学生に渡して操作してもらうこともあり、「スゲー！」って言ってもらえて嬉しかったです。そういう素朴な感動を忘れずに今後もやっていきたいですね。

www.youtube.com

そこそこ目立つのでテレビ取材の機会も多く、せっかくなのでミーハー気分で楽しんでいます。「がっちりマンデー」でがっちりポーズするモブの役もやりました。ありがとうございます。子供の頃から見ていた番組なので、ちょっとした感慨があります。いろいろとハリウッドとか週刊少年ジャンプとかとも仕事できたらいいですね。

 

復元というのはそれ自体が個人の趣味としてもなかなか面白く、そして成功すれば思い出の保存として役に立つわけです。なので、普段の暮らしの中でも復元欲の湧く物体や風景をスマホで撮影して復元して楽しんでいます。
そのうち画質を良くしたくなり、復元向きの凝った設定で撮りたくなり、結局いろいろな理由をかこつけて安い一眼ミラーレスを個人的に買いました。
スマホカメラの性能は年々向上しているし買ったところで大して使うわけでもあるまい、とは思ったのですが、逆に今後廃れるとしたら生の体験としてのカメラは今味わっておくしかない、という言い訳をして買いました。使ってみると一線を画す綺麗さがあって楽しいです。また、思った以上に扱いが難しくてそこも良かったです。初心者らしい下手くそな苦悩を定期的に味わうと、万物の初心を思い出せて精神的に良さそうです。
今後の生成AI大盛りあがりの時代においては、世界そのもののキレイな保存も、下手くそで手垢のついた私的写真も、どちらも一層ユニークで尊くなっていくかもしれない、とか思っていたりします。昨日は実家を400枚撮って復元しました。

 

さて、前半は異常に忙しかったものの、後半は労働時間自体は収まっていきました。今年は直球に頑張りすぎた感じがあるので、次は新しく面白い舵を切りたいと思っています。公に発表できる研究や執筆の時間も楽しいのでまた増やしていきたいですね。

あと、今年は野田愛実というアーティストが良かったです。ではでは。

open.spotify.com

open.spotify.com

2022年ふりかえり

2022年はほとんど三次元復元をやっていました。今更ですが簡単にふりかえります。便りのないのは良い便りと言えど、適当でも便りがあったほうが良い気もする、という気持ちで書きます。

三次元復元とは、現実の人や物の写真を何十枚か撮ってそれをもとにして三次元の形状と見た目を持つ3DCGモデルを推定する処理です。

たとえば、缶コーヒーの写真をたくさん撮ると、このような本物さながらの3Dモデルを作れます。 そういう三次元復元のサービスをPFN 3D Scanとして法人向けに始めているので、もしお仕事で機会があれば試してみてほしいです。復元のためには撮影も上手くやる必要があるので、物自体を送ってもらってから復元データと物を返すサービスになっています。ECサイト、ゲーム/AR/VRなど様々な用途に使える高品質なモデルになっていて、日経優秀製品・サービス賞2022にも選ばれました。

ほかに、PFN 4D Scanと名乗って四次元復元もやっていました。こちらのほうが立ち上げからメインでゴリゴリやっていた仕事になります。 動くものを復元したいときは、写真の代わりに動画を撮って復元します。すると、復元した3Dモデルの再生、停止、巻き戻しなどもできるようになります。 youtu.be こんな具合に。 このぐるぐるカメラワークの動画は、撮影動画ではなく、復元された3Dモデルを再生しながら仮想的なカメラで眺めて書き出した動画です。ゲームのようにぐりぐりと動いてその箱庭を眺めています。 また、処理はかなり効率化していて、リアルタイムで視点を動かしながら楽しむこともできます。技術的に大変ですがなかなか面白いので、その体験デモをメタバース展でやりました。当日はブースで解説MCもして、ライブや柔道の試合などを時を止めたりしながら紹介しました。展示会自体も久々だったので、人と対面して見てあれこれ語れるのは楽しかったです。なんだかんだこういう喋り仕事は好き。 この4D Scanも今も進んでいるので、今後どんどん色んなところでお目見えできたらと思います。 youtu.be

そして、上記2つとはまた別もので、関連ある論文も書いたりもしました。 論文としては、三次元復元の一種であるNeRFと呼ばれる方法を拡張しました。三次元中の各位置について「このあたりは花っぽく赤っぽく先端っぽく…」などの様々な特徴を場として埋め込めるようにしました。枠組み自体はかなり簡単で汎用的なので、その一応用例として、NeRFによる3Dシーンの編集に使いました。たとえば言語指示や画像選択などを入力として、お手軽にパーツを分解して編集するさまを見せました。3次元的な教師データは必要なく、広く出回っている画像処理向け訓練済みモデルを使うことができるので非常にお手軽かつ汎用的なのが売りです。

提案手法で復元された空間内のりんごだけを回しながら大きくして遊んでいる例です。 論文とは全然関係ないですが、自分が撮った写真、特に自分には縁があっても他人からするとなんでもないようなものの写真が論文に載るのが、なんだか良い気分だなと思いました。 論文はNeurIPS 2022に採択されてアメリカのニューオーリンズに行って発表してきました。結構好評で色んな人と話せたのでよかったです。あっちでは皆マスクしたりしなかったりだけど幸いコロナになることもなく帰国成功できました。やはりわいわいがやがやするのは楽しい。

自分の仕事はこんな感じだったものの、2022年は人工知能系技術の世界的な進歩に驚かされっぱなしで、身が引き締まる思いです。 拡散モデルによる高品質な画像や動画の生成（デモ）は一旦さておいても、ChatGPTによる汎用的な質問応答はめちゃくちゃすごい。研究や開発に全く関わりのない人も一度はぜひ試してみて欲しいです（本家デモ）。

ふりかえり、以上。

なんだか年々ネット上で悪い行い（たとえば、目立つためにおおぼらをふいたり攻撃をする人）を目にすることが多くなっている気がしている。そういう反面教師を日々見ていると、どんどん謙虚になれるし、沈黙は金と胸に刻み続けることになる。しかし、あまりに反面教師が多すぎて、減点法で過剰に臆病にならざるをえない。めったなことでは公に表現や発信をしないようになっていってしまう。仕事ではもちろん表現をすることはあるのだけど、もう少し不明瞭な場で個人的な気持ちを言葉にして公にする勇気を維持していきたい。 ということで、何の変哲もなくても思いつきでも三日坊主でも、むしろそれくらい適当なことこそ、たまになにか書いたりできたらいい、と思いましたとさ。

2023年もがんばります。

読んだ本の感想

最近読んだ本の話をちょっと書く。 そんなに大層な量の本を読んでいるわけではないので分母はたかが知れているものの、悪くなかったよ、という本を幾つか書いておく。

（一本目の投稿は年末の挨拶や久々の便りという文脈のあるテキストで幅広い関係性の誰かに語りかけている度合いが強く敬語丁寧語がふさわしかろうと思って書いていた。のだけど、適当なテキストを書くにあたってはいかんせん畏まりが過剰に感じる。よって普段はそれを省いて書こうと思う。）

『クララとお日さま』 カズオ・イシグロさんの小説。近未来SF。人間とのコミュニケーションして共存できるようなロボットのおはなし。ぼちぼちよかった。感動を演出するにしては淡々としているので、どちらかというとひっそりとした悲劇的な側面が心に残った。ひとまずロボット側の気持ちが上がり、人間側の気持ちが下がった。

『人工知能で10億ゲットする完全犯罪マニュアル』 ハヤカワSFコンテスト優秀賞だったらしい小説。タイトルから敬遠する人は多そうだし、自分もそうだったのだけど、読んで見ればしっかり面白かった。おそらくは機械学習系に携わっているであろう筆致で、機械学習・人工知能系の内輪単語やネタ（NeurIPSとか）をぽんぽん使っていて要所要所でオタク的なニッコリができる。伊坂幸太郎のようなテンポの良いエンタメで読みやすい。キャラもほどよく立っている（なんとなくとある人物二名に化物語の忍野や貝木を重ね合わせて読んだ）。界隈の人が気晴らしに読むと楽しいと思う。機械学習ジョークとか内輪ネタ感がすごい気もするので、界隈じゃない人が読んで面白いのかはわからないけど、amazonでの評価はひとまず高いので良いんだと思う。エンタメ的にご都合主義とか技術をピーキーにすることはあっても、てんでデタラメみたいなのはなくて安心して読めるくらいだった。おすすめ。映画化したら映えそう。

『ロボットと人間』 石黒浩さんの本。クララとお日さまにせよ、完全犯罪マニュアルにせよ、どちらもロボットと人間、AIと人間の関わり合いとかそういうものに対する問いや話題がやはりある。それに加えて本書もやはりそういう話題盛りだくさん。意図せずしてそれらに最近浸かったのでちょっとだけポエミーなことを書く。 今も人間に近づいていく知性・生命体の発展が盛んなわけだけど、今のような技術の過渡期にしか接することのできないアイデンティティはありそうで、それと接した際の感情のわびさびも意識的に楽しんでいくのも大事かもしれないな、と思った。将来的には現代のヴィンテージな生命体（今現在から見たたまごっちとか？）もいろいろ復刻されたりするのかもしれないけれども、どうしても経験や社会文脈上のフィーリングは変わってしまうと思うので刹那的に感じる。とあるロボットが殺人めいたことを起こしたあとには、人々のロボットへの意識は大幅に更新されてしまうと思うし、様々なロボットの悪いところは一つの「ロボット」なる種どころか擬似的な人格へと集約されてしまうかもしれない。今のような時代にだけ接せられるそのロボットやAIは一種の絶滅危惧種なのかもしれない、という感じ（こういうこと、誰かが言っている分にはほーんなるほどなーくらいに思えるけど自分で言うとなると気恥ずかしくてかなわない。こういう妄想的言説を文字として発せられるのは一種の才能なのだと思わされる）。なお、これは自分の妄言であって本書に強くこれをサポートする話があったわけではない（はず）。

『アカデミアを離れてみたら』 色んな「アカデミアを離れてみた」ひとたちのお話。ウェブでの連載時にも読んでいた気がしたけど見逃した気もしたので読んだ。研究と職業などという投稿をしたくらいなので、こういうキャリアプラン的な話や若干の研究のメタな話は興味があってのぞいてしまう。即効性の情熱効果はまだないものの、各エピソードやモチベーションのサンプルはなるほどねと胸にしまった。

『海外で研究者になる』 海外でアカデミアの職を得るためにしたことあれこれの話。色んな人の事情が書いてあって学びがある。実際のところ自分がそれを直接活用する機会はなかなかないと思うのだけど、素朴にとあるコミュニティのカルチャーを知るのはそれはそれとして楽しめる。

『世界を変える寄り道』 Nianticの副社長の川島優志さんのポケモンGO成功あたりまでの道筋。面白かった。 あと、関連として野村達雄さんの『ど田舎いまれ、ポケモンGOをつくる』も読んだ。幼少期の長野の話が出てきて良かった。こういうザ・コンピュータ好きのような人の話を聞くと、そういう「コンピュータ（にまつわる技術）」への熱量というか熱狂を強く持っているだけで一定の尊敬をしてしまう。自分にも多少はあれど、主観的にはそこまでのものではない。世のSWEみながそこまでコンピュータに情熱的ではないのは分かっているものの、それでも自分事としては、自分が今後（特に研究寄りではない）SWEになる可能性を考えたときにその情熱不足は結構強い暗黙的なブレーキになっている気がする。それはさておき、GoogleにしてもNianticにしても、色んな（すごい）人と有機的に協力しながら成し遂げていくのはやはり仕事の形としてとてもいいなと改めて思った。

『ヘテロゲニアリンギスティコ』 漫画。久々に新刊が出ていた。言語学者が魔界（といっても比較的ファンタジーすぎない、ちょっと山を2つくらい超えたらもしかしたら...くらいの世界観）に行って、人語を解さないワーウルフなどの種族と「コミュニケーション」を取りながら、社会、感覚、認知、文化、言語などなどを手探りで学んでいく（そして読者もその経過と方法論について学べる）。未知の文明の未知の存在とコミュニケーションを取るにあたっての壁と苦悩がしっとりと面白い。言語のみに着目した本というわけではなく、言語が言語のみでは言語たりえないのと同様に「社会、感覚、認知、文化」などなどてんこもりなので、いずれに興味がある場合でもおすすめ。 漫画はその他も色々読むものの、ある程度のマイナーさや含蓄があるような場合以外はどうにも取り上げづらいのでほぼ省略。『紛争でしたら八田まで』は学びある系としては好きだしおすすめ。『正直不動産』も面白くてもりもり読めてしまうものの、しばしば客などの登場人物が邪悪なのが少し大変である。

『最強の商品開発』『デジタル時代の基礎知識「商品企画」 「インサイト」で多様化するニーズに届ける新しいルール』（後者は社内の富永さんの書いた本である。） ちょっとビジネスのほうを考える機会が多かったときに読んだ。若干期待と違って商品や製品自体よりもそれの売り方のお話が多かった（というか、その出口の演出を考えずに商品や製品自体を考えちゃいけないよね、とかの話）。「それができたら苦労はしねえ」となりやすい話も多い気はするけど、銀の弾丸的な方法論にはならないにしても、読んでおけば「悩むにふさわしい点で悩める」ようになるだけでもいいのかもしれない。いい本だと思うけど、意外にも自分が案外知っていることも多かった。というのも、おそらくは似たような内容をこれまでの社内でのコミュニケーションややりとりの中でじわじわと見様見真似で教わってきた気がする。そういう意味でこれまでの取り組みでの隠れた手応えをちょっぴり感じられたのはよかった。こういう本、中学生とか高校生のときに読んだほうが逆にもっと楽しめた気がしてちょっぴり惜しい。

『世界の名前』 まだ途中で数ページごとの「名前」にまつわるエッセイが色々入っている本。未知語カタカナが大量に出現するので真面目に学ぼうとして読むとかなり大変だけどもふわっと目を走らせる分には楽しいおはなしもある。こういうほとんど役に立たないけど、でもその知識が日常を少しだけ味付けしてくれるようなおはなしはなんとなく摂取しておこう、という気持ちになる。例の「あっこれはよもぎだな ああ......草がわかるのってすごく自分がうれしいな」に似た感覚。

以上。放っておくと論文ばかり読んでしまうので、意識してもう少し別の本を楽しんでいきたい。

研究と職業

最近、旧来の知人友人の近況を見聞きして、それがなにか特別な物事でないにしても心が温まったので、自分も最近の状況や思うことを便りとしてまとめてみることにしました。 特にメッセージ性はないです。

今は東京の Preferred Networks という300人程の会社で、人工知能 (AI) などと称されるモノの研究開発をしています。 例えば、ミカンの写真から等級を予測したり大量の報告メールから要点をまとめたりする仕事、などなどを機械が自動的にできるようにプログラミングしたりする仕事です（架空の例です）。 現代ではまだまだ出来っこないことやコスパ的にビジネスとしては難しい問題などもあるので、夢と現実に頭を捻らせて頑張っています。

2016年に新卒で入ってからそのまま5年働いていることになりますが、途中で在職しながら東北大の大学院にも入り、今年2021年の9月には博士号（情報科学）の学位を取りました。 11月からは兼業で少しだけ東北大にも研究員の籍を置いています。 会社にせよなんにせよひとまず「研究」というものでご飯を食べて生きています。 かつ、そこそこ楽しいので趣味的にもやったりやらなかったりしています。 振り返ると、長野の小さな村で育ちつつもこんな職で働いており、思えば遠く来たもんだというやつです。 しばらくはこの調子でコンピュータサイエンスにまつわる研究を生業にしてやっていきそうですが、どうしたものかと思う節もあり、それについて少し書こうと思います。

研究というのは、世の中のある物事や現象を取り上げて、それを詳しくまとめたりどういう問題があるのかを論じたりします。 そして、特に工学的な研究では、そういう問題に対する「新しく良い解決方法」を説明する（そして本当に「新しく」「良い」のかを証明する）というのが、研究の典型的なゴールになります。 例えば、最近足が冷えてつらいという困りごとに対して、体温ではどれほど冷たいのか、そもそも全身が寒いのではないか、部屋の温度はいくつか、などを調査したり、こたつやストーブやエアコンよりも幸せのコスパの良い自宅用足湯装置を編みだす、というのが研究の流れになります。 大抵は論文としてまとめて発表します。 ちなみに自分が今まで書いた論文も読めるので興味があれば見てみてください。 論文以外で見栄えのわかりやすいものとして、口頭で命令すると言われた物を運んでくれるアームや移動ロボットの中身のシステムとかも会社で作ったりしていました。 なお、足の冷えについては、膝でも足でも手でも温めやすい電気ひざ掛けがおすすめです。パナソニックのくるけっとをこの間買いました。

研究の良いところは、「世の役に立つ」「ご飯が食べれる」「色んな人と楽しく話せる」「労働時間の自由度が高い」「学べることが多い」「自分の着眼と自分の発想を自分の言葉で表現できる」とか様々です。 個人的には最後の一つが特に良いところで、研究は自己表現や美学の追求を行う芸術に近い印象があります。 夏目漱石も「科学者と芸術家とは、その職業と嗜好を完全に一致させうるという点において共通なものである」と、言ったとか言っていないとか。 実際に職業と嗜好を一致させられるのはごく一部とはいえ、それでも研究者とは便利な職業です。

職業としての研究者を考えたときに、典型的にキャリアとして好ましいとされる戦略の一つは研究テーマの絞り込みです。 例えば「物理法則を制約に取り入れた機械学習」や「画像群からの三次元復元」のように、ちょうどよく抽象化されつつ絞り込まれた分野で穴を深く掘っていくという形になります。 しかし、自分はこの絞り込みをこれまであまりしてきておらず、特段強い愛着のある分野もないのでなかなかえいやとは舵を切れません。 企業研究者である以上そもそも舵に制限があるという側面もありますが、なんとなくそれ以前に自分の嗜好の絞り込み自体にまだまだ課題がありそうです。 博士課程では幾分かはこれをして博士論文を仕立てる必要があったので、最終的には「ニューラルネットワークのサブネットワーク」に関連した研究を幾つか行いました。 ユニークで面白いネタ（査読者の評価はいまいちで苦労しました）に取り組めたと思いますが、今後もこれで押していくかというとそんな気はしません。 これまで、幸いにも色んな人と共著で色んなテーマの研究をしたり色んなプロジェクトに関わることもでき、おかげで「深層学習のなんでも屋さん」としては我ながら結構良い線をいく人間になれている気がします。 こんな調子で今まで通り気ままに働いていければいいのですが、どうしたものかとやんわり考えています。 なお、研究自体にも飽き（たり過酷さゆえにやめ）る可能性もありますが、今の所まだまだやっていきそうです。 ビジネス側に寄った取り組みも楽しいには楽しいですが、「どんなスポーツも大抵楽しい」くらいの意味で楽しいだけな気もしており、まだ優先するほどの気持ちはなかなか湧きません。 とはいえ、世の役に立つものや感動するものを真に送り出せたら、それは多分格別に嬉しいことだと思うので、製品やビジネスに寄ったテーマでも「職業と嗜好を完全に一致させ」られるように、今後も期待してやっていこうと思います。

こういったジェネラリストとスペシャリストの間の押し引きみたいな話は、本件に限らず色んなところで起きる陳腐な話題だと思いますが、ひとまずこんな感じにあーだこーだ考えて元気に暮らしています。 本旨の通り、ここで尻切れあっさりに終わりです。 来年はまた色んな人とわいわい話したり遊んだりしていけたらいいですね。 それでは、やっていきましょう。