どうもこんにちは 萩原です
今日は自分が博士課程の3年目の時に行った
マイクロソフトリサーチでのインターンについて
その時の経験とか研究について少し話してみたいと思います
これはつい最近当時の書いてた日記が出てきまして
それをブログ記事として公開したのが一つのきっかけですね
そのブログ記事のリンクも後から貼っておきます
自分が行ったのは2008年の4月から7月の3ヶ月間ですね
基本的に自分がどういういきさつで行ったかっていうのは
あんまりちゃんと覚えてなくてですね
電話面接が確かあったと思うんですけども
基本的には紹介による一本摺りみたいな感じで
確か行ったっていうのを記憶してます
自分がマイクロソフトリサーチのインターンに行く前は
一応歴史がありまして
基本的には鈴木久美さんっていう
当時のマイクロソフトリサーチで
研究員として働かれていたNLPが専門の研究者の方が
メンターとしてインターンを雇っていました
自分が行った前2年前かな
2年前くらいには関根先生
関根聡先生ですね
現在はNIIですね
国立情報学研究所の
LLM研究開発センターの教授をされている
関根聡先生が
客員教授として
客員研究員として行かれたっていうのと
その後は小町さんですね
小町守先生ですね
今は一橋大学大学院の教授されてますけども
がインターンとして行かれてました
その次の年が自分が行くっていう
順番で行ってきましたね
マイクロソフトリサーチ自体
マイクロソフト自体はシアトルですね
厳密に言うとレッドモンドっていう都市なんですけども
シアトルエリアって
俗に言われているところで
本社があります
初日にタクシーを呼んで
割り当てられたアパートに直接行くじゃないですか
行くんですけども
マイクロソフトの本社のキャンパスって
本当に巨大なんですよね
ひとつのオフィスビルとかじゃ全然なくて
大学のキャンパスとかそういう
大学のキャンパス以上に
ひとつの町とか都市に近い感じなんですよね
なのでちょっと面白いのは
アメリカについて
レッドモンドについて
空港からタクシーで行くじゃないですか
タクシーで高速降りた時に
運転手の人にマイクロソフトはどこなんですか
まだ着かないんですかって聞いたら
いやいやいやもうマイクロソフトのど真ん中にいるんだけどって言われて
びっくりしたぐらいですよね
後から調べたんですけど
東京ドームの40個分が入るぐらいの大きさを
してるっていうんですよね
っていうそういう巨大なキャンパス
っていうので最初からびっくりしてましたね
先ほども言いましたけど
鈴木久美さんっていう方がメンターとして指導をしてくれてます
今でも同じシアトルエリアに住んでいるのもあって
本当に家族ぐるみで非常に仲良くさせてもらっていますね
本当に他のインターンもそうなんですけども
すごく優秀なやっぱりインターンの同期もみんな優秀な人ばっかりで
その後何だろう
準教授になったりとか
スタートアップのVP
Vice Presidentになったりとか
あとマイクロソフトで何だったかな
医療AIの部門のリードしている方とかっていう
それも
そのインターンの同期がそういう立派なポジションに行って
すごいなというふうに思うこともありますね
その後も鈴木久美さん自体が
日本からも何人もリクルートしていて
そういう方も準教授ですとか
スタートアップで活躍したり
ってことをしてますね
自分が住んでたのは
アパートっていうかタウンハウスですね
その会社から割り当てられたタウンハウス
タウンハウスってアパートっていうよりは
一応隣の家とくっついてるんですけども
家族が普通に
4人とか5人の家族が普通に住める家ですよね
で生活してました
でアレックスっていう名前の
ドイツ人と一緒にルームシェアしてましたね
なんでお互いに
ドイツ料理と日本料理をお互いに振る舞ったりとか
一緒に買い物行ったりドライブ行ったりっていう
まあ私生活の上でも
割と楽しかったかなっていう気がしますね
ただ会社の福利厚生っていうのは
っていう意味でもちろん給料はすごく良かったんですよね
額面上だけ見ると本当に
正直特に大学院生にとってあり得ない
額の給料をもらってました
ただしこれは税引き前なんですよね
アメリカのフェデラルタックスの税引き前で
しかもそこから家賃とかも引き落とされるんで
それを抜くと割と
普通のって言ったらあれですけども
額になってます
それでも本当に大学院生にとっては
こんなに何に使うんだって思うような
給料をもらっていたっていう記憶がありますね
そうですね
でインターンの生活
特に研究については
これ割と
実は論文が採択されたんで
話していいと思うんですけども
その自分が所属していた
グループでは
SMTですね
Statistical Machine Translation
統計的機械翻訳をやっている人が
割と多いグループでしたね
インターン生活具体的に
毎週何をするかっていうと
もちろん実装とか
論文の執筆とかもあるんですけども
自分がすごく印象に残っているのは
まずReading Groupですね
論文の読み会っていう感じで
ただ
大学で読み会っていうと
輪講
自分の場合だけかもしれないんですけど
輪講をイメージするんですよね
みんなでゆっくり教科書とか
論文を読むっていう感じなんですけども
それとだいぶ違っていて
まず1時間で
時間を限定してますと
学会の発表の後の
質疑応答あるじゃないですか
5分間の
質疑応答を
それの中を10倍濃くしたような
複数人のディスカッション
それもしかも
学会の質疑応答みたいに
一問一答じゃなくて
複数人の厚いディスカッションが
ずっと1時間続くっていう感じの
論文読み会を
週に1回やってました
それに参加してやっぱり気づいたのは
自分のやっぱり
英語レベルだと
それに適切に参加できるような
議論に参加できるための
英語レベルは
かなり厳しいですよね
みんなが何言ってるか理解して
それに適切に自分の意見とか
質問をするっていうのは
結構難しくて
ちょっとかなりストレスっていうか
もっと英語を上達しないといけないな
っていうプレッシャーを
かなり感じてましたね
それはちょこちょこやっぱり
研究の進捗報告ミーティングっていうのもあって
そこでもやっぱり
みんながガンガン議論しているところに
どうやって参加するか
どうやって質問に回答するか
っていうところでも
同じようなプレッシャーをかなり感じましたね
そんな感じですね
実際インターン自体は
3ヶ月
12週間かな
続いたんですけども
その9週間目に
ちょうど国際会議の
締め切りがあって
NAACL 2009年の
締め切りがあったんですよね
なんでそれに間に合うように
本当に実装も
論文執筆とか頑張って
なんとか
間に合って
論文が採択されました
結構スケジュール的に厳しかったんですけども
それがちゃんと
間に合ってよかったなと思ってます
これも今の
提出して
アクセプトされた論文も
オンラインで見るので
またリンク貼っておきますね
論文っていうか
研究のテーマ自体は
簡単に言うと
日本語の
web検索エンジンの
クエリですね
ユーザーから
ユーザーが入力したクエリの
書き換えと
正則化
どのクエリとどのクエリが
同じ意味かっていうのを
それを特定するっていう
モデルっていうかタスクですね
具体的な例で言うと
これ日本語の
日本語のweb検索なんで
例えばカタカナで
スパゲティって書くのと
スパゲティって
書き方が大量にあるんですよね
実は
普段全然意識しないんですけども
例えばスパゲッティっていう風に
小さいツが入るのと
あとスパゲティーっていう
最後
伸ばす書き方とって
そういうのを全部列挙すると
少なくとも8個くらいの
バリエーションがあって
それが全部同じ意味
スパゲティの意味だっていうのを
特定するとか
あとは略語ですよね
東京大学と東大が同じものだとか
あとはマイクロソフトとMSも
同じものだっていうことを
自動的に特定したいっていう
そういうタスクですね
これを使って
これはスペリングの類似度ですね
スパゲティとかスパゲッティとかは
つづりの類似度で
ある程度特定できますけど
マイクロソフトとMSっていうのは
もう全然
つづりもいけないので
意味的な類似度を
考えなきゃいけないですよね
その意味的な類似度は
カーネルメソッドって呼ばれる
一種のグラフ
その
意味的に類似している
単語のグラフを作って
その上で伝播させるっていう
そういう意味的な手法も
これにくっつけて
特定するっていうことで
実際評価の上では
75%ぐらいの精度で
正しい正則化っていうのを
達成できることを示しましたね
実際の実験には
今では
マイクロソフトの
Bingの
BINGのビングって
マイクロソフトの検索エンジン
呼ばれてますけど
当時はライブサーチ
って呼ばれている
検索エンジンから
実際のクエリログを取ってきて
使いました
実際100万件以上もあって
こういう大きなデータを
大きな本当のデータを
使って実験できるっていうのは
割とラッキーだったかなと思ってます
例えばグーグルとかだと
今の
マイクロソフトもそうかもしれないんですけど
実際にこんな
生のクエリログを使って
論文書けないんですよね
クエリログとかってすごい
企業秘密で
簡単にアクセスすることもできないんで
そういう意味ではラッキーだったかなと思ってます
研究の上では
これも
普段使っているのと全く違っていて
やっぱりマイクロソフトは
マイクロソフトの
ツールとしての
マイクロソフトを使ってますね
郷に入っては郷に従えってよく言いますけども
本当にそんな感じで
まず
Googleる
Just Google It
言うと前からツッコミが入るんだよ
Googleじゃないだろ
ライブサーチだろって周りの人からツッコミが入ったりとか
今は
Bingだろって言われるかもしれないですけども
あとは論文を書くときは
TeXじゃない
ですよね
マイクロソフトワードを使ってました
数式も全部含めて
これが非常に割と使いやすくて
数式も書けるし
ちゃんとテンプレートもあるし
メンターの人から
ちゃんと添削も
入るしっていう意味で
割と思ったよりは使いやすかったですね
あと
コードの実装は
Visual Studioと
C#を使ってました
これも結構
C#
普段あんまり書かなかったんで
これもかなり
新しい体験だったんですけども
書いていましたね
そんな感じで研究をやってました
最後に
私生活の話ですけども
やっぱりインターン
これはGoogleのときと結構似てて
インターンの活動というか
みんなで仲良くなりましょうっていうような
イベントが結構たくさんありました
例えばバスが無料だったりとか
シアトル
レッドモンドから
シアトルって
レイクワシントン
ワシントン湖
っていう
半分海みたいな
湖が真ん中にあって
結構遠いんですよね
車で30分くらいかかって
バスが無料だったんで
それを乗って
シアトルの散策とか
旅行
旅行とか
観光みたいな感じで
ちょこちょこ行ったりとか
してましたね
他には
あれですよね
Cirque du Soleil
サーカス的なパフォーマンスする
グループあるじゃないですか
そのショーを無料で
インターン向けに
無料で見えたりとか
あとはインターン向けのバーベキューのパーティー
ですね
他の
インターンと一緒に
バーベキューしたりとか
あとはシアトルの郊外に
マウントレーニアっていう
富士山にすごい形が出てて
富士山よりも
少しちょっと高いっていう
山があって
そこにみんなでバスで乗って
ハイキングに行ったりとか
インターン同士の中で
その時まだ雪が残ってたんですよね
なんで雪合戦したりとか
そうですね
そういったあとはクルージングですね
船に乗って
レイクワシントンの
クルージングをして
あそこがビルゲイツの家だよって
教えてくれたんですよ
ビルゲイツの家を遠くから観察するみたいな
そういうイベントもあって面白かったですね
本当は
ビルゲイツの
家でバーベキューをする
っていうイベントがあったんですけども
その年はたまたまなかったんですよね
そういったことも
ありました
なので
そういう研究じゃない活動も
割とインターンの間で
充実してたっていう感じがしますね
それでは今日は以上になります