LLM開発エンジニア

Description

【職務内容】

大規模言語モデル（LLM）の実用化が加速すると同時に，その本質的な理解や社会実装する上でのリスクを制御する手法など，行うべき重要な研究開発テーマは増加しています。松尾研は，これまでLLMに関する主要な研究を精力的に行い，100億パラメータサイズで日英2ヶ国語対応のLLMWeblab-10Bの開発，経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて，「Tanuki-8×8B」の開発などを行ってきました。
今後も，LLMに関する研究開発の取り組みを更に加速させます。

※以下は採用後に取り組んでいただくプロジェクトの一例です。

[1] LLMのフルスクラッチ構築，継続学習　（1B〜1000B）
① 大規模テキストコーパス，医療や法律等のドメイン固有情報の収集と整備
② クラウドサービスを利用したLLMのスクラッチ開発，継続学習
③ 評価データセットの整備
④ 既存研究の再現実装や先端手法の追求（熟考型モデル、自立型エージェント、秘密計算、Mambaアーキテクチャなど）

[2] LLMの社会的リスクに関する研究開発
⑤ 既存研究，プロダクトの調査再現実装（Bias, Halucination, Watermark, Copyright, etc. )
⑥ 既存プロダクトの検証

[3] 外部知識や外部ツールとの融合（LLM Agent）
⑦ Retrieval Augmented Language Model，Tool利用方法（ToolkenやCameleon），Web操作等の技術のベンチマーク
⑧ 上記に関する評価データセットや評価環境の整備

Requirements

【職務内容】

大規模言語モデル（LLM）の実用化が加速すると同時に，その本質的な理解や社会実装する上でのリスクを制御する手法など，行うべき重要な研究開発テーマは増加しています。松尾研は，これまでLLMに関する主要な研究を精力的に行い，100億パラメータサイズで日英2ヶ国語対応のLLMWeblab-10Bの開発，経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて，「Tanuki-8×8B」の開発などを行ってきました。
今後も，LLMに関する研究開発の取り組みを更に加速させます。

※以下は採用後に取り組んでいただくプロジェクトの一例です。

[1] LLMのフルスクラッチ構築，継続学習　（1B〜1000B）
① 大規模テキストコーパス，医療や法律等のドメイン固有情報の収集と整備
② クラウドサービスを利用したLLMのスクラッチ開発，継続学習
③ 評価データセットの整備
④ 既存研究の再現実装や先端手法の追求（熟考型モデル、自立型エージェント、秘密計算、Mambaアーキテクチャなど）

[2] LLMの社会的リスクに関する研究開発
⑤ 既存研究，プロダクトの調査再現実装（Bias, Halucination, Watermark, Copyright, etc. )
⑥ 既存プロダクトの検証

[3] 外部知識や外部ツールとの融合（LLM Agent）
⑦ Retrieval Augmented Language Model，Tool利用方法（ToolkenやCameleon），Web操作等の技術のベンチマーク
⑧ 上記に関する評価データセットや評価環境の整備

Preferred Experiences

・医療/製薬領域への知見がおありの方
・開発チームをリードした経験
・開発した言語モデルを公開した経験
・国際学会等で発表される技術の再現実装の経験
・マルチノードマルチGPUでのニューラルネットの学習経験（Deep SpeedやMegatron LMなどの分散学習のライブラリの利用経験）

We are looking for

ー

【お願い】
・応募いただく場合につきましては、以下のご提出をお願いいたします
　　（必須）①履歴書/職務経歴書（フォーマットは問いません）

・画面上部「応募する」ボタンを押下いただいた後、「その他のファイル」のフォームに上記ファイルのアップロードをお願いいたします


ー

【松尾豊教授からのメッセージ】
これから基礎研究チームにジョインいただきたい方に対する
メッセージとなります。ぜひご覧ください！

・「シリコンバレーに並ぶエコシステムの実現に向けて　代表松尾豊インタビュー（前編）」
　https://weblab.t.u-tokyo.ac.jp/laboratoryheadinterview_20220901-1/

・「松尾研基礎研究にかける思い　代表松尾豊インタビュー（後編）」
　https://weblab.t.u-tokyo.ac.jp/laboratoryheadinterview_20220901-2/

Working Conditions

Salary

1,000〜1,200万円

Location

国立大学法人 東京大学 工学系研究科 松尾研究室
東京都文京区本郷7-3-1 工学部２号館

Job Type

東京大学特定有期雇用教職員

Work hours

・勤務時間
9：30～18:00（休憩45分）
時差出勤制度有、就業時間についてはご相談ください

・休日
土日祝、年末年始、盆2日、年末年始（12月29日～1月3日）、その他特別休暇、年次有給休暇

Probation period

あり

Benefits

福利厚生：
・交通費支給、役職手当等
・各種社会保険完備（雇用・労災・健康・厚生年金）等