1012【Dev】VLM / MLLM リサーチャー

1012【Dev】VLM / MLLM リサーチャー

仕事概要

【会社概要】
ストックマーク株式会社は「価値創造の仕組みを再発明する」をミッションに掲げ、最先端の生成AI LLM技術を活用し、企業の変革を支援しています。

SaaS事業として製造業特化の技術者向けAIエージェント「Aconnect」、PaaS新規事業として社内に埋もれたあらゆるデータを構造化し企業の資産に変える「SAT(Stockmark A Technology)」を運営しています。

現在のメインターゲットは国内大手の製造業R&Dです。すでに日経225の30％、300社を超える企業様での導入が進んでいます。今後は製造業のR＆Dを起点に、国内のエンタープライズ企業、そして日本企業全体、さらにはグローバル企業にも展開していく予定です。

また、日本語及びビジネス領域に強い純国産LLMの開発研究にも注力しており、2024年5月に1000億パラメーターのStockmark LLMを公開いたしました！

2024年10月にはシリーズDにて45億円、累計88億円の資金調達を完了。
従業員も150名規模になり、更なる成長を目指すために人員を募集しております！

【現状の課題】
私たちはニュース・特許・論文・社内文章に加え、実験レポート・設計資料・製品マニュアル・図面などの図表を含んだ複雑な文章の読み取りに特化したVLM / Document AI基盤を開発し、製造業のお客様の意思決定を助けるサービスや暗黙知の抽出・形式化に応用しています。
現在は以下のような研究課題に取り組んでおり、事業の拡大に伴い、一緒に研究開発を進めていただけるVLMリサーチャーの方を募集しています。

• 日本語・製造業ドキュメントに特化したVLM / マルチモーダル基盤モデルの開発
• 図表・図面・化学式・フローズ・仕様書などを横断的に理解するドキュメント読解技術の開発
• 文章画像の構造化・情報抽出パイプラインの研究開発
• 視覚モダリティで解決可能な暗黙知・専門知識・判断プロセスを形式知化するためのモデル・データ・評価手法の研究開発

【業務内容】
Research DivisionのVLMユニットにおいて、日本語・ビジネス・製造業ドキュメントを対象としたVLM / Document AIの研究開発を行っていただきます。
モデル開発・データ合成・評価などの技術開発業務だけでなく、論文執筆による国際会議への投稿もお任せします。

■具体的な業務内容

• ビジネスドキュメント・製造業に特化したVLM / MLLMの研究開発
• ドキュメント読解、テーブル理解、チャート理解、図面解析、化学式理解、レイアウト理解に関するモデル改善
• VQA, CoT, Visual Grounding, Document Parsing, Document Structuringに関連す研究開発
• 学習データ、評価データ、ベンチマーク、アノテーション基準、品質フィルタリング手法の構築
• VLMの出力に対する信頼性評価、ハルシネーション抑止、根拠提示、バリデーション手法の研究
• 論文執筆、学会発表、技術ブログ、モデル・データセット公開などの社外発信

現在は東北大学乾教授・産総研石垣研究員らと共同研究を進めています。日経新聞にも取り上げられるなど、国内でも注目が集まるプロジェクトになっています。

※変更の範囲：開発業務全般

【配属チーム】
VLM Unit（現在 4名）

[組織体制]
Research Division（8名）

• Knowledge Unit（4名）
• VLM Unit（4名）

[主な使用言語]
Python, SQL

【ポジションの魅力】

• 産総研や東北大との共同研究を通して最先端の研究や国際会議投稿にチャレンジできる
• プロダクト開発との距離が近く、開発した技術が製造業のお客様のビジネス創出につながるというやりがい
• 図表、表、図面、化学式、仕様書、技術資料など、実社会の複雑なドキュメント理解という未解決性の高いテーマに挑戦できる

【関連資料】

• 【Stockmark Tech Blog】文書画像構造化の新ベンチマーク OmniDocBench-JASynの構築

• 【Stockmark Tech Blog】Stockmark-DocReasoner-Qwen2.5-VL-32B：ペルソナに基づくデータ合成を用いた日本語ドキュメント読解のためのChain-of-Thought視覚言語モデル

• 弊社Researchページ（メンバーのプロフィールもご覧ください）

必須スキル

【会社概要】
ストックマーク株式会社は「価値創造の仕組みを再発明する」をミッションに掲げ、最先端の生成AI LLM技術を活用し、企業の変革を支援しています。

SaaS事業として製造業特化の技術者向けAIエージェント「Aconnect」、PaaS新規事業として社内に埋もれたあらゆるデータを構造化し企業の資産に変える「SAT(Stockmark A Technology)」を運営しています。

現在のメインターゲットは国内大手の製造業R&Dです。すでに日経225の30％、300社を超える企業様での導入が進んでいます。今後は製造業のR＆Dを起点に、国内のエンタープライズ企業、そして日本企業全体、さらにはグローバル企業にも展開していく予定です。

また、日本語及びビジネス領域に強い純国産LLMの開発研究にも注力しており、2024年5月に1000億パラメーターのStockmark LLMを公開いたしました！

2024年10月にはシリーズDにて45億円、累計88億円の資金調達を完了。
従業員も150名規模になり、更なる成長を目指すために人員を募集しております！

【現状の課題】
私たちはニュース・特許・論文・社内文章に加え、実験レポート・設計資料・製品マニュアル・図面などの図表を含んだ複雑な文章の読み取りに特化したVLM / Document AI基盤を開発し、製造業のお客様の意思決定を助けるサービスや暗黙知の抽出・形式化に応用しています。
現在は以下のような研究課題に取り組んでおり、事業の拡大に伴い、一緒に研究開発を進めていただけるVLMリサーチャーの方を募集しています。

• 日本語・製造業ドキュメントに特化したVLM / マルチモーダル基盤モデルの開発
• 図表・図面・化学式・フローズ・仕様書などを横断的に理解するドキュメント読解技術の開発
• 文章画像の構造化・情報抽出パイプラインの研究開発
• 視覚モダリティで解決可能な暗黙知・専門知識・判断プロセスを形式知化するためのモデル・データ・評価手法の研究開発

【業務内容】
Research DivisionのVLMユニットにおいて、日本語・ビジネス・製造業ドキュメントを対象としたVLM / Document AIの研究開発を行っていただきます。
モデル開発・データ合成・評価などの技術開発業務だけでなく、論文執筆による国際会議への投稿もお任せします。

■具体的な業務内容

• ビジネスドキュメント・製造業に特化したVLM / MLLMの研究開発
• ドキュメント読解、テーブル理解、チャート理解、図面解析、化学式理解、レイアウト理解に関するモデル改善
• VQA, CoT, Visual Grounding, Document Parsing, Document Structuringに関連す研究開発
• 学習データ、評価データ、ベンチマーク、アノテーション基準、品質フィルタリング手法の構築
• VLMの出力に対する信頼性評価、ハルシネーション抑止、根拠提示、バリデーション手法の研究
• 論文執筆、学会発表、技術ブログ、モデル・データセット公開などの社外発信

現在は東北大学乾教授・産総研石垣研究員らと共同研究を進めています。日経新聞にも取り上げられるなど、国内でも注目が集まるプロジェクトになっています。

※変更の範囲：開発業務全般

【配属チーム】
VLM Unit（現在 4名）

[組織体制]
Research Division（8名）

• Knowledge Unit（4名）
• VLM Unit（4名）

[主な使用言語]
Python, SQL

【ポジションの魅力】

• 産総研や東北大との共同研究を通して最先端の研究や国際会議投稿にチャレンジできる
• プロダクト開発との距離が近く、開発した技術が製造業のお客様のビジネス創出につながるというやりがい
• 図表、表、図面、化学式、仕様書、技術資料など、実社会の複雑なドキュメント理解という未解決性の高いテーマに挑戦できる

【関連資料】

• 【Stockmark Tech Blog】文書画像構造化の新ベンチマーク OmniDocBench-JASynの構築

• 【Stockmark Tech Blog】Stockmark-DocReasoner-Qwen2.5-VL-32B：ペルソナに基づくデータ合成を用いた日本語ドキュメント読解のためのChain-of-Thought視覚言語モデル

• 弊社Researchページ（メンバーのプロフィールもご覧ください）

歓迎スキル

1. 以下の技術領域における研究経験・実務経験
2. VLM / MLLM / Document AI / OCR / Layout Analysisに関する研究または実務経験
3. Qwen-VL, InternVL, LLaVA, LayoutLM等の関連モデルの利用・評価・改善経験
4. ドキュメント読解、図表理解、図面解析に関する研究開発経験
5. SFT、Instruction Tuning、GRPO、DPO、RLHF等を用いたモデル改善経験
6. 製造業、化学、機械、電気、材料、特許、研究開発領域に関するドメイン知識
7. ビジネスレベルの英語力

求める人物像

• 本質的にテクノロジーに興味があり、その分野の第一人者となる気概がある
• ビジネスサイドとコミュニケーションしながら、いかにお客様に届け、事業を成長させるかを考えられる
• 論文を読みながら最新の理論をフォロー、検証するのが好き

＜その他＞
・日本国内に居住可能な方
・開発に関する技術的な内容含め、日本語で円滑にコミュニケーションが取れる方
目安：ビジネス会話レベル

応募概要

給与

■想定年収：7,500,000円〜15,000,000円
※月給×12ヶ月

■月給：625,000円〜1,250,000円
＜内訳＞
基本給：408,423円〜871,847円
生涯設計手当：55,000円
固定残業代45時間分：161,577円〜323,153円（超過分は別途支給）
※生涯設計手当：確定拠出年金掛金及び生涯設計前払金の組み合わせとして支給

■昇給あり（年2回/5月、11月）

勤務地

【本社所在地】
■東京都港区南青山 1 丁目12-3 LIFORK MINAMI AOYAMA S209

【就業場所】
■本社または自宅その他リモートワークが行える場所（変更の範囲なし）
※フルリモートワーク可

【リモートワークについて】
■基本的にはフルリモート体制
居住地は日本国内に限ります（海外に居住してのフルリモート不可）
■本社への出社について
弊社の定める通勤圏（一都三県）居住者は、リモート/出社を回数制限なく自由に使い分けながら勤務可能です
一都三県以外の居住者は、月1回業務とは関係なく自由に出社可能です

仙台・京都・大阪などからフルリモートで働いている人、ワーケーションを楽しみながら働いている人、母国に数週間帰国して働いている外国籍社員、また出社メインの人など多様な働き方を実現しています

雇用形態

正社員

勤務体系

【就業時間】
■フレックスタイム制
■コアタイム：10:00～14:00
■1ヶ月の標準労働時間：1日8時間×営業日数
※時間外労働あり（平均10〜20時間）

・リモートワークと合わせて、時間や場所に縛られない柔軟な働き方が可能です。
・勤務時間の調整や中抜けなどで、子育てや介護との両立もしやすい環境です。

【休日休暇】
■年間休日123日
■土日祝（完全週休2日制）
■年末年始休暇
■有給休暇（入社時付与　※付与日数は入社月による）
■産前産後休暇
■育児休暇

試用期間

あり（3ヶ月） ※期間中の条件変更なし

福利厚生

【保険】
■各種社会保険完備（関東ITソフトウェア健康保険組合加入）

【その他】
■通勤交通費（リモートのため実費支給）
■定期健康診断
■インフルエンザ予防接種
■希望のPC支給
■オフィスにて水/コーヒー/炭酸/アルコールなどのドリンク無料提供
■オフィスグリコ設置
■屋内禁煙（屋外喫煙所あり）

【教育・スキルアップ】
■入社後5日間のオンボーディングあり
■月1回の研究日制度（自身の技術向上・学習目的）

【社内コミュニケーション】
■週1回全社オンラインミーティング
■月1回懇親会（オフライン開催、一部オンライン有り）
■半期1回キックオフ（オンライン＆オフラインのハイブリッド開催）