Journal

  1. T. Komatsu, M. Kambara, S. Hatanaka, H. Matsuo, T. Hirakawa, T. Yamashita, H. Fujiyoshi, and K. Sugiura, “Nearest Neighbor Future Captioning: Generating Descriptions for Possible Collisions in Object Placement Tasks”, Advanced Robotics, 2024, to appear.
  2. K. Kaneda, S. Nagashima, R. Korekata, M. Kambara, and K. Sugiura, “Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine”, IEEE Robotics and Automation Letters, Vol. 9, Issue 3, pp. 2088-2095, 2024. DOI: 10.1109/LRA.2024.3352363 PDF
  3. M. Kambara and K. Sugiura, “Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions”, IEEE Robotics and Automation Letters, Vol. 6, Issue 4, pp. 8371-8378, 2021. DOI: 10.1109/LRA.2021.3107026 PDF

International Conference

  1. M. Goko*, M. Kambara*, S. Otsuki, D. Saito, and K. Sugiura, “Task Success Prediction for Open-Vocabulary Manipulation Based on Multi-Level Aligned Representations”, CoRL, 2024, to appear. (*: Equal contribution) project page
  2. K. Kaneda, S. Nagashima, R. Korekata, M. Kambara, and K. Sugiura, “Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine”, IEEE RAL presented at IEEE/RSJ IROS, 2024, to appear. DOI: 10.1109/LRA.2024.3352363
  3. T. Nishimura, K. Kuyo, M. Kambara, and K. Sugiura, “Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Multimodal Foundation Models”, IEEE/RSJ IROS, 2024, to appear.
  4. M. Kambara, C. Hori, K. Sugiura, K. Ota, D. K Jha, S. Khurana, S. Jain, R. Corcodel, D. Romeres, J. L. Roux, “Human Action Understanding-based Robot Planning using Multimodal LLM”, ICRA 2024 Cooking Robotics Workshop, 2024. PDF
  5. R. Korekata, M. Kambara, Y. Yoshida, S. Ishikawa, Y. Kawasaki, M. Takahashi and K. Sugiura, “Switching Head–Tail Funnel UNITER for Dual Referring Expression Comprehension with Fetch-and-Carry Tasks”, IEEE/RSJ IROS, 2023. PDF
  6. K. Kaneda, R. Korekata, Y. Wada, S. Nagashima, M. Kambara, Y. Iioka, H. Matsuo, Y. Imai, T. Nishimura, and K. Sugiura, “DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training”, CVPR 2023 Embodied AI Workshop, 2023. PDF
  7. M. Kambara and K. Sugiura, “Fully Automated Task Management for Generation, Execution, and Evaluation: A Framework for Fetch-and-Carry Tasks with Natural Language Instructions in Continuous Space”, CVPR 2023 Embodied AI Workshop, 2023. PDF
  8. M. Kambara, K.Sugiura, “Relational Future Captioning Model for Explaining Likely Collisions in Daily Tasks”, IEEE ICIP, TP-V2.V13.14, 2022. PDF
  9. M. Kambara and K. Sugiura, “Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions”, IEEE RAL presented at IEEE/RSJ IROS, 2021. PDF

Award

  1. K. Kaneda, R. Korekata, Y. Wada, S. Nagashima, M. Kambara, Y. Iioka, H. Matsuo, Y. Imai, T. Nishimura, K. Sugiura, CVPR 2023 Embodied AI Workshop DialFRED Challenge 1st Prize, 6/19/2023.
  2. M. Kambara, Y. Yoshida, K. Kaneda, S. Otsuki, R. Korekata, H. Matsuo, Y. Wada, W. Yang, K. Sugiura, Honorable Mention Award, REVERIE Challenge @ CSIG 2022, 8/19/2022.

Domestic Conference

  1. 松尾榛夏, 神原元就, 杉浦孔明: “マルチモーダル基盤モデルと劣モジュラ最適化に基づく移動ロボットの環境探索”, 2024年度 人工知能学会全国大会, 4O3-OS-16e-03, 2024.
  2. 齋藤大地, 神原元就, 九曜克之, 杉浦孔明: “マルチモーダルLLMおよび視覚言語基盤モデルに基づく大規模物体操作データセットにおけるタスク成功判定”, 2024年度 人工知能学会全国大会, 3O1-OS-16b-02, 2024.
  3. 西村喬行, 九曜克之, 神原元就, 杉浦孔明: “マルチモーダル基盤モデルと最適輸送を用いたポリゴンマッチングによる参照表現セグメンテーション”, 2024年度 人工知能学会全国大会, 2O6-OS-16a-02, 2024.
  4. 平野慎之助, 小松拓実, 和田唯我, 神原元就, 畑中駿平, 平川翼, 山下隆義, 藤吉弘亘, 杉浦孔明: “ENCHANT: 大規模言語モデルを用いた仮説生成に基づくクロスモーダル説明文生成”, 第41回日本ロボット学会学術講演会, 1K4-03, 2023.
  5. 神原元就, 杉浦孔明: “マルチモーダル言語処理に基づくfetch-and-carryタスクの自動化と実行”, 2023年度 人工知能学会全国大会, 2I6-OS-4a-03, 2023.
  6. 兼田寛大, 神原元就, 杉浦孔明: “Learning to Rank Physical Objects: ランキング学習による物理世界検索エンジン”, 2023年度 人工知能学会全国大会, 3G1-OS-24a-01, 2023.
  7. 小松拓実, 神原元就, 畑中駿平, 松尾榛夏, 平川翼, 山下隆義, 藤吉弘亘, 杉浦孔明: “Nearest Neighbor Future Captioning:物体配置タスクにおける衝突リスクに関する説明文生成”, 2023年度 人工知能学会全国大会, 3G1-OS-24a-05, 2023.
  8. 是方諒介, 神原元就, 吉田悠, 石川慎太朗, 川崎陽祐, 髙橋正樹, 杉浦孔明: “Switching Head–Tail Funnel UNITERによる対象物体および配置目標に関する指示文理解と物体操作”, 2023年度 人工知能学会全国大会, 2G4-OS-21d-01, 2023.
  9. 神原元就, 杉浦孔明: “記号接地されたfetch-and-carryタスクの自動化と実行”, 第40回日本ロボット学会学術講演会, 4I1-01, 2022.
  10. 飯岡雄偉, 神原元就, 杉浦孔明: “物体配置タスクにおける危険性のクロスモーダル説明生成”, 第40回日本ロボット学会学術講演会, 4I1-08, 2022.
  11. 神原元就, 杉浦孔明: “日常タスクにおける将来イベントのクロスモーダル説明文生成”, 2022年度 人工知能学会全国大会, 2O1-GS-7-02, 2022.
  12. 神原元就, 杉浦孔明: “料理タスクにおける将来イベントのクロスモーダル説明文生成”, 第28回画像センシングシンポジウム 2022, SO3-24・IS3-24, 2022.
  13. 兼田寛大, 神原元就, 杉浦孔明: “Bilingual Case Relation Transformerに基づく複数言語による物体操作指示文生成”, 第39回日本ロボット学会学術講演会, 1I2-06, 2021.
  14. 神原元就, 杉浦孔明: “Case Relation Transformerに基づく対象物体及び目標領域の参照表現を含む物体操作指示文生成”, 2021年度 人工知能学会全国大会, 4J1-GS-6d-05, 2021.