设为首页 - 加入收藏
广告 1000x90
您的当前位置:主页 > 资源 > 效果代码 > 正文

杭电小哥抢先搞定GPT读图功能单卡就能实现新S

来源:未知 编辑:天选资讯 时间:2023-03-21

  加上一个小模型,就能让ChatGPT、GPT-3这类目前只能理解文本的大语言模型轻松

  比如说,给训练后的GPT-3输入一张“音乐现场”的图片,问它:现场在举办什么活动?

  再来加点难度,再给GPT-3酱紫的一张照片,让它来分辨照片中的帘子是什么类型的材质。

  这个方法呢,是杭州电子科技大学和合肥工业大学的一个团队的最新成果:Prophet,半年前他们就已经着手进行这项工作。

  论文一作是杭电研究生邵镇炜,他在1岁那年被诊断患有“进行性脊肌萎缩症”,高考时遗憾与浙大擦肩,选择了离家近的杭州电子科技大学。

  话不多说,直接来看在Prophet这种方法的加持下GPT-3的读图能力。

  研究团队在两个基于外部知识的视觉问答数据集OK-VQA和A-OKVQA测试了Prophet,均创造了新SOTA。

  其实,类似Prophet这种帮助GPT-3处理跨模态任务的方法之前也有,比如说PICa,以及之后的KAT和REVIVE。

  而PICa、KAT和REVIVE从图片中提取到的信息只有:一群人在广场上走路,完全忽略掉了后面还有一颗椰子树。最终给出的答案也只能靠瞎猜。

  而Prophet这边,就不会出现这种情况,它解决了上述方法提取图片信息不充分的问题,进一步激发了GPT-3的潜能。

  有效提取信息,并准确回答问题,能做到这些Prophet依赖的是它独特的两阶段框架。

  首先是第一阶段,研究团队针对特定的外部知识VQA数据集训练了一个改进的MCAN模型(一个VQA模型)。

  其中,答案候选是以模型分类层输出的置信度为依据对答案进行排序,选取里面的top10。

  答案感知示例时指,将模型分类层之前的特征作为样本的潜在答案特征,这个特征空间中最相近的标注样本。

  讲上一步得到的“启发性答案”组织到prompt中,然后再将prompt输入给GPT-3,在一定的提示之下完成视觉问答问题。

  不过虽然上一步已经给出一些答案提示,但这并不意味着GPT-3就要局限在这些答案中。

  若提示给出的答案置信度太低或者正确答案并不在那些提示中,GPT-3完全完全有可能生成新的答案。

  第一作者邵镇炜在1岁时就确诊“进行性脊肌萎缩症”,是肢体一级残疾,没有生活自理能力,生活和学习需要母亲的全程照顾。

  2017年高考他拿下644分的高分,以第一名的成绩被杭州电子科技大学计算机专业录取。

  期间还获得2018年中国大学生自强之星、2020年度国家奖学金和2021年度浙江省优秀毕业生等荣誉。

  2021年,邵镇炜在准备研究生推免时与浙大擦肩,于是留校加入了余宙教授课题组攻读硕士研究生,目前他在读研二,研究方向是跨模态学习。

  余宙教授则是本次研究论文的二作以及通讯作者,他是杭电计算机学院最年轻的教授,教育部“复杂系统建模与仿真”实验室副主任。

  长期以来,余宙专攻多模态智能方向,曾带领研究团队多次获得国际视觉问答挑战赛VQA Challenge的冠亚军。

  该实验室由国家杰青俞俊教授负责,近年来实验室围绕多模态学习方向发表一系列高水平期刊会议论文(TPAMI、IJCV、CVPR等),多次获得IEEE期刊会议的最佳论文奖。

  实验室主持国家重点研发计划、国家自然科学基金重点项目等国家级项目20余项,曾获得过浙江省自然科学一等奖,教育自然科学二等奖。

相关推荐:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片

织梦模板大全 dedecms.codesdq 联系QQ:121673232 邮箱:121673232@qq.com

Copyright © 2002-2011 DEDECMS. 织梦科技 版权所有 Power by DedeCms

Top