在第二届拯救者杯OPENAIGC开发者大赛中,涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到,我们特意开设了优秀作品报道专栏,旨在展示其独特之处和开发者的精彩故事
无论您是技术专家还是爱好者,希望能带给您不一样的知识和启发。让我们一起探索AIGC的无限可能,见证科技与创意的完美融合!
创未来AI应用赛-企业组优秀作品
作品名称:广目多闻–基于多模态大模型的文旅游览助手
参赛团队:上海墀圣信息技术有限公司天山长歌
作品简介
本项目是一款基于多模态大模型,为用户提供AI导游服务的应用方案。本方案可以根据用户提供的博物馆展品照片、基于预先标出的值得关注的部分,为用户提供导游和问答互动,让游客便捷地获取相关知识、典故、轶事,增加游览兴趣,尤其是可作为研学用户的高效助手,在上线后继续拓展海外市场。
项目设计
本项目提出了一款可根据用户拍摄的博物馆文物与展品照片,使用户可以和多模态模型互动,获取导览内容,达到导游的目的。功能主要有:
用户侧:
用户拍摄展品照片后,在交互界面上传,获得展品上的”重点区域“标识
导览内容包括:
博物馆在后台编辑的内容介绍
网络上关于该展品及区域的介绍
专业资料和书籍对该展品及区域的介绍
“重点区域”也可以通过用户的推荐而生成。用户点击生成遮罩,提交导览内容和简介,经审核和用户匿名投票后,达到标准的展示为新的”值得关注的区域“。通过交互满足社交性、趣味性、娱乐性,增加用户参与度和使用粘性。
管理侧:
博物馆管理方在后台可新增、编辑、删除所属的展品、”重点区域“信息,保证专业性和严肃性。
核心技术和创新点
主要使用如下多模态技术:
Segment Anything进行遮罩选取与分割
ImageBind+Lora进行图像编码和文本标题简介的拉齐
基于Qwen-14B的RAG系统,结合文本标题简介,提供经审核的、严肃的学术性介绍和用户互动功能
在RAG系统上的Agent,搜集更多其它信息用户互动
技术成果和突破
对齐了多模态编码、图像识别、大模型文本生成内容的功能;
将多模态不仅作为大模型的黑盒子使用,而且拆分出来满足用户的个性化需求;
使用openvino,加速文本生成,使用户体验更好。
未来发展
本项目后面会拓展到自然景观的应用,面向外部条件更复杂的户外景观,在光照、恶劣天气等情况下实现落地。
另一方面迭代多模态大模型的版本和量化方式,使生成的速度和性能不断提升