农业银行小数（ChatABC）养成记——业内首个自主创新金融AI大模型应用

据了解，1.0版本ChatABC大模型拥有百亿级参数，可初步具备自由闲聊、行内知识问答、内容摘要等多类型任务的服务能力，已在行内多个渠道以多轮问答助手、工单自动化回复助手等形式面向内部员工开放试用，并可通过MaaS（Model as a Service）方式面向其他场景提供一站式决策辅助服务，未来将逐步形成大模型服务生态。

中国农历新年刚过，一款号称史上最强的聊天机器人ChatGPT迅速火出了圈。似乎一夜之间，所有人都在玩 ChatGPT，聊人工智能。伴随着以ChatGPT为代表的生成式AI的高速发展，可能很多公司和个人的命运将会完全被改写。这是不亚于蒸汽机、铁路、电报、互联网的时代巨浪，微软CEO纳德拉甚至认为对于知识型工作者来说，这就完全等于工业革命。

毫无疑问，生成式人工智能是自移动和云计算兴起以来最引人注目的突破式技术，这种具有颠覆性的变革，将会逐渐成为数十亿人日常生活的一部分，对于农业银行，我们自己能不能训练一个“懂金融”的ChatGPT呢？作为在AI算法和技术方面历来争先的北研四部人工智能团队陷入了沉思。在中心领导的关怀和指导下，耿晓阳、男神（张诚）和臻神（王臻）等几位酷数小组成员，迅速分析实现可行性。ChatGPT的总体技术纷繁复杂，包括大模型训练微调、RLHF（人工反馈强化学习）、深度学习模型分布式训练及推理加速等等，魔鬼更是隐藏于各种工程细节中。不过咱农行的AI小伙伴都是在AI领域摸爬滚打多年的圣斗士，BERT、ViT、GPT，都耍的有模有样，hold住了高风险地址识别、合同比对识别等等各种场景，我行自研的AI平台在计算机视觉、NLP、知识图谱等AI各领域都具备了全流程支撑的能力。

说干就干，2月10日，第一次ChatGPT攻坚启动会召开，20人的初创团队建立，分配在7个任务小组：算法攻坚组、工程推进组、试点应用组、产品设计运营组、调研交流组、测试组、工程协调组，农行自己的ChatABC出发上路了。

14天时间，4个研发部门协同作战，7个任务小组的通力合作，加速了0.1版本的内测到0.2版本的面向研发中心的全面开放进程，团队的执行力、创造力、技术能力随开发的深入而一一印证。

2月10日ChatABC第一次启动会，会议商定2月16日上线内测版本，小伙伴们的内心是忐忑的，但是困难根本阻挡不了小伙伴们攻坚的热情。启动会会后试点应用组负责人廖梦杰和作为开源极客的陈炜钊即刻组织线上会议，对接刘老板（刘畅）带领的天枢项目组，张老板（张奥爽）领衔的谛听项目组以及王老板（王楠）率领的谛听移动端项目组完成需求的制定和试点场景的确认，确认技术联系人，肖尧持续跟进内测版白名单进度及相关配置。同一时间线上，工程推进组的魏鹏、大咖（王鑫毅）、石文鹏，热火朝天的开始讨论AI平台的GPU部署。算法攻坚组的小伙伴们立刻着手开展模型部署和服务封装。2月11日、2月12日，周末两连阴天，稻香湖攻坚现场却是热火朝天，C7楼里到处是技术谈论声和噼噼啪啪的键盘声。11日完成UIUE设计，13日完成接口联调并完成排队机制设计，14日完成指令微调模型的封装和部署，时间紧效率高，稳平快贯穿始终，2月16日的内测版本小数0.1平稳上线，再一次验证了AI团队的速度！

有一段时间，小数的问答效果总是不太理想，小伙伴们虽然做了很多优化，仍然是按下葫芦浮起瓢，不是对联对的不好，就是代码写的不溜，算法组小伙伴的头发掉了一把又一把！直到投产前的一天下午，臻神大呼“有办法了”，原来是找到了一篇prompt工程的论文，有了prompt微调，我们仿佛打开了一个大模型的新世纪大门。从此算法组男神（张诚）、臻神（王臻）、小花（牛菲菲）、郄文博等算法大牛开启了与大模型的“尬聊”之路。写诗写的不好？要不要加一个写诗的prompt？代码写的不好？要不要试试一些新的代码prompt？小数终于能听懂并回应大部分的问题，此时抬头望月，稻香湖月明星稀，已是凌晨两点。什么是我们无往不利的力量，是对人工智能的极致追求和热爱！

0.2版本多轮对话上线在即，整个攻坚团队都在内部测试小数，原本善解人意的小数忽然开始胡说八道、答非所问。算法攻坚组的小伙伴们紧急分析，第一反应是模型出问题了，后台调试发现模型的输出是正确的。经过算法组定版前夜的联合排查，发现问题出在应用后端的多线程异步轮询请求接口上。又是一番紧急的讨论和修复，终于小数又恢复了正常。下班前，项目组小G同学悄悄提出来：“我今天需要早点走，孩子这两天闹病呢，带孩子去医院看一下，有问题随时拉会讨论！”。你永远可以相信农行的AI人！

最初的团队也迎来了7个研发分部的13名小伙伴的加入。来自架构办的孙江月同学，正在带领几位小伙伴攻克RLHF的难关。来自科产局的张龙博士，也挽起袖子，加入了谛听场景的方案设计，来自成研的王海、田荟双也主动承担起模型训练方案调研的重担。来自成都、广州、天津、西安、武汉、北京各地的小伙伴们都加入进来了，大家共同来夯实农行AI大模型的应用技术基础。

当下的小数还在不断成长中，学的不全，专业不强，可能偶尔排队、可能答非所问、可能有点无厘头，项目组小伙伴们在快马加鞭迭代升级。分布式大模型训练与推理、强化学习闭环应用、指令微调、模型评估，还有很多的技术难题需要我们持续去攻克。小数仅仅是一个开始，把大模型能力与农行金融场景融合应用，构建自主可控的大模型应用能力基础，训练“懂金融”的小数才是我们的星辰大海。很快小数1.0就会跟大家见面了，敬请期待！

新技术需要应用、新场景需要探索、新人才需要成长。AI大模型应用成为AI创新应用的下一个新范式。时不我待，唯务耕耘。让我们乘AI大模型的东风，坐上有田叔的五菱宏光，不踩刹车，“狂飙”奔向新一代AI的未来。