2024CTIS-文章详情页顶部

对话恒生电子白硕:大模型不擅长精准计算,数据质量决定模型能力

行业对大模型的关注和参与程度比较高,但真正落地的应用还比较少。

“过去几个月我们对金融行业进行了比较广泛的调研,结果表明行业对大模型的关注和参与程度比较高,但真正落地的应用还比较少——8%在立项阶段,17%在测试阶段,超过70%的金融机构还处于调研阶段。”恒生电子董事长刘曙峰近日表示,“金融机构的同事们可以不要那么焦虑,毕竟大多数机构还不知道怎么真正应用到业务场景中去。”

刘曙峰提到,大模型在落地应用时存在着模型选择难、算力供应不足、应用成熟度不足等问题。作为“百模大战”的参与者之一,恒生电子此前发布“金融行业大模型LightGPT”,并在近日发布了最新能力升级成果,以及数个大模型应用产品,同时正式开放产品公测。

在钛媒体App此前的行业调研中,同样感受到了大模型落地金融行业过程中遇到的诸多难点。比如,当前绝大部分中小金融机构缺乏探索大模型的高额预算;“幻觉问题”难以完全克服,大大限制了应用落地表现等等。

对此,钛媒体App近日与恒生电子首席科学家、大模型产品总监白硕展开了深入对话。在加入恒生电子前,白硕曾任中科院计算机所博士生导师,上海证券交易所总工程师。

半导体禁令将倒逼算力合作

钛媒体App:最近大家关注度比较高的是美国半导体禁令,新规可能会冲击英伟达A800或者H800的销售,对国内AI芯片或带来冲击,怎么看这一禁令后续对大模型行业带来的连锁反应?

白硕:我理解这可能会带来几方面影响:第一,由于禁令的生效,国内大模型企业可能打算买的或者已经在路上的AI芯片,都可能存在一定的风险。买不到当然就是“无米之炊”,大模型企业想推广的一些场景可能面临不方便推广或者没有那么顺利的问题。

挑战也带来了另一方面的影响:一方面,国产相应GPU可以快速顶上,达到同步、同功能、等效的替换。站在这个角度上,确实我们看到一些企业,譬如海光、华为的昇腾都在发力,我也期待他们会提供更加符合客户要求的算力支持,我们也会一起帮助AI的应用真正在行业落地。所以从这一方面来看,其实它是一个机会,推动国产GPU的技术进步。

此外,未来还会不会有另外一种可能性,当前国内大模型已经有的算力,可能处于一种分散的状态,不一定能够发挥它最大的效能,已经有的算力掌握在少数单位或者少数机构的手里,并不能非常充分地发挥它的作用。我们有没有可能把算力集中起来,以行业的方式,统一提供服务?这也是我们在思考的一条路径。

头部机构技术先发优势明显

钛媒体App:大模型的开发需要大量资金、算力和数据支撑,它会不会拉大头部和中小金融机构之间的技术差距?

白硕:如果从算力角度来看,不同规模金融机构在算力方面投入的差距,可能很大程度上会使这个差距加剧,对算力投入成本的承受程度各不相同。但是,如果可以通过行业能力统一的方式来提供算力服务,大家或许都有机会。

另一方面,实际上大模型的预训练、精调和推理部署需要的算力有数量级的差别。实力雄厚的头部企业研发投入充足,先发优势明显,可以利用相对大的算力和自有数据对大模型进行精调;而研发投入相对有限的中小机构,可以采用跟随策略,直接使用成熟模型,只进行推理部署而不做精调。像恒生这样的金融科技服务商,可以在打造成熟模型方面为市场提供相应服务。

“行业云+混合部署”是未来出路

钛媒体App:最近了解到,中小金融机构的投入预算很少,很多新业务不太愿意尝试,恒生电子在实践中有怎样的经验和体会?

白硕:这有一个“既要…又要…”的问题。所谓“既要…又要…”,就是既要合规,又要尽可能地不做重复建设。因为不重复建设就可能意味着数据要素的流动。如果这个流动不是监管所允许的或者不是公司愿意的,那就会成为问题。

我们都知道SaaS化,大模型的SaaS有一个专门的名词叫MaaS(模型即服务)。MaaS可以把算力资源最大程度地使用出来,大家可以通过模型订阅的方式获得服务。但当遇到数据不能彼此互通的情况,这种模式就不太成立,大模型只能私有部署。所以这里有一个解决方案,就是用“行业云+混合部署”模式。行业云就意味着是行业有公信力一个单位或者一个机构来提供云服务,监管认可的公信力会解决很多问题。

另一方面,混合部署将是一个常态化的方案。采取私有化部署+MaaS服务相结合的混合云部署方式,一方面满足监管合规、数据安全的要求,另一方面可以快速引入行业资源和能力,完成大模型的应用落地;同时通过订阅服务获得数据服务、AI服务的持续更新。

大模型不擅长精准计算

钛媒体App:关于幻觉问题,有人跟我提到过一个观点,大模型的核心优势是创造性,但由于幻觉问题的存在,大模型和金融业会存在本质性的矛盾,当然这里的“金融业”是比较狭窄的含义。您怎么看待这个问题?

白硕:创造性还是很笼统的概念,具体地说就是语言能力和知识能力。大模型最亮眼的表现是语言能力,无论是意图的精准理解还是内容生成,都非常惊艳。但是,它的知识能力处在进化过程当中,而且它是有上限的。

像数学公式的推导,还有像知识图谱,中间需要很深层的穿透计算,每一步都需要精准计算。如果把这些精准的知识放到大模型里,那么就又变概率了,增加了不确定性。这不是大模型擅长的,这类工作就不应该交给它。我认为,不应该把大模型的创造性用在这些需要精准计算和推理的地方,用了反而会起反作用。

而在一些内容生成方面,我们鼓励大模型有创造性,能够做到千人千面。比如我们问同样的问题,大模型可能可以给到精神一致、但表述不一样、甚至表述风格都不一样的不同回答,这就充分体现了大模型的创造性。

当前我觉得还有一个偏向,可能有一些技术人员,或者AI业余爱好者常常在一些业务用不到的点上考验AI大模型,像脑筋急转弯的问题之类。我呼吁业内避免走入误区,在选择业务真正需要的场景时,考察的着眼点不要放在错误的、没价值的地方。

数据质量决定模型能力

钛媒体App:关于数据的问题。投研、投顾是大家比较期待的场景,但也有一些业内人士表示,目前为止还没有体现出很出色的表现,数据孤岛化、数据质量不高等问题依然存在,极大限制了应用表现。

白硕:你说的是对的,这里面谁来连通这些数据,是有讲究的。从我们的实践来看,要有一个类似“光子”(注:恒生电子推出的金融应用对接大模型的“中控”平台)这样的东西来拉通各种数据、各种资源。比如在财富投顾场景中,投顾话术的生成需要给大模型提供各类数据,比如来自行情数据库的数据、来自基本面数据库的数据,还有来自证券公司系统里的客户自身的持仓数据等。

所以,我们要有一个“中控”平台,能够像一个巫师一样,从四面八方把有用的资源召唤出来,使用在同一个业务场景中。比如在投顾场景中,大模型可以根据这些资源,进一步进行计算、分析、摘取、生成,最后形成综合了各个方面资源的投顾建议给到投资顾问。

这是大模型自身做不到的,需要以一种无缝的方式拉通多方面的资源才能做到。而这些工作恰恰是我们最擅长的。

钛媒体App:目前金融大模型有开源也有闭源,您怎么看待开源、闭源的路径选择?

白硕:开源分为代码开源和参数开源。一般都能做得到代码开源,也就是说真正拉开距离的不是代码,不是训练和推理的框架,而是数据。数据可能决定了模型的能力。所以,用数据这件事情差异还是蛮大的,尽管训练和推理框架都是开源的,但只要数据本身有特色,仍然能够打造具有自己特色的大模型,这是一个我们的基本判断。

如果涉及到参数开源,参数开源意味着你的上家(底座大模型)用它的数据训练过一次模型,得到了一些参数,而你没有废弃这些参数而是继承,然后在这些参数基础上,用你的数据继续训练,把这些参数向效果更好的方向去迭代修改。在这种情况下,开源参数的质量会很大程度上决定后续的模型质量。(本文首发于钛媒体App,作者|蔡鹏程)

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

扫描下载App