从大模型看算法工作

图1-1
当前这个时间点, 我们似乎正在经历一场技术平权的革命, 因为大模型的出现, 让原来需要花费很多精力的工作变得毫无意义(这里就不便举例子), 也让我由此感慨一下,接下来主要看看我们在算法这个方向是如何看待算法工作与大模型的关系。

业务目标

我们还是先从目标说起, 对于大模型而言,目前主要是对当前知识的学习,而这里的目标其实是偏战略目标的描述, 是从未来看现在去确定目标, 这种任务很难由大模型替代, 大模型的关键能力其实经验的堆砌和沉淀, 但是对未来的判断其实更考验的是当事人相信什么, 就像我们问大模型未来是否还会存在什么东西能替代大模型本身, 大概率能获得一些“端水”的答案,但是这是它相信的, 未必是真的, 也未必是你相信的, 这种极具个人色彩的任务, 是很难通过大模型的实现的。
我们再往下聊一层, 对于业务上的目标是不是能够通过大模型确定, 说实话,我目前的认知里是一定程度是能的, 特别是对一些老牌的业务场景, 可以通过第一性原理推断,某种意义上是能的,不过这里为什么是一定程度呢, 其实我们在指定目标的时候, 经常也不会不自觉的考虑未来考虑环境,考虑组织,甚至考虑人, 就给目标的指定带来太多的干扰, 而这些干扰有些就不能完全在模型中表达,所以某种意义上难解决这种问题的。

数据

下沉到实际算法工作中, 我们经常遇到的就是这种推理和预测结构, 最上层的瓶颈就是数据层。大模型理论上是能够提升我们的数据丰富度和上限的 。但是这里需要明确下来大模型对数据的补充来自于哪里。

数据增强

例如我们经常可以使用大模型做图像的分类的标注, 这部分工作是人也能干,只是比较麻烦,但是标准和质量都是可评估使用的。 大模型标注完我们经过一些采样评估是可以做到完整的提效的目标的。
还有就是国际化的场景, 人借助一些翻译工具也能标注一些菜品的名称和分类, 但是因为基本的语言知识不具备,标准成本巨大,可以借助大模型,它带有自己的更大的知识储备能够做一个标注。
不知道大家发现没有,其实凡是我们标注成本比较高,但是评估标准明确, 就可以通过大模型做一些增强型的工作

明确标签含义

我们还有一类场景, 假如我们想预估一个骑手的配送时长, 这里的标签是含义是明确的, 可以通过数据回收获取, 就没有必要通过大模型做一次标签的纠正或是模拟, 这样只会让数据分布偏离真实分布。

非明确标签含义

于上面的场景对应的是非明确的标签, 例如我们想预测骑手是不是一个好的骑手, 但是这个好的定义又比较模糊。 你让大模型给你一个标签,最终也很难获得一个好的标注, 如果是线上使用,风险就更大啦。

推理

这里的推理是指模型训练这一趴, 对于这一趴的工作呢,目前看到最大的赋能就是可以通过Hermes或者是龙虾可以做一些调研, 能够较快算法的演进速度, 但是更多领域型场景的模型设计似乎还是会有一些问题。

这里需要额外补充一点, 对于模型的调研和评估,其实这里是需要一定的专业知识的, 外层需要判别幻觉问题, 大模型知道的一些模型是不是真实存在的,还是它临时杜撰的,这点求真是需要人工进行review。(这里也回应了大家比较担心被技术平权的忧虑), 为什么将来会有一部分工程同学会被产品替换掉, 因为产品对她想要的东西是清晰的, 中间实现的过程不重要。 大模型实现一个功能是比较容易的。 对于算法问题呢, 最后你看起来是给一个概率值,但是能不能做的更好, 以及如何做的更好, 其实是需要一些经验和积累的, 而这部分积累对于大模型而言是相对困难的。当然这里排除一些十分成熟的领域。

决策

决策层这一趴我理解是未来大模型比较难染指的, 我们在解决一个优化问题的时候一般还是通过运筹优化的方式,中间使用割平面或者其他的方式求得一个最优解, 这种是十分客观的数据问题, 当环境信息确定以后,最优解也是确定的, 但是大模型呢主要是解决可行解的问题。 你把要求和他说明白, 他能帮你找到一个可行方案, 但是未必是能保证最优,这一点上,对于业务来讲是不太能接受的。
当然,其实可以通过另一种方式解决这个问题,例如我们可以让大模型用运筹的方式建模, 然后通过调用本地求解器求解一个最优解并返回给你。 我理解这也是Agent的魅力, 这是一个资源整合的过程。
这里还有一个点就是, 对运筹目前的抽象是比较依赖业务的, 例如我们业务想优化留存, 一般是不会直接优化留存的, 会通过一些中间变量建模,可能对于大模型来讲是比较大的挑战。

评估

最后这一趴,我理解是整个体系最精华的部分, 对于大模型来讲,尝试型的工作是它比较愿意做的, 如果你有一个十分确定的评估指标,让大模型帮你找方案, 最后检验它的结果,这个模式是应用大模型比较好的方式, 这里能落地的一个非常重要的一环就是, 你能有很好的目标。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×