大语言模型的灰度与大数据平台的精度融合发展路径探寻
自 ChatGPT 大型语言模型走红之后,让人们看到了复杂场景下的大规模知识抽取和表达的希望,以知识表达和调用为核心的AI语言生成应用给交通行业带来了前所未有的挑战与机遇。同时由于大语言模型特有的灰度理解和模糊表达手法,在实际应用场景中,需要结合原有数据库系统的精准指标相融合,才能达到较实用的效果。 ChatGPT本质上是先进行无监督学习,再进行有监督学习,其在超大规模文字数据集上进行无监督训练后,掌握了人类文本的表达方式和知识组织逻辑,并通过Prompt用提问的方式解决了模型调用的问题,更接近人类的思考逻辑,其语言理解能力还是非常强的。 大语言模型的挑战在于其输出的是的灰度理解和模糊表达。这是一种通过多角度、多视角、多方式地表达同一个概念的特殊的表达方法,旨在提高模型在学习和预测文本内容时的表达能力和创造性。但这种表达方式带来的模糊性和难以捉摸性可能给特定的场景带来误解或误差。 大语言模型可通过无监督数据数据集、有监督指令数据集和人工反馈强化训练进行构建。 第一是无监督数据数据集,这类数据量大、覆盖场景全,包括互联网交通公开数据、公司内部数据、政务交通数据。 第二是有监督指令数据集,这类数据集可以根据不同的交通应用场景,提出高质量的问题,并给出优质的回答,以此来有效地训练基于交通交岔路口专题的大数据语言模型。 第三是人工反馈强化训练,通过有用性、真实性和无害性等角度对模型的候选回答质量进行评判并排序,以此构建交通专业体的大语言模型。最后,我们对模型进行了实验验证,结果表明,该模型能够有效提高交通事故预测的准确性,并且具有良好的稳定性。 (编辑:银川站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |