政府网站建设模式优量汇广告平台
大语言模型如此火爆，查了些资料整理一下，做个初步的了解。
语言模型的发展从开始的统计方法到使用神经网络，再到现在通过使用Transformer架构的模型训练大量数据，理解文本规则和模式，同时随着训练数据和模型的扩大，语言模型的能力提升显著，此时大语言模型出现了-LLM。
相比于之前的明星模型-BERT，虽然大预言模型使用的架构和预训练任务相似，但参数数量级的提升使他们有了质的差别。BERT的参数为3.3亿，GPT-2为15亿，而GPT-3则有1750亿参数。此时GPT-3相比之前的模型，就有解决少样本任务的能力了，这种能力可称为涌现能力。
LLM的独特能力
上下文学习：语言模型在获得指令或任务示例时，通过上下文生成答案，此时不需要额外训练或更新参数。
指令微调：LLM可以处理未见过的任务，泛化能力强大。
推理能力：LLM可通过中间推理步骤的提示机制解决中间的任务得到最终的答案。
LLM的特点
模型规模大：参数通常在数十亿，甚至千亿规模，这也是大模型可以获取更多信息的基础。
预训练和微调：LLM使用大量无标签文本数据做预训练，获取通用的知识，再通过微调在单独任务重获得更好的效果。
上下文理解：可解决小模型对前文理解不足的问题。
支持多模态：LLM可支持图像、声音等内容的扩展。
现有的大模型
LLM大放异彩是从OpenAI发布ChatGPT开始的，后面还有Claude、PaLM、Bard等，但由于网络原因，并不好用，而且还需要国际支付以获取user key，国内使用不是很友好。
国内的LLM主要有文心一言、讯飞星火、通义千问等，分别由百度、讯飞、阿里推出。放开测试后只需手机号就能使用，但有些功能需要收费了。
LangChain
一个开源工具，帮助开发者调用大模型并应用于下游任务，其为LLM提供了通用接口，简化开发流程。
主要有六个标准接口：
Input/Output：用户输入及模型输出的结果
Data：将自由数据输入模型训练
Chain：链接多个LLM或组件
Memory：对每个用户生成短期记忆，加强对上文的理解
Agent：为LLM提供计算、检索等功能的支持
Callback：记录流程信息