AI大语言模型的企业需要满足：

1、定制输出，企业定制的数据。

2、缺少上下文

3、专业词汇

有4种调整方法：

1.全面微调（Full Fine-tuning）：使用特定于任务的数据调整 LLM 的所有参数

    当模型非常大时，您通常需要将计算分布到多个 GPU 和节点上，这需要适当的专业知识。根据模型和数据集的大小，微调可能需要数小时、数天甚至数周的时间。

2.参数高效微调 (PEFT)：修改所选参数以实现更有效的适应

    更新一小部分总参数来进一步调整预训练模型。经过大量数据预训练的大型语言模型已经学习了广泛的语言结构和知识，简而言之，它已经拥有许多任务所需的大量信息。由于范围较小，调整整个模型通常是不必要且低效的。微调过程是对一小组参数进行的。

3.提示工程(Prompt Engineering)：细化模型输入以指导其输出

4.检索增强生成（RAG）：将提示工程与数据库查询合并，以获得上下文丰富的答案

    由Meta研究人员推出的检索增强生成(RAG)是一种强大的技术，它将即时工程与外部数据源的上下文检索相结合，以提高LLM的性能和相关性。通过将模型建立在附加信息的基础上，它可以实现更准确和上下文感知的响应。

在衡量方法的成本时，考虑其初始实施的成本以及维护解决方案的成本是有意义的。鉴于此，让我们比较一下四种方法的成本。

快速工程——四种方法中，快速工程的成本最低。归根结底，就是编写和测试提示，以找到在提供给预训练的LLM时能够提供良好结果的提示。如果预训练模型本身被更新或替换，它还可能涉及更新提示。当使用 OpenAI 的 GPT4 等商业模型时，这种情况可能会定期发生。

RAG——实施 RAG 的成本可能高于即时工程的成本。这是因为需要多个组件：嵌入模型、向量存储、向量存储检索器和预训练的 LLM。

PEFT——PEFT 的成本往往高于 RAG。这是因为微调，即使是高效的微调，也需要大量的计算能力、时间和机器学习专业知识。此外，为了维持这种方法，您需要定期微调以将新的相关数据合并到模型中。

全面微调——这种方法比 PEFT 成本要高得多，因为它需要更多的计算能力和时间。