中山市饮食网站建设,辽宁大连直客部七部电话,显示海外地址用什么地图?,php 微网站开发引言
我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face#xff01; Falcon 180B 为开源大模型树立了全新的标杆。作为当前最大的开源大模型#xff0c;有180B 参数并且是在在 3.5 万亿 token 的 TII RefinedWeb 数…
引言
我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face Falcon 180B 为开源大模型树立了全新的标杆。作为当前最大的开源大模型有180B 参数并且是在在 3.5 万亿 token 的 TII RefinedWeb 数据集上进行训练这也是目前开源模型里最长的单波段预训练。
你可以在 Hugging Face Hub 中查阅模型以及其 Space 应用。
模型:
https://hf.co/tiiuae/falcon-180B
https://hf.co/tiiuae/falcon-180B-chat
Space 应用地址:
https://hf.co/spaces/tiiuae/falcon-180b-demo
从表现能力上来看Falcon 180B 在自然语言任务上的表现十分优秀。它在开源模型排行榜 (预训练) 上名列前茅并可与 PaLM-2 等专有模型相差无几。虽然目前还很难给出明确的排名但它被认为与 PaLM-2 Large 不相上下这也使得它成为目前公开的能力最强的 LLM 之一。
我们将在本篇博客中通过评测结果来探讨 Falcon 180B 的优势所在并展示如何使用该模型。
Falcon 180B 是什么
从架构维度来看Falcon 180B 是 Falcon 40B 的升级版本并在其基础上进行了创新比如利用 Multi-Query Attention 等来提高模型的可扩展性。可以通过回顾 Falcon 40B 的博客 Falcon 40B 来了解其架构。Falcon 180B 是使用 Amazon SageMaker 在多达 4096 个 GPU 上同时对 3.5 万亿个 token 进行训练总共花费了约 7,000,000 个 GPU 计算时这意味着 Falcon 180B 的规模是 Llama 2 的 2.5 倍而训练所需的计算量是 Llama 2 的 4 倍。
其训练数据主要来自 RefinedWeb 数据集 (大约占 85%)此外它还在对话、技术论文和一小部分代码 (约占 3%) 等经过整理的混合数据的基础上进行了训练。这个预训练数据集足够大即使是 3.5 万亿个标记也只占不到一个时期 (epoch)。
已发布的 聊天模型 在对话和指令数据集上进行了微调混合了 Open-Platypus、UltraChat 和 Airoboros 数据集。
‼️ 商业用途: Falcon 180b 可用于商业用途但条件非常严格不包括任何“托管用途”。如果您有兴趣将其用于商业用途我们建议您查看 许可证 并咨询您的法律团队。
Falcon 180B 的优势是什么
Falcon 180B 是当前最好的开源大模型。在 MMLU上 的表现超过了 Llama 2 70B 和 OpenAI 的 GPT-3.5。在 HellaSwag、LAMBADA、WebQuestions、Winogrande、PIQA、ARC、BoolQ、CB、COPA、RTE、WiC、WSC 及 ReCoRD 上与谷歌的 PaLM 2-Large 不相上下。 它在 Hugging Face 开源大模型榜单上以 68.74 的成绩被认为是当前评分最高的开放式大模型评分超过了 Meta 的 LlaMA 2 (67.35)。
ModelSizeLeaderboard scoreCommercial use or licensePretraining lengthFalcon180B68.743,500BLlama 270B67.352,000BLLaMA65B64.231,400BFalcon40B61.481,000BMPT30B56.151,000B 如何使用 Falcon 180B
从 Transfomers 4.33 开始Falcon 180B 可以在 Hugging Face 生态中使用和下载。
Demo
你可以在 这个 Hugging Face Space 或以下场景中体验 Falcon 180B 的 demo。 硬件要求
类型种类最低要求配置示例Falcon 180BTrainingFull fine-tuning5120GB8x 8x A100 80GBFalcon 180BTrainingLoRA with ZeRO-31280GB2x 8x A100 80GBFalcon 180BTrainingQLoRA160GB2x A100 80GBFalcon 180BInferenceBF16/FP16640GB8x A100 80GBFalcon 180BInferenceGPTQ/int4320GB8x A100 40GB
Prompt 格式
其基础模型没有 Prompt 格式因为它并不是一个对话型大模型也不是通过指令进行的训练所以它并不会以对话形式回应。预训练模型是微调的绝佳平台但或许你不该直接使用。其对话模型则设有一个简单的对话模式。
System: Add an optional system prompt here
User: This is the user input
Falcon: This is what the model generates
User: This might be a second turn input
Falcon: and so onTransformers
随着 Transfomers 4.33 发布你可以在 Hugging Face 上使用 Falcon 180B 并且借助 HF 生态里的所有工具比如: 训练和推理脚本及示例 安全文件格式 (safetensor) 与 bitsandbytes (4 位量化)、PEFT (参数高效微调) 和 GPTQ 等工具集成 辅助生成 (也称为“推测解码”) RoPE 扩展支持更大的上下文长度 丰富而强大的生成参数 在使用这个模型之前你需要接受它的许可证和使用条款。请确保你已经登录了自己的 Hugging Face 账号并安装了最新版本的 transformers:
pip install --upgrade transformers
huggingface-cli loginbfloat16
以下是如何在 bfloat16 中使用基础模型的方法。Falcon 180B 是一个大型模型所以请注意它的硬件要求。
from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torchmodel_id tiiuae/falcon-180Btokenizer AutoTokenizer.from_pretrained(model_id)
model AutoModelForCausalLM.from_pretrained(model_id,torch_dtypetorch.bfloat16,device_mapauto,
)prompt My name is Pedro, I live in
inputs tokenizer(prompt, return_tensorspt).to(cuda)output model.generate(input_idsinputs[input_ids],attention_maskinputs[attention_mask],do_sampleTrue,temperature0.6,top_p0.9,max_new_tokens50,
)
output output[0].to(cpu)
print(tokenizer.decode(output)这可能会产生如下输出结果:
My name is Pedro, I live in Portugal and I am 25 years old. I am a graphic designer, but I am also passionate about photography and video.
I love to travel and I am always looking for new adventures. I love to meet new people and explore new places.使用 8 位和 4 位的 bitsandbytes
Falcon 180B 的 8 位和 4 位量化版本在评估方面与 bfloat16 几乎没有差别这对推理来说是个好消息因为你可以放心地使用量化版本来降低硬件要求。请记住在 8 位版本进行推理要比 4 位版本快得多。 要使用量化你需要安装“bitsandbytes”库并在加载模型时启用相应的标志:
model AutoModelForCausalLM.from_pretrained(model_id,torch_dtypetorch.bfloat16,**load_in_8bitTrue,**device_mapauto,
)对话模型
如上所述为跟踪对话而微调的模型版本使用了非常直接的训练模板。我们必须遵循同样的模式才能运行聊天式推理。作为参考你可以看看聊天演示中的 format_prompt 函数:
def format_prompt(message, history, system_prompt):prompt if system_prompt:prompt fSystem: {system_prompt}\nfor user_prompt, bot_response in history:prompt fUser: {user_prompt}\nprompt fFalcon: {bot_response}\nprompt fUser: {message}\nFalcon:return prompt如你所见用户的交互和模型的回应前面都有 User: 和 Falcon: 分隔符。我们将它们连接在一起形成一个包含整个对话历史的提示。我们可以提供一个系统提示来调整生成风格。
其他资源
模型页面Space 应用Falcon 180B 已登陆 Hugging Face 生态系统 (本文)官方公告
鸣谢
在我们的生态中发布并持续支持与评估这样一个模型离不开众多社区成员的贡献这其中包括 Clémentine 和 Eleuther Evaluation Harness 对 LLM 的评估; Loubna 与 BigCode 对代码的评估; Nicolas 对推理方面的支持; Lysandre、Matt、Daniel、Amy、Joao 和 Arthur 将 Falcon 集成到 transformers 中。感谢 Baptiste 和 Patrick 编写开源示例。感谢 Thom、Lewis、TheBloke、Nouamane 和 Tim Dettmers 鼎力贡献让这些能发布。最后感谢 HF Cluster 为运行 LLM 推理和一个开源免费的模型 demo 提供的大力支持。
