LocalAI 2.16.0 for macos Silicon 正式版历史版本

LocalAI是一款专为本地部署设计的开源项目，旨在帮助开发者在本地环境中快速搭建和运行人工智能应用，无需云端依赖。

作为一款专为本地部署设计的开源AI项目，LocalAI凭借其多模型支持、本地运行与隐私保护、性能优化、易于集成与扩展等特点，为开发者提供了一个低门槛、高效能的AI应用解决方案。

多模型支持：

LocalAI支持多种预训练模型，如图像识别、文本分类、音频转录等，并进行了封装，只需几行代码即可调用。

兼容多种大模型，如llama.cpp、alpaca.cpp、gpt4all.cpp、rwkv.cpp、whisper.cpp、vicuna、koala、gpt4all-j、cerebras等。

支持与ggml格式兼容的多个模型系列，如GPT4ALL-J和带有ggml的cerebras-GPT。

本地运行与隐私保护：

所有计算和数据处理都在本地进行，无需将数据上传到云端，大大增强了数据安全性和隐私保护。

无需GPU和互联网访问，即可在消费级硬件上运行，降低了使用门槛和成本。

性能优化：

使用C++绑定来优化推理过程，实现更快的推理速度和更好的性能。

首次加载模型后，会将其加载到内存中以进行更快的推理。

易于集成与扩展：

提供了一套简洁明了的API接口，方便开发者快速集成到现有系统中。

支持多种操作系统，包括Windows、macOS和各种Linux发行版，实现了跨平台支持。

允许用户导入TensorFlow、PyTorch等深度学习库构建的自定义或新模型，增强了可扩展性。

模型管理：

提供了轻量级的模型管理器，支持模型的加载、存储和管理。

可以通过简单的命令或API调用，实现模型的快速切换和更新。

应用场景广泛：

智能家居：在物联网设备上实现本地化的语音识别和智能控制。

移动应用：为应用添加实时的图像分析或自然语言处理能力，提高用户体验。

企业内部工具：用于数据分析和报告生成，提升工作效率。

隐私敏感项目：如医疗健康领域，确保患者数据的安全性。

2.16.0 版本更新说明：

分布式Llama.cpp推理

现在，可以使用llama.cpp模型将推理工作负载分配给不同的工作人员！

Peer2Peer llama.cpp

LocalAI 是第一个 AI 免费、开源的项目，在 libp2p 协议之上提供完整的、去中心化的、私有的 peer2peer LLM 推理。没有“公共群”来卸载计算，而是使您能够构建自己的本地和远程计算机集群来分发 LLM 计算。

支持使用混合 JSON 语法的高级函数调用

在此版本中，LocalAI 引入了一项变革性功能：支持混合 JSON BNF 语法。它允许为 LLM 指定允许输出结构化 JSON 和自由文本的语法。

新模型的添加和更新

我们的模型库继续增长，增加了令人兴奋的新成员，如 Aya-35b、Mistral-0.3、Hermes-Theta，以及对现有模型的更新，确保它们保持在最前沿。

此版本对工具调用支持进行了重大增强。除了努力提高 AIO 映像中的默认模型的性能外，现在您还可以尝试在 Hermes 模型系列中使用函数调用增强的开箱即用体验（ Hermes-2-Pro-Mistral 和 Hermes-2-Theta-Llama-3)

我们的 LocalAI 功能模型！

我已经微调了一个函数调用模型，专门用于完全利用 LocalAI 的语法支持，您可以在模型库中找到它！

单一二进制版本：简化部署和管理

在我们不断努力简化用户体验和部署过程的过程中，LocalAI v2.16.0 自豪地引入了一个二进制版本。由于的贡献，此增强功能将所有变体（CUDA 和非 cuda 版本）和依赖项合并到一个紧凑的可执行文件中。

此更改简化了安装和更新过程，减少了兼容性问题，并加快了新用户和现有部署的设置速度，因为现在的二进制版本比以往任何时候都更具可移植性！

Bug 修复和改进

已经实施了许多错误修复，以确保更流畅的操作和集成。关键修复包括对英特尔构建过程的增强、Python 后端中 setuptools 的稳定性调整，以及确保成功构建 p2p 配置的关键更新。

迁移 Python 后端：从 Conda 迁移到 UV

LocalAI 已将其 Python 后端从 Conda 迁移到 UV。