LocalAI 2.12.1 for macos Silicon 正式版历史版本

LocalAI是一款专为本地部署设计的开源项目，旨在帮助开发者在本地环境中快速搭建和运行人工智能应用，无需云端依赖。

作为一款专为本地部署设计的开源AI项目，LocalAI凭借其多模型支持、本地运行与隐私保护、性能优化、易于集成与扩展等特点，为开发者提供了一个低门槛、高效能的AI应用解决方案。

多模型支持：

LocalAI支持多种预训练模型，如图像识别、文本分类、音频转录等，并进行了封装，只需几行代码即可调用。

兼容多种大模型，如llama.cpp、alpaca.cpp、gpt4all.cpp、rwkv.cpp、whisper.cpp、vicuna、koala、gpt4all-j、cerebras等。

支持与ggml格式兼容的多个模型系列，如GPT4ALL-J和带有ggml的cerebras-GPT。

本地运行与隐私保护：

所有计算和数据处理都在本地进行，无需将数据上传到云端，大大增强了数据安全性和隐私保护。

无需GPU和互联网访问，即可在消费级硬件上运行，降低了使用门槛和成本。

性能优化：

使用C++绑定来优化推理过程，实现更快的推理速度和更好的性能。

首次加载模型后，会将其加载到内存中以进行更快的推理。

易于集成与扩展：

提供了一套简洁明了的API接口，方便开发者快速集成到现有系统中。

支持多种操作系统，包括Windows、macOS和各种Linux发行版，实现了跨平台支持。

允许用户导入TensorFlow、PyTorch等深度学习库构建的自定义或新模型，增强了可扩展性。

模型管理：

提供了轻量级的模型管理器，支持模型的加载、存储和管理。

可以通过简单的命令或API调用，实现模型的快速切换和更新。

应用场景广泛：

智能家居：在物联网设备上实现本地化的语音识别和智能控制。

移动应用：为应用添加实时的图像分析或自然语言处理能力，提高用户体验。

企业内部工具：用于数据分析和报告生成，提升工作效率。

隐私敏感项目：如医疗健康领域，确保患者数据的安全性。

2.12.1 版本更新说明：

新功能

功能(aio)：添加 Intel 配置文件

增强 autogptq 后端以支持 VL 模型

功能(assistant)：助手和 AssistantFiles API

功能：为 Transformer 后端添加 Openvino 运行时，以及 Openvino 和 CUDA 的流式支持

功能：为 Transformer 添加 Token Stream 支持，修复：缺少 OpenVINO 包的问题

功能(welcome)：添加简单的欢迎页面

修复(build)：改进 CI 日志记录，并修正 Makefile 中的一些构建失败模式

功能(webui)：添加部分功能，显示与模型关联的后端

功能(swagger)：添加 Swagger API 文档

功能(build)：调整并行构建的 make 任务数量

功能：首次改进日志记录

修复(llama.cpp)：为 llama.cpp 设置更好的默认值

修复

修复：降级 torch

修复(aio)：正确检测 Intel 系统

修复(swagger)：不指定主机

修复(tools)：在模板中正确渲染工具响应

修复(grammar)：尊重用户输入中的 JSON 模式和语法

修复(hermes-2-pro-mistral)：为 toolcall 添加停用词

修复(functions)：在从字符串中选取时保持尊重

修复：在入口点脚本中使用 exec 来修复信号处理

修复(hermes-2-pro-mistral)：修正停用词

修复(welcome)：稳定的模型列表

修复(ci)：手动标记最新的镜像

修复(seed)：如果设置为 -1，则每个请求生成随机种子

修复回归问题

文档和示例

文档(aio-usage)：更新文档以展示示例