LocalAI 2.13.0 for macos Silicon 正式版历史版本

LocalAI是一款专为本地部署设计的开源项目，旨在帮助开发者在本地环境中快速搭建和运行人工智能应用，无需云端依赖。

作为一款专为本地部署设计的开源AI项目，LocalAI凭借其多模型支持、本地运行与隐私保护、性能优化、易于集成与扩展等特点，为开发者提供了一个低门槛、高效能的AI应用解决方案。

多模型支持：

LocalAI支持多种预训练模型，如图像识别、文本分类、音频转录等，并进行了封装，只需几行代码即可调用。

兼容多种大模型，如llama.cpp、alpaca.cpp、gpt4all.cpp、rwkv.cpp、whisper.cpp、vicuna、koala、gpt4all-j、cerebras等。

支持与ggml格式兼容的多个模型系列，如GPT4ALL-J和带有ggml的cerebras-GPT。

本地运行与隐私保护：

所有计算和数据处理都在本地进行，无需将数据上传到云端，大大增强了数据安全性和隐私保护。

无需GPU和互联网访问，即可在消费级硬件上运行，降低了使用门槛和成本。

性能优化：

使用C++绑定来优化推理过程，实现更快的推理速度和更好的性能。

首次加载模型后，会将其加载到内存中以进行更快的推理。

易于集成与扩展：

提供了一套简洁明了的API接口，方便开发者快速集成到现有系统中。

支持多种操作系统，包括Windows、macOS和各种Linux发行版，实现了跨平台支持。

允许用户导入TensorFlow、PyTorch等深度学习库构建的自定义或新模型，增强了可扩展性。

模型管理：

提供了轻量级的模型管理器，支持模型的加载、存储和管理。

可以通过简单的命令或API调用，实现模型的快速切换和更新。

应用场景广泛：

智能家居：在物联网设备上实现本地化的语音识别和智能控制。

移动应用：为应用添加实时的图像分析或自然语言处理能力，提高用户体验。

企业内部工具：用于数据分析和报告生成，提升工作效率。

隐私敏感项目：如医疗健康领域，确保患者数据的安全性。

2.13.0 版本更新说明：

模型库

这是 webUI 中第一个带有模型库的版本，您现在可以在 WebUI 中看到一个“模型”按钮，可以在 stablediffusion、llama3、tts、embedding 等之间选择模型。

Rerankers

我很高兴地介绍一个新的后端给 . 现在，LocalAI 实现了 Jina API 作为兼容层，您可以使用现有的 Jina 客户端并将它们指向 LocalAI 的地址。

Parler-tts

现在有一个可用于 tts 的新后端，可以直接从库中安装和配置模型。

Bug 修复

在使用 qwen-vl 时不使用 use_triton，由 @thiner 修复

在构建 GRPC 时，应遵守父构建参数中的并发设置，由 @cryptk 修复

修复发布管道中缺失的依赖项，由 @mudler 修复

从帮助文本文档中删除构建路径，由 @cryptk 修复

先前的 CLI 重做破坏了调试日志记录，由 @cryptk 修复

修复引入的回归，由 @mudler 修复

调整某些源名称以匹配其存储库的命名，由 @cryptk 修复

将 GRPC 缓存生成工作流移到其自己的并发组中，由 @cryptk 修复

设置 -1 作为令牌的最大默认值，由 @mudler 修复

旧后端的修复程序，由 @mudler 在 #2094max_tokens 中修复

修复 OpenVINO 模型加载中缺失的 TrustRemoteCode，由 @fakezeta 修复

为 diffsusers 工具包含 ocv 包，由 @jtwolfe 添加

精彩新功能

feat: 重构 kong cli，由 @cryptk 完成

feat: 在 nvidia 和 rocm 环境中添加 flash-attn，由 @golgeek 完成

feat: 在 vLLM 中使用 tokenizer.apply_chat_template()，由 @golgeek 完成

feat(gallery): 支持 ConfigURLs，由 @mudler 完成

fix: 不要将生成的文件提交到 git，由 @cryptk 修复

feat(parler-tts): 添加新后端，由 @mudler 完成

feat(grpc): 返回已消耗的令牌计数，并据此更新响应，由 @mudler 完成

feat(store): 添加 Golang 客户端，由 @mudler 完成

feat(functions): 支持无语法模型，并添加测试，由 @mudler 完成

refactor(template): 隔离并添加测试，由 @mudler 重构

feat: 使用 zerlog 进行 fiber 日志记录，并添加跟踪级别，由 @cryptk 完成

models(gallery): 添加画廊，由 @mudler 完成

在 vllm 设置项中添加 tensor_parallel_size 设置，由 @Taikono-Himazin 完成

Transformer 后端：实现 use_tokenizer_template 和 stop_prompts 选项，由 @fakezeta 完成

feat: Galleries UI，由 @mudler 完成

Transformers 后端：max_tokens 遵循 OpenAI API，由 @fakezeta 完成

修复 SonarQube 查找结果清理，由 @cryptk 完成

feat(models-ui): 轻微视觉增强，由 @mudler 完成

fix(gallery): 如果没有图标，则显示一个假图像，由 @mudler 修复

feat(rerankers): 添加新后端，支持 jina rerankers API，由 @mudler 完成