0.1.33 版本更新说明:
模型:
Llama 3:Meta推出的新模型,是目前最强大的公开可用的大型语言模型(LLM)
Phi 3 Mini:微软推出的新模型,拥有38亿参数,轻量级,技术领先且开源。
Dolphin Llama 3:未经审查的Dolphin模型,由Eric Hartford训练,基于Llama 3,具备多种指令、对话和编码技能。
Qwen 110B:首个参数规模超过1000亿的Qwen模型,在评估中表现突出。
更新内容:
修复了模型不终止的问题,避免了API挂起的情况。
修复了在Apple Silicon Mac上的一系列内存溢出错误。
修复了运行Mixtral架构模型时的内存溢出错误。
实验性并发功能
Ollama即将推出新的并发功能。这些功能现已可用:
- OLLAMA_NUM_PARALLEL:允许单个模型同时处理多个请求
- OLLAMA_MAX_LOADED_MODELS:允许同时加载多个模型
要启用这些功能,请设置相应的环境变量。
OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve