字数 305,阅读大约需 2 分钟
Ollama模型超时,配置解决问题
背景
在使用Ollama+本地模型的过程中,经常会遇到加载模型超时执行等问题,参数 OLLAMA_LOAD_TIMEOUT 是用于控制 Ollama(一个用于本地运行大型语言模型的工具)在加载模型时的超时时间。
该参数定义了 Ollama 在加载模型时等待的最长时间(单位:秒)。如果模型未能在指定时间内完成加载,Ollama 会终止操作并返回超时错误。
问题
在使用Kilo Code或者是Root Cline,以及其他模型操作,会遇到超时失败的情况,表现为:大模型对大代码仓库向量化超时,导致代码向量化失败,或者是模型输出中断等现象,这个时候就需要调整参数OLLAMA_LOAD_TIMEOUT!
限免的示例展示的在使用Kilo Code对大代码仓库做向量索引,存储到Qdrant的过程,经常会遇到索引超时,从而写入失败的问题。
解决
export OLLAMA_LOAD_TIMEOUT=120000
经过参数调整,这个时候,既可以对代码仓库做完成的向量化存储了;
在Qdrant Graph查看
评论区