背景

内网离线开发
开发的一般是大数据组件相关的内容
有部分源码
由于是华为全套大数据组件， 外网没有环境，无法在外网开发

期望

把源码或者其他相关代码扔到 ai 里，
写代码的时候给我提醒补全
用 idea 和 vscode

有没有相关的工具可以推荐一下。

昨天刚看到一个站内人的项目： github.com/TabbyML/tabby 模型下载好后应该可以离线使用

ollama 跑一个？

ollama+continue+openwebui

本机最大也就跑个 32b 的模型，跟在线 api 效果差得多

idea2024 不是自带吗？就是能力一般就是了

今年不好说 嘿嘿

Ollama + continue.
话说 deepseek v3 已经支持 Ollama 了。

vscode server
配置 copilot 走本地网络
{
"remote.extensionKind": {
"GitHub.copilot": [
"ui"
],
"GitHub.copilot-chat": ["ui"],

"pub.name": [
"ui"
]
}
}

有模型推荐么，现在用 starcoder2+qwen2.5

lsp 不是离线的吗

离线了还怎么赚你钱

话说 671b 模型跑起来需要什么配置的机器啊😧

6 个 64g mac mini 或 3 个 m1u 128g mac studio 或 2 个 m2u 192 mac studio 或 480g a800+显卡 或者 8 48g 4090

至少要 7 万+的预算

8 * 48g 4090 何止 7W+ 😂

嘛，最低我是按照 6*64g macmini 算的

ollama + codegeex + visual code

本机跑不动的，能跑动的不是智能是智障

如果有实力，可以自建机房

lmstudio

或许你可以研究研究内网穿透😂

ollama

推荐 tabby ，可以本地代码问答和，如果内存在 16GB 或以下，建议用 1.5b 的模型，再大速度就很慢了。

如果使用 macOS ，直接用 brew install tabbyml/tabby/tabby ，然后访问后台注册账户，在设置界面拿到 token ，然后在 vscode 中装上 tabby 扩展，填入本地 tabby 服务地址和 token

如果使用 ollama 做后端，可以参考下面配置：

下面是一个使用 qwen2.5-coder:7b 的参考配置，你需要先用 ollama pull qwen2.5-coder:7b-base 和 qwen2.5-coder:7b ，前者适合做补全，后者适合做问答。

~/.tabby/config.toml

＃ Completion model
[model.completion.http]
kind = "ollama/completion"
model_name = "qwen2.5-coder:7b-base"
api_endpoint = " localhost:11434"
＃ prompt_template 不同的模型配置可能不一样，需要自己注意一下
prompt_template = "<|fim_prefix|>{prefix}<|fim_suffix|>{suffix}<|fim_middle|>"

＃ Embedding model
[model.embedding.http]
kind = "ollama/embedding"
model_name = "bge-m3:latest"
api_endpoint = " localhost:11434"

＃ Chat model
[model.chat.http]
kind = "openai/chat"
model_name = "qwen2.5-coder:7b"
api_endpoint = " localhost:11434/v1"

同问，为了代码安全公司想要本地部署 ai 模型服务来辅助开发，目前就在找这种类似的解决方案，

Idea 最新版，不是可以补全吗

他们不都有私有化部署方案吗？一年几十万。

docker 运行 openWebUI + ollama ，然后 vscode + continue 插件，离线写代码

内网都是隔离的，没有外网，怎么穿透

＃20 给叔叔网 内网穿透 你真想得到啊