Continue 让您能够在集成开发环境(IDE)中打造个人专属的 AI 代码助手。利用开源的 VS Code 和 JetBrains 插件,让开发者始终保持高效工作状态。
引言
Continue 让你可以轻松地在 Visual Studio Code 和 JetBrains 中创建自己的编程助手,它们基于开源的大语言模型(LLMs)。这一切既可以完全在你的笔记本电脑上运行,也可以通过在服务器上部署 Ollama 来远程提供代码补全和聊天体验,具体取决于你的需求。
开始之前,你需要安装:
- Continue 的 VS Code 或 JetBrains 版本
- Ollama 的 macOS、Linux 或 Windows 版本
下载好这些软件后,我们建议你尝试以下几点:
尝试 Mistral AI 的 Codestral 22B 模型,用于代码自动补全和聊天
目前,Codestral 是我们最喜欢的模型,因为它能同时进行代码自动补全和聊天。这个模型展示了大语言模型在编程任务上的进步。不过,由于它拥有 22B 参数且仅限于非商业用途的许可,因此需要大量的 VRAM,可能并不适合日常本地使用。
1. 在终端中运行以下命令下载并运行 Codestral:
ollama run codestral
2. 点击 Continue 右下角的设置图标,打开你的 config.json 文件并添加如下配置:
{
"models": [
{
"title": "Codestral",
"provider": "ollama",
"model": "codestral"
}
],
"tabAutocompleteModel": {
"title": "Codestral",
"provider": "ollama",
"model": "codestral"
}
}
尝试使用 DeepSeek Coder 6.7B 进行代码自动补全和使用 Llama 3 8B 进行聊天
根据你的电脑上的 VRAM 大小,你可能可以利用 Ollama 同时运行多个模型和处理多个并发请求的能力,使用 DeepSeek Coder 6.7B 进行代码自动补全和使用 Llama 3 8B 进行聊天。如果你的电脑无法同时处理这两个任务,那么可以分别尝试它们,决定你是更倾向于本地代码自动补全还是本地聊天体验。之后,你可以为另一种体验使用远程托管或 SaaS 模型。
1. 在终端中运行以下命令下载并运行 DeepSeek Coder 6.7B:
ollama run deepseek-coder:6.7b-base
2. 在另一个终端窗口中运行以下命令下载并运行 Llama 3 8B:
ollama run llama3:8b
3. 点击 Continue 右下角的设置图标,打开你的 config.json 文件并添加如下配置:
{
"models": [
{
"title": "Llama 3 8B",
"provider": "ollama",
"model": "llama3:8b"
}
],
"tabAutocompleteModel": {
"title": "DeepSeek Coder 6.7B",
"provider": "ollama",
"model": "deepseek-coder:6.7b-base"
}
}
使用 Ollama 的 nomic-embed-text 嵌入技术来增强 @codebase 功能
Continue 自带了一个 @codebase 上下文提供者,可以让你自动检索代码库中最相关的代码片段。假设你已经设置了一个聊天模型(如 Codestral 或 Llama 3),你可以通过使用 Ollama 和 LanceDB 的嵌入技术保持整个体验的本地化。目前,我们推荐使用 nomic-embed-text 嵌入技术。
1. 在终端中运行以下命令下载 nomic-embed-text:
ollama pull nomic-embed-text
2. 点击 Continue 右下角的设置图标,打开你的 config.json 文件并添加如下配置:
{
"embeddingsProvider": {
"provider": "ollama",
"model": "nomic-embed-text"
}
}
3. 根据你的代码库的大小,索引可能需要一些时间,然后你可以提出问题,重要的代码库部分会自动被找到并用于回答中(例如:“@codebase Llama 3 默认的上下文长度是多少?”)
在你的开发数据上微调 StarCoder 2,并将其推送到 Ollama 模型库
当你使用 Continue 时,你会自动生成关于如何构建软件的数据。这些开发数据默认保存在你本地机器上的 .continue/dev_data 文件夹中。结合最终提交的代码,这些数据可以用来改进你或你的团队使用的大语言模型(如果你允许的话)。例如,你可以利用团队接受的代码自动补全建议来微调像 StarCoder 2 这样的模型,以获得更好的建议。
- 提取并加载“接受的标签建议”到 Hugging Face 数据集
- 使用 Hugging Face 监督式微调训练器来微调 StarCoder 2
- 将模型推送到 Ollama 模型库,供你的团队使用,并观察接受率的变化
通过使用 @docs 向 Continue 提出问题来了解更多关于 Ollama 的信息
Continue 还内置了一个 @docs 上下文提供者,可以让你索引和检索任何文档站点的片段。假设你已经设置了一个聊天模型(如 Codestral 或 Llama 3),你可以通过提供 GitHub 上 Ollama README 的链接并提问,保持整个体验的本地化,以此作为上下文来学习更多。
- 在聊天侧边栏输入 @docs,选择“添加文档”,复制并粘贴 “https://github.com/ollama/ollama” 到 URL 字段,并在标题字段输入 “Ollama”
- 它会快速索引 Ollama README,然后你可以提出问题,重要部分会自动被找到并用于回答中(例如:“@Ollama 我该如何运行 Llama 3?”)
资源链接:
- continue:https://www.continue.dev/