How to Use a Local Ollama Model in VS Code Insiders

Шаг 1. Установите Ollama и загрузите модель

Установите Ollama и загрузите модель Qwen3.5. Например:

ollama pull qwen3.5:latest

Проверьте, что модель доступна:

ollama list

Ollama предоставляет OpenAI-compatible API, который можно использовать для подключения модели к VS Code.

Шаг 2. Проверьте доступность API

По умолчанию Ollama предоставляет API на порту 11434.

Если VS Code запущен непосредственно в Windows, адрес API будет таким:

http://localhost:11434/v1/chat/completions

Если вы используете VS Code внутри Dev Container, необходимо учитывать, что localhost внутри контейнера указывает на сам контейнер, а не на Windows-хост.

В этом случае используйте:

http://host.docker.internal:11434/v1/chat/completions

Проверить доступность Ollama из терминала Dev Container можно командой:

curl http://host.docker.internal:11434/v1/models

В ответ должен прийти список моделей, доступных в Ollama.

Шаг 3. Добавьте модель в VS Code Insiders

Откройте файл конфигурации:

%APPDATA%\Code - Insiders\User\chatLanguageModels.json

Добавьте следующую конфигурацию:

[
  {
    "name": "Ollama",
    "vendor": "customendpoint",
    "apiType": "chat-completions",
    "models": [
      {
        "id": "qwen3.5:latest",
        "name": "Qwen 3.5",
        "url": "http://host.docker.internal:11434/v1/chat/completions",
        "toolCalling": true,
        "maxInputTokens": 28672,
        "maxOutputTokens": 4096
      }
    ]
  }
]

В этом примере используется host.docker.internal, поскольку VS Code работает с проектом внутри Dev Container. Если VS Code и Ollama работают непосредственно на Windows, замените URL на http://localhost:11434/v1/chat/completions.

Параметры maxInputTokens и maxOutputTokens задают лимиты токенов, используемые VS Code при работе с моделью. Их следует согласовать с контекстным окном модели и доступной памятью.

Обратите внимание на параметр toolCalling. Он позволяет VS Code использовать вызовы инструментов, поддерживаемые моделью, например при работе с файлами.

Шаг 4. Установите API key

После сохранения конфигурации откройте палитру команд сочетанием Ctrl+Shift+P и выполните команду:

Chat: Manage Language Models

Найдите добавленную модель Qwen 3.5 и выберите Update API Key.

Введите любое значение, например:

ollama

Локальный сервер Ollama обычно не требует API-ключа для аутентификации. Однако в данной конфигурации VS Code ожидает его, поэтому достаточно указать произвольное значение.

Добавлять свойство apiKey в JSON вручную не обязательно. VS Code сформирует необходимую запись при настройке ключа. Она будет выглядеть примерно так:

"apiKey": "${input:chat.lm.secret.ollama}"

Шаг 5. Выберите модель и проверьте работу

Откройте Chat в VS Code Insiders и выберите модель Qwen 3.5.

Для начала можно попросить модель объяснить код:

Explain what this PHP function does.

Затем проверьте работу с файлами:

Create hello.php with a PHP Hello World example.

Если всё настроено правильно и VS Code предоставляет модели соответствующие инструменты, она сможет инициировать создание файла через вызов инструмента, а не просто вывести JSON с описанием операции в чат.

Важно учитывать, что поддержка tool calling зависит от модели. Например, в моих тестах qwen3.5:latest возвращала структурированный tool_calls через OpenAI-compatible API Ollama, тогда как qwen2.5-coder:7b в аналогичном тесте выводила описание вызова как обычный текст.

Шаг 6. Проверьте использование GPU

Если вы запускаете Ollama на компьютере с ограниченным объёмом видеопамяти, размер модели и контекстное окно могут существенно влиять на производительность.

Проверить, как Ollama распределила модель между процессором и видеокартой, можно командой:

ollama ps

В столбце PROCESSOR будет показано распределение вычислений между CPU и GPU.