Ollama를 이용한 로컬 코딩 어시스턴트 모델 (qwen2.5)

OS: Ubuntu24.04

CPU: Intel(R) Core(TM) Ultra 9 285K
GPU: rtx5090 2장
Memory: DDR5 128GB

 

 

Ollama 설치

curl -fsSL https://ollama.com/install.sh | sh

설치 확인:

ollama --version

모델 다운로드

ollama pull qwen2.5-coder:32b-instruct-q8_0

다운로드 완료 후 테스트:

ollama run qwen2.5-coder:32b-instruct-q8_0 "hello"

Ollama 서버 외부 접속 허용

기본적으로 localhost만 허용이라 설정 변경 필요:

sudo systemctl edit ollama

에디터가 열리면 아래 내용 입력:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

저장 후 재시작:

sudo systemctl daemon-reload
sudo systemctl restart ollama

확인:

curl http://localhost:11434/api/tags

 

확인:

sudo netstat -tlnp | grep 11434

tcp6       0      0 :::11434                :::*                    LISTEN      132019/ollama

 

아래와 같이 여전히 127.0.0.1 로컬 호스트가 나온다면 적용이 안된겁니다. 다시 에디터로 수정하거나 아래와 같이 직접 파일을 만들어 수정합니다.

tcp        0      0 127.0.0.1:11434         0.0.0.0:*               LISTEN      130535/ollama

 

 

직접 파일을 만들어 수정합니다.

sudo mkdir -p /etc/systemd/system/ollama.service.d

sudo tee /etc/systemd/system/ollama.service.d/override.conf << EOF
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
EOF

sudo systemctl daemon-reload
sudo systemctl restart ollama

VS Code에 Continue 확장 설치

1. VS Code 열기
2. 확장(Extensions) 탭에서 Continue 검색
3. 설치

Continue 설정

VS Code에서 Ctrl+Shift+P → Continue: Open Config 또는 직접 파일 열기:

# 설정 파일 위치
~/.continue/config.yaml

아래 내용으로 수정:

name: My Assistant
version: 1.0.0

models:
  - name: Qwen2.5 Coder 32B
    provider: ollama
    model: qwen2.5-coder:32b-instruct-q8_0
    apiBase: http://5090서버IP:11434

tabAutocompleteModel:
  name: Qwen2.5 Coder 32B
  provider: ollama
  model: qwen2.5-coder:32b-instruct-q8_0
  apiBase: http://5090서버IP:11434

사용법

• Ctrl+L: 채팅창 열기 (코드 질문, 설명 요청)
• Ctrl+I: 인라인 편집 (선택한 코드 수정)
• 자동완성: 코딩 중 자동으로 제안

---