hiroblue’s LIFE LOG

🚀 Windows 11 Pro環境でDockerを導入し、Linux（できればDebian）環境でローカルLLM（大規模言語モデル）を使うための手順と関連技術について、丁寧にまとめて説明します。

1. Windows 11 ProでのDocker導入について

Docker Desktopのインストール
・ 公式DockerサイトからDocker Desktop for Windowsをダウンロードしてインストールします。
・ Windows 11でDocker Desktopを動かすには「WSL 2（Windows Subsystem for Linux 2）」が必要です。
・ WSL 2は仮想化基盤ですが、ここで重要なのがCPUが SLAT対応であることです。
　- SLAT（Second Level Address Translation）とは仮想化の処理を高速化する仕組みで、具体的にはIntelのEPTやAMDのRVI/NPTに相当します。
　- SLAT対応CPUでないとWSL 2環境を利用できません。
・ インストール中にBIOS/UEFIでハードウェア仮想化（Intel VT-xやAMD-V）を有効にしておく必要があります。

2. ローカルLLM環境（DebianなどLinux）をDockerで構築する流れ

WSL 2上のLinux環境を活用
・ Docker DesktopはWSL 2のLinux環境とシームレスに連携します。DebianやUbuntuなどのLinuxディストリビューションをWSL 2でインストール可能です。
・ そのLinux環境内にDockerコンテナとしてローカルLLMを構築する形が自然です。

LM Studioの概要とDocker利用
・ LM Studioはローカルで動く大規模言語モデルを簡単に試せるオープンソースツール。
・ 現在、LM Studioは公式のDockerイメージを使って手軽に環境構築ができます。

LM StudioのDocker導入基本手順
1. Docker Desktop（Compose含む）を用意する。
2. LM Studioのリポジトリをクローンして設定ファイルを必要に応じて編集。
3. docker-compose build でイメージビルド。
4. docker-compose up -d でコンテナ起動。
5. デフォルトでポート1234でAPIが稼働し、ローカルからアクセス可能。

3. Docker DesktopのAI機能（Docker AI、Model Runner）について

・ Docker DesktopにはAIモデルの管理や起動を効率化する Docker AI機能が搭載されています。
・ Model RunnerはAIモデルの実行基盤として機能し、ローカルのGPUやCPUリソースを活用して高速にAIを動作させることができます。
・ この機能を有効にすると、LM StudioなどのローカルLLMの性能が向上し、より快適に利用可能になります。

4. LM StudioとDifyをDocker Composeで同時起動して連携する例

目的
・ LM StudioをローカルのLLMサーバーとして動かし
・ Difyをフロントエンドとして利用し、LM Studio経由でLLMを活用する

Docker Composeファイル例

version: "3.8"

services:
  lmstudio:
    image: ghcr.io/lmstudio/lmstudio:latest
    container_name: lmstudio
    ports:
      - "1234:1234"
    volumes:
      - ./lmstudio-data:/app/data
    restart: unless-stopped

  dify:
    image: difyhq/dify:latest
    container_name: dify
    ports:
      - "3000:3000"
    environment:
      - LMSTUDIO_API_ENDPOINT=http://lmstudio:1234/v1
    depends_on:
      - lmstudio
    restart: unless-stopped

・ LM Studioはポート1234でAPIを公開します。
・ Difyはポート3000のWeb UIを持ち、LM StudioのAPIを利用するために環境変数でエンドポイントを指定します。・ Dockerの内部ネットワークで lmstudio コンテナ名で通信し連携します。

起動コマンド docker compose up -d

5. 使い方のイメージ

・ ブラウザで http://localhost:3000 にアクセスするとDifyの操作画面が開きます。
・ DifyがLM StudioのAPI（ http://lmstudio:1234/v1 ）に問い合わせをし、ローカルLLMの返答を取得し表示します。
・ LM StudioはDockerコンテナとして単独でLLMを動かし、API経由で他のアプリからアクセス可能な状態になっています。

これらを組み合わせることで、Windows 11 Pro環境にてDockerを活用し、DebianベースのLinuxコンテナ上で動作するローカルLLMをDifyのようなツールで手軽に操作できる安定した環境が実現できます。

もし詳しいコマンドや設定ファイルの編集ポイントなど知りたい場合はお知らせください。