くぴんのブログ

プロフィール

くぴん７４

フォローする

フリーページ

家電

(1)

バックナンバー

2025年11月
2025年10月
2025年09月

2025年08月
2025年07月

お気に入りブログ

楽天ラッキーくじ更…

New! じゃっかすさん

2025年11月のまとめ。 New! みきまるファンドさん

DOW 47427.12 +314.6… どらりん0206さん

まさかの Maryu21さん

自分を愛することは… まりあのじいじさん

ニューストピックス

キーワードサーチ

▼キーワード検索

< 新しい記事

新着記事一覧(全5115件)

過去の記事 >

2024年09月30日

以下の動画を参考にLlamaをUbuntu 24.04LTS環境にダウンロードして試してみた。
https://youtu.be/yIUODro9BsI?si=Mgwp1EGBOr0wadd5

ローカル環境では、以下のメリットがある。
・外部に情報を出す心配がない
・自分用(自社用)にカスタマイズ可能
・RAG (Retrieval Augmented Generation)の作成が可能

以下、端末の記録
-----
$ sudo snap install ollama
略

$ ollama pull llama3.2
pulling manifest
pulling dde5aa3fc5ff... 100% ▕████████████████▏ 2.0 GB
pulling 966de95ca8a6... 100% ▕████████████████▏ 1.4 KB
pulling fcc5a6bec9da... 100% ▕████████████████▏ 7.7 KB
pulling a70ff7e570d9... 100% ▕████████████████▏ 6.0 KB
pulling 56bb8bd477a5... 100% ▕████████████████▏ 96 B
pulling 34bb5ab01051... 100% ▕████████████████▏ 561 B
verifying sha256 digest
writing manifest
removing any unused layers

$ ollama run llama3.2
Error: llama runner process no longer running: -1
$ ollama run llama3.2
Error: llama runner process no longer running: -1

llama3.2ではなぜかエラーとなったので、llama2を試した。

pulling manifest
pulling 8934d96d3f08... 100% ▕████████████████▏ 3.8 GB
pulling 8c17c2ebb0ea... 100% ▕████████████████▏ 7.0 KB
pulling 7c23fb36d801... 100% ▕████████████████▏ 4.8 KB
pulling 2e0493f67d0c... 100% ▕████████████████▏ 59 B
pulling fa304d675061... 100% ▕████████████████▏ 91 B
pulling 42ba7f8a01dd... 100% ▕████████████████▏ 557 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> who are you?

I am LLaMA, an AI assistant developed by Meta AI that can understand and
respond to human input in a conversational manner. I am trained on a
massive dataset of text from the internet and can generate human-like
responses to a wide range of topics and questions. I can be used to create
chatbots, virtual assistants, and other applications that require natural
language understanding and generation capabilities.

>>> Send a message (/? for help)

こちらはひとまず動いたが、GPUがないため、応答がかなり遅かった。
ローカルで実用的に動かすには、GPUを搭載したそれなりのPCが必要だ。
それにしても、お手軽にLLMをローカルにダウンロード&インストールして、動かせることが確認できた。