楽天ブログアクセス用 2026.07.27
テーマ： 百聞は一見に如かず。今日のデジカメ写真
カテゴリ： デジタル
引用サイト：ハルシネーションとは？ こちら
AIが出す間違った答えは、「 ハルシネーション・幻覚 」と呼ばれる。おおまかに原因には4通りが存在する。
第1はAIが事前に学習していない事柄を訊かれた場合だ。答えを持っていないから、それらしくデッチアゲた答えめいたものを返してくる。もっともらしいだけに騙される。専門家の間での隠語は「多様体の間隙」という奴だ。
第2は、AIは次に最もつながる確率が高い言葉をつないで、答えを仕立てていくからだ。方向が狂うと、どんどん正答からそれていく。いわば暴走だ。「連結経路の慣性」がそれだ。想像を絶するとんでもない答えが出てくるのは、そのためだ。
第3は「枠とデータのミスマッチ（不適合）」だ。ユーザーが枠を一方的に絞って質問した場合、その範囲に答えにするデータが存在しないと、第1の場合と同じ結果になってしまう。
第4は「大確率による小確率の崩壊」だ。決まり文句のように、つながる確率が非常に大きい言葉の影響を受け、つながる確率が低い言葉とはつながり難くなってしまう。小確率の正答が崩壊する。
・・・・
ハルシネーションは、今年の6月に発せられた数学者の国際的組織による「ライデン宣言」でも、「不可避的な非信頼性問題」として取り上げ位置づけている。
引用サイト： こちら
関連サイト：ハルシネーションの仕組みと対策 こちら
言葉の森：次トークン予測
図１：LLMにおける文章作成のプロセス
引用サイト：大規模言語モデル（LLM）の核となる「次のトークン予測」の仕組み こちら
言葉の森：トークン 引用サイト： こちら
トークン（Token）とは、もともと「象徴」「しるし」「証拠」「引換券」という意味を持つ英単語です。
ITの世界では、主に何らかの情報や権限を一時的に代用するデータを指します。
つまり、「本人である」「アクセスが許可されている」「データが正しい」ことを証明するデジタルな鍵や証明書のような存在です。
・・・・
トークンの基本的な役割
トークンの役割を一言で表すと、次のようになります。
例えば、以下のような場合で使われます。
AI・言語モデルのトークン（文章を処理する単位を表すAIトークン）
Webサービスのログイン認証（アクセストークン、リフレッシュトークンなど）
API連携（外部サービスへのアクセス許可）
セキュリティ（ワンタイムパスワードや物理トークン）
ちょっと寄り道：SANAE TOKEN(サナエトークン)とは？ こちら
お気に入りの記事を「いいね！」で応援しよう
【毎日開催】
15記事にいいね！で1ポイント
© Rakuten Group, Inc.
