情報開発と利活用

令和維新

2004年4月から企業を離れ、コンサルタントや情報起業を試行しながら、失われた２０年を取り戻し、日本再生をめざす私の歩みをみて一人でも多くの後継者が出てくれることを祈りつつ友達から紹介されたこのホームページの更新を続け、これまでの活動の記録と今やビッグデータ、AI,、IOT,ブロックチェーン、仮想通貨の時代になってしまいましたが、私の現状認識と関連技術を紹介していきたい。

フォローする

UX

(0)

オンライン

(0)

ソーシャルメデイア

(0)

開発

(0)

スマートマネー

(0)

流動性

(0)

教育訓練開発手法の紹介

Headline News

Shopping List

お買いものレビューがまだ書かれていません。

< 新しい記事

新着記事一覧(全7990件)

過去の記事 >

2024.12.28

RAGの構造化コンテンツの役割（The Role of Structured Content in RAG）

テーマ：人工知能(468)

カテゴリ：コンテンツ

The Role of Structured Content in RAG

RAGの構造化コンテンツの役割

(TL:DR—structured content is of paramount importance if you want to fine-tune your LLM with accurate and trusted content)(要約 - 正確で信頼できるコンテンツでLLMを微調整したい場合、構造化されたコンテンツは最も重要)

Marianne Calilhanna
マリアンナ・カリハンナ

May 3, 2024
2024年5月3日

Large language models (LLMs) like GPT-3 have shown remarkable capabilities in generating text on a wide range of topics. However, these models are not without limitations. A major challenge is ensuring that the information generated is accurate and up-to-date, especially for rapidly changing or highly specialized domains.
GPT-3のような大規模言語モデル(LLM)は、幅広いトピックに関するテキストを生成する優れた能力を示しています。ただし、これらのモデルには制限がないわけではありません。主な課題は、生成される情報が正確かつ最新であることを保証することです。特に、急速に変化するドメインや高度に専門化されたドメインの場合です。

Enter Retrieval Augmented Generation (RAG)—RAG is a technique that allows LLMs to incorporate external information from a corpus of documents during the text generation process. By augmenting the model's knowledge with relevant information from a curated set of sources, RAG can potentially improve the accuracy, timeliness, and factual grounding of LLM output.
検索拡張生成（RAG）の登場- RAG は、LLM がテキスト生成プロセス中にドキュメントのコーパスから外部情報を組み込むことを可能にする手法です。RAGは、キュレーションされた一連の情報源からの関連情報でモデルの知識を補強することで、LLM出力の精度、適時性、事実に基づく根拠を改善できる可能性があります。

RAGは、その中核となるプロンプトエンジニアリングの一形態であり、LLMに供給されるプロンプトは、外部ソースからの関連する文脈を含むように慎重に作成されています。この文脈は、ドキュメントからの抜粋、構造化データ、さらには他の LLM やシステムの出力など、さまざまな形式をとることができます。

Implementing RAG with Structured Content
構造化コンテンツを使用したRAGの実装
While the concept of RAG is straightforward, implementing it effectively with structured content requires careful consideration and planning. Following are some key steps and considerations:
RAGの概念は単純ですが、構造化されたコンテンツで効果的に実装するには、慎重な検討と計画が必要です。次に、いくつかの主要な手順と考慮事項を示します。

Identify Relevant Structured Content/Data Sources
関連する構造化コンテンツ/データ源の特定
The first step is to identify the structured content or data sources that are most relevant and valuable. These sources could include internal databases, knowledge graphs, CMSs, or even external structured content from trusted third-party providers.
最初のステップは、最も関連性が高く価値のある構造化されたコンテンツまたはデータ源を特定することです。これらの情報源には、内部データベース、ナレッジグラフ、CMS、さらには信頼できるサードパーティプロバイダーからの外部構造化コンテンツが含まれる場合があります。

It's important to evaluate the quality, accuracy, and completeness of these sources and their ability to provide up-to-date and relevant information for the intended use case.
これらのソースの品質、正確性、完全性、および目的のユースケースに最新かつ関連性のある情報を提供する能力を評価することが重要です。

――――――――――――――――――続く――――――――――――――――――

下記URLから続きを読むことができます。また、図付きの元のレイアウトで読める原文ファイルも入手可能。今日から1か月間、ファイルは割引価格200円で取り寄せられますが、その後、600円に値上げします。
https://note.com/tongansunmi/n/n6458aaff03ef?sub_rt=share_pb

==============================
インターネット・コンピュータランキング ==============================
ネットサービスランキング

==============================