PR
Comments
Category
Keyword Search
Freepage List
Shopping List
6 Reasons to train your Large Language Models (LLM) with structured content
構造化コンテンツで大規模言語モデル
(LLM)
を訓練すべき
6
つの理由
Alex Abey
アレックス・アベイ
16 Jun 2023
2023年6月16日
At this point there is no question that LLMs will radically change the way enterprises deliver content to employees, customers, partners, and regulators. While it’s clear this change is coming, it’s less clear what this means for how enterprises create and manage their content. A particular question I’m hearing a lot these days is whether enterprises still need to invest in structuring and enriching their content, or whether LLMs can generate satisfactory results from unstructured and un-enriched text? After all, the base models from OpenAI, Anthropic and others do a pretty amazing job considering they are trained on raw text and don’t explicitly consider markup such as HTML or XML tags at all during the initial training process.
現時点で、
LLM
は、企業が従業員、顧客、パートナー、規制当局にコンテンツを提供する方法を根本的に変えることになることに疑問の余地はありません。この変化がやってくることは明らかですが、これが企業のコンテンツの作成と管理の方法に何を意味するかはあまり明らかではありません。最近特によく聞く質問は、企業は依然としてコンテンツの構造化と充実化に投資する必要があるのか、それとも
LLM
は非構造化および充実していないテキストから満足のいく結果を生み出すことができるのか、というものです。結局のところ、
OpenAI
、
Anthropic
などの基本モデルは、生のテキストで訓練され、初期訓練プロセス中に
HTML
タグや
XML
タグなどのマークアップを明示的にまったく考慮していないことを考えると、かなり素晴らしい仕事はします。
My answer to this question is that investing in structuring and enriching your enterprise content turbocharges the results you can deliver via an enterprise LLM. It’s not an either/or question. Structured content enables LLMs to deliver on their promise.
この質問に対する私の答えは、エンタープライズ
コンテンツの構築と強化に投資することで、エンタープライズ
LLM
を通じて提供できる結果が大幅に向上するということです。それはどちらか一方の質問ではありません。構造化コンテンツにより、
LLM
は約束を果たすことができます。
LLMs suffer from a GIGO (garbage-in garbage-out) problem. They learn patterns and associations from the data they are trained on. If the training data is flawed, contains biases, inaccuracies, or includes low-quality content, the model will learn and replicate those flaws in its responses. LLMs don't have inherent knowledge or understanding. They rely on the statistical patterns present in the data they were trained on.
LLM
は
GIGO (
ごみを入れれば、ごみが出てくる
)
問題に悩まされています。彼らは、訓練されたデータからパターンと関連性を学習します。訓練データに欠陥があるか、バイアスや不正確さが含まれているか、低品質のコンテンツが含まれている場合、モデルはそれらの欠陥を学習し、応答で再現します。
LLM
には固有の知識や理解がありません。彼らは、訓練に基づいてデータに存在する統計パターンに依存します。
Why does this matter in an enterprise knowledge management scenario? Well, the two initial objections to the use of LLMs in the enterprise centered on data protection and accuracy. Let’s look at each of these.
企業のナレッジ
マネジメント
シナリオにおいて、これがなぜ重要なのでしょうか
?
そうですね、企業内での
LLM
の使用に対する最初の
2
つの反対意見は、データ保護と正確性を中心にしていました。それぞれを見てみましょう。
It became evident almost immediately that the issue of protecting sensitive enterprise data would get solved quickly. Today there are approaches like Amazon’s Bedrock service and Microsoft’s Azure OpenAI Services that solve this problem in their private clouds. Enterprises can also license pre-trained foundation or base models to run on-premises if desired, or experiment with open source. Data does not have to leave your enterprise perimeter.
企業の機密データの保護の課題はすぐに解決されることがほぼすぐに明らかになりました。現在、
Amazon
の
Bedrock
サービスや
Microsoft
の
Azure OpenAI
サービスなど、私的クラウドでこの問題を解決するアプローチが存在します。企業は、必要に応じて、事前訓練された基盤モデルまたは基本モデルのライセンスを取得して、オンプレミスで実行したり、オープンソースを実験したりすることもできます。データは企業の境界を離れる必要はありません。
For enterprises, it’s the accuracy problem that is more vexing. The tolerance for possible hallucination is much lower in an enterprise knowledge management scenario than in consumer use cases. Explaining to a customer or regulator that the false data your team provided was fabricated by an LLM is not going to fly. This is where GIGO becomes a concern, and where structuring, enriching, and curating enterprise data becomes vital.
企業にとって、より厄介なのは精度の問題です。企業のナレッジ管理シナリオでは、消費者のユースケースよりも幻覚の可能性に対する許容度がはるかに低くなります。顧客または規制当局に、チームが提供した虚偽のデータは
LLM
によって捏造されたものであることを説明しても、通用しません。ここで
GIGO
が懸念され、企業データの構造化、充実化、キュレーションが重要になります。
インターネット・コンピュータランキング
==============================
ネットサービスランキング
==============================
【ふるさと納税】コカ・コーラ 爽健美茶 2L 6本 または 12本 | コカコーラ 茶 お茶 おちゃ ペットボトル PET 飲料 飲み物 ドリンク 人気 おすすめ 送料無料 2リットル お取り寄せ そうけんびちゃ 和歌山県 海南市
価格:5,000円~(税込、送料無料) (2024/2/1時点)
【総合ランキング1位】アルティム8∞ クレンジング オイル ベストセラーキット / メイク落とし 化粧落とし リムーバー しっとり ダブル洗顔不要 / shu uemura シュウウエムラ 正規品 送料無料 / シュウ 公式 公式ショップ
価格:14,850円(税込、送料別) (2024/2/1時点)
バレンタイン スイーツ リンツ Lindt チョコレート バレンタイン限定 リンドール テイスティングセット ショッピングバッグ付 送料無料 |ギフト お菓子 チョコ 洋菓子 詰め合わせ 個包装 プチギフト 誕生日 2024 義理 本命 ばらまき
価格:2,980円(税込、送料無料) (2024/2/1時点)
【ポイント10倍】【送料無料】【10/13(金)全国発売】【2023 ホリデーコレクション】エスティ ローダー メークアップ コレクション 2023【ホリディコレクション コフレ 】 / ギフト【ポイント10倍 1日00:00〜23:59】
価格:18,700円(税込、送料無料) (2024/2/1時点)
先端技術情報2020916 2024.09.16
先端技術情報2020915 2024.09.15
先端技術情報2020914 2024.09.14