今回のセッションでは、フレーズや文の意味について取り上げます。GPT-4は膨大な情報を持っており、語の意味に関しても豊富な知識を保持しています。例えば、「日本語の「犬」と英語の「dog」は同じ意味ですが、その分散表現は同じものになるのでしょうか？」や「語だけでなく、フレーズや文も分散表現を持つのでしょうか？」、「語と文の分散表現のベクトルの次元は同じですか？」、「「黒い犬」と「black dog」というフレーズの分散表現は同じものになるのでしょうか？」などの疑問があります。
また、二つの語を組み合わせてフレーズを作る場合、言語ごとに文法的なルールが存在します。日本語では「黒い犬」のように「形容詞＋名詞」の順序ですが、フランス語では "chien noir"のように「名詞＋形容詞」の順序となります。これらのルールを守らない場合、その言語の話者はすぐに違和感を感じるでしょう。
今回紹介したいくつかのサンプルでは、GPT-4が与えられたフレーズを品詞に分解し、正しいかどうかを判断する能力を持っているように見えます。しかし、大規模言語モデルは品詞情報を明示的に把握することはできず、単語の品詞識別は訓練データのパターンを利用して行われています。AIの領域では、「AIは〜ができるように見える」と「AIは実際に〜ができる」という違いがありますので、注意が必要です。
Bing AIの説明
GPT-4とは、OpenAIが開発したテキスト生成ディープラーニングの機能を備えたマルチモーダルな大規模言語モデルです。GPT-4は、GPT-3の上位モデルであり、出力精度が高く、誤字脱字が大幅に減ったことや、複数の指示を含む応用的なプロンプトの意図にも対応できるようになったことが特徴です。また、GPT-4は、テキスト情報のみならず、画像や音声などのフォーマットも入力データとして処理できるように進化しています。ただし、現状はテキストの入力に対してテキストで出力することしかできません。
https://maruyama097.blogspot.com/2023/06/blog-post.html
