もう少し詳しく
テキストだけでなく、画像や音声などを入力や出力に利用します。扱える組み合わせはモデルによって異なり、画像を読めることと画像を作れることは別の能力です。
たとえば、こんな場面で
商品の写真を見せながら、写っている部品の名前を文章で説明してもらいます。
覚えておきたいこと
対応する入力形式・出力形式を確認して使う必要があります。
Multimodal
文章・画像・音声など、複数の種類の情報を扱うこと。
テキストだけでなく、画像や音声などを入力や出力に利用します。扱える組み合わせはモデルによって異なり、画像を読めることと画像を作れることは別の能力です。
商品の写真を見せながら、写っている部品の名前を文章で説明してもらいます。
対応する入力形式・出力形式を確認して使う必要があります。