AI
トークンとコンテキストウィンドウとは
AIが一度に覚えていられる文章の量の限界。
定義
「トークン」はAIが文章を読み書きするときの最小単位(単語やその一部)のこと。「コンテキストウィンドウ」は、AIが一度に読み書きできるトークンの上限のこと。
なぜ必要か
会話や資料が長くなると、AIが最初の方の内容を「忘れた」ように見える答えを返すことがある。これはコンテキストウィンドウの上限を超えて、古い内容が読めなくなっているために起こる。仕組みを知っておくと、AIの答えが的外れになったときの原因を判断しやすくなる。
現場での使い方
長い資料をAIに読み込ませて質問するときは、上限を超えていないか、重要な情報が上限内に収まっているかを意識する。
よくある失敗
長い会話を続けた結果、AIが最初の指示や設定を忘れたかのような答えを返すようになり、原因がわからず混乱してしまう。
AIで活用する方法
長い資料を扱う場合、要点を先にAIにまとめさせてから、そのまとめをもとに質問する、という2段階の使い方をする。
実例
世の中の例
長い議事録をそのままAIに読み込ませて途中から質問すると、最初の方の内容を踏まえない答えが返ってくることがあり、これがコンテキストウィンドウの上限によるものだと知られている。