生成AIの弱点として「ハルシネーション」（不完全な情報で人間がやりがちな「思い込み」や「勘違い」に似ています）が知られていますが、近ごろ「strawberry問題」が新たな弱点として話題になっています[1]。これは、生成AIには” strawberry”という単語の中に含まれている”r”の数が正しく数えられないというものですが、生成AIのベースとなっている深層学習モデル（Transformer）のトークン化のメカニズムによるものなので、克服するにはひと工夫必要になりそうです。当初この問題を指摘されたChatGPTについては、2024-11-01時点で問題が解消しています。
英語については改善の方向のようですが、日本語ではどうなのだろうかと思い立ち、「すもももももももものうち」の「も」の数を訊いてみました。正しくは８つなのですが、ChatGPTでは７つ、Geminiでは６つという回答でした。日本語に特化したLLMが百家争鳴状態ですので、今後の改善に期待したいところですね。
図 1 ChatGPTの回答（2024-11-01）
図 2 Geminiの回答（2024-11-01）
[1] https://venturebeat.com/ai/the-strawberrry-problem-how-to-overcome-ais-limitations/