ベトナム現地から生の情報を毎日発信！
ベトナム企業、経済ニュースの「ベトナム株・経済情報」

　不動産開発を中核とする民間複合企業ビングループ[VIC](Vingroup)傘下の非営利大学「ビン・ユニ(VinUni)」の人工知能(AI)研究センターは、ベトナム語に対応した大規模言語モデル(LLM)の能力を評価するベンチマークツール「V-Bench」を公開した。このツールは非営利目的で開発され、無料で提供されている。

　V-Benchは、国内外で活躍する18人のベトナム人AI専門家からなる科学評議会の協力を得て構築された。4万件以上の質問とタスクで構成されるデータセットは、現在、国内で最も包括的なものとされる。学術的な知識の評価にとどまらず、ベトナム特有の文化や言語に対する理解度を詳細に評価することを目的としている。

　評価項目は大きく2つのカテゴリーに分かれ、5つの専門分野で構成されている。具体的には、◇風習や歴史といった暗黙の文化、◇北部・中部・南部の方言などの地域性、◇国家情報セキュリティとデジタル主権の保護、◇教育や医療分野における実践的応用、◇AIが自律的に計画を立て、ツールを使用するエージェンティック能力の5つだ。

　現在、V-Benchの専用ウェブサイト＜https://vbench.ai/＞上では、15種類の代表的なLLMの評価結果がすでに公開されている。将来的には、画像や音声を用いた評価基準も追加される予定だ。

　今後は、北部・中部・南部の方言の聞き分け、チュノム(chu Nom：ベトナム語を表記するために漢字を応用して作られた文字)の認識、法律や契約書といった10万トークンを超える長文資料の読解能力なども評価対象に加えることを視野に入れている。