RVMX AIによるテキスト生成検証Tool(参考)

RVMX AIによるテキスト生成検証Tool(参考)

概要

　RVMX AIによるテキスト生成検証Tool(参考)

　　　最近ChatGPTなどのAIによるテキスト生成が話題となっています、
　　またChatGPTを超える性能を持ちかつオープンソースで完全なローカル動作が可能な大規模言語モデルLlama2が出てきました。
　　ChatGPTなどのWeb経由やCloud動作ではデータがCloud側で利用される可能性があります。
　　そこでローカル動作が可能なLlama2の機能と応用の可能性についてChat(会話形式として)検証してみました。
　　しかしPC内ですべてを動作させるにはNIVDA製のGPU(約10万円程度)が有れば高速動作となると思いますが、できる限りなくても動作するCPU動作としました。
　　しかし時間はGPUを使ったものよりはかかります。
　　マイクも動作可能としていますが、音声を文字への変換はいまいちです。
　　動作は2023年版以降となります。

１．回線設計よりの使い方

　　　　　-1.回線設計とは直接関係機能の為、サンプルソフト提供機能を開発して提供できるようにしました。
　　　　
-2.RVMX AIによるテキスト生成検証Tool(参考)を選択し、インストール
　　　　　　但し、学習済みデータが多い為約2.8Gとなります。回線速度の遅いときは時間がかかります

２．操作説明

　　　　-1.画面説明
　　　

　　　　　a.問いかけ　　　問いかけの言葉
　　　　　　a-1.テキストボックスへ直接文字を入力も可能です完了後はマウスでダブルクリックで問い合わせをします。
　　　　　　　　　　　　　　　　日本語でも対応するみたいです。

　　　　　　a-2.マイク入力　　　　聞き取りを有効にしているとマイク画像が出てきます。
　　　　　　　　　　　　　　　　背景が黒の時は動作していません、クリックすると背景が緑となりマイクが有効となります。
　　　　　　　　　　　　　　　　マイク画像の背景が緑の時にマイクへ喋り、終了するとマイク画像をクリックしてください。テキストへ変換して問い合わせをします。
　　　　　　　　　　　　　　　　但し、マイクが実装されていないと動作しません。
　　　　　　　　　　　　　　　　マイク入力は、NAudioを利用しています。
　　　　　　　　　　　　　　　　入力音声を文字への変換はVosk(ローカルで音声認識)を使っています。
　　　　　　　　　　　　　　　　マイクよりの文字列変換はご認識が多いです。

　　　　　　a-3.話すボタン　　　テキストボックスへ直接文字を入力が完了後、このボタンを押すと問い合わせをします
　　　　　　　　　　　　　　　　但し、マイクが有効な時は出てきません。
　　　　　b.情報ボックス　　　　やり取りやその他の情報を表示します。
　　　-2.プルダウンメニュー
　　　　　a.システム
　　　　　　a-1.学習済みモデル設定　　　
　　　

　　　　　　　　　　　　　　　　　　学習済みモデルは7b(70億)・13b(130億)・70b(700億)の3種類が提供されています。本システムには一番小さい7bが内蔵されています。
　　　　　　　　　　　　　　　　　　因みにChatGPT-4が500B(5,000億。1,000B/1,000億とも言われている)
　　　　　　　　　　　　　　　　　　その他13bと70bはサイズが非常に多いのでユーザーさんご自身で下記サイトより取得してください。
　　　　　　　　　　　　　　　　　　https://ai.meta.com/llama/
　　　　　　　　　　　　　　　　　　但し、当方の環境では70bは設定で出来ません、読み込みには非常に多くのメモリーを使うため恐らくメモリー不足と思われます。

　　　　　　a-2.メッセージ　　　　　　主の応答以外のメッセージ
　　　

　　　　　　　a-2-1.応答追加メツセージの表示　　補助の応答メッセージ(つぶやき)

　　　　　　　a-2-2.応答の経過時間表示　　　　応答にかかった時間表示

　　　　　　　a-2-3.モデル表示　　　　　　　　　隔週済みモデルを表示
　　　　　　a-3.音声　　　　　　　　問いや返答を音声で
　　　　　　　a-3-1.喋る　　　　　　文字列を喋ります。

　　　　　　　　a-3-1-1.言語　　　　喋る言語の設定、但し対応する言語のWindpwsでの設定が必要です
　　　　　　　　　a-3-1-1-1.日本語
　　　　　　　　　a-3-1-1-2.英語
　　　　　　　　　a-3-1-1-3.中国語
　　　　　　　　　a-3-1-1-4.フランス語
　　　　　　　　　a-3-1-1-5.ドイツ語
　　　　　　　　　a-3-1-1-6.タイ語

　　　　　　　　a-3-1-2.喋る速度　　　喋る速度を変更できます

　　　　　　　　a-3-1-3.ボリューム　　　喋る音量を変更できます
　　　　　　　a-3-2.マイクより聞き取り　　マイクよりの文字列入力
　　　　　　　　a-3-1.簡易日本語モデル　文字認識のVosk簡易日本語モデル

　　　　　　　　a-3-2.簡易英語モデル　　文字認識のVosk簡易英語モデル

　　　　　　　　a-3-3.Voskモデルフォルダー設定　任意の言語のVoskモデルを格納しているフォルダー設定、但しVoskモデルはユーザーさんが下記サイトより取得してください。
　　　　　　　　　　　　　　　　　　　　　　https://alphacephei.com/vosk/models
　　　　　　　　a-3-4.無音削除　　　　音声入力より無音部分の削除

　　　　　　　　a-3-5.マイク入力判定時間　音声入力より音声認識をする時間の設定
　　　　　　a-3.終了　　　　　　　　　ソフトの停止
　　　　　b.Help
　　　
　　　　　　b-1.説明　　　　　　本説明

　　　　　　b-2.バージョン　　　　ソフト情報
　　　

３．操作方法

　　　　-1.学習済みモデルを設定

　　　　-2.マイク入力の時はVoskモデルの設定

　　　　-3.問いを入力　　　　　　テキスト入力やマイク入力

　　　　-4.問いを送る　　　　　　テキスト入力の時は、文字をマウスでダブルクリックまた気送るボタンをON

　　　　-5.初回やモデル変更時は学習済みモデルの読み込みが行われます、時間がかかりまする

　　　　-6.返答を待ちます　　　　　少し時間がかかります。

　　　　-7.結果が情報ボックスへ表示されます。喋るが設定されていると音声でしゃべります

４．結果例

　　　　-1.ChatGPTの評判は？と問うた例
　　　7bと13bの例

　　　　-2.日本で一番高い山は？と問うた例
　　　7bと13bの例

５．その他

　　　　-1.本ソフトはGPU等特殊なハードが無くても確認ができるようCPU動作にしています、しかしCPU動作の為速度は遅くなります。
　　　　-2.マイク入力はVoskのモデルによりますが、あまり精度はよくないです。
　　　　-3.本ソフトは.Net Frameworkではなくて試験的に.Net Core(共通プラットフォーム)で作られています。
　　　　　　共通プラットフォームとは、Apple・Linux・Windows・スマホなど上で動作できる環境です。
　　　　-4.Llama2はMetaが提供しています。

６．AI関連リンク

　　　　-1.RVMX AIによるテキストより画像生成用プロンプト作成補助Tool(参考)
　　　　-2.RVMX AI関連 News
　　　　-3.RVMX AIによるテキストより画像生成検証Tool(参考)
提供ソフトのＱ＆Ａ
(有)ＲＶＭＸ