AIKokoronを作っている — パーソナライズされたAIデスクトップコンパニオン

AIKokoronというプロジェクトに取り組んでいます。音声対話、Live2Dアニメーションキャラクター、拡張可能なツール機能を組み合わせた、パーソナライズされたAIデスクトップコンパニオンです。デスクトップに常駐し、声で話しかけると応答してくれる、目に見えるAIアシスタントです。

なぜ作ったのか

LLMのAPIやRAGシステムの実験を経て、さらに先へ進みたいと思いました。ブラウザのチャットボットは便利ですが、AIがもっと身近に——デスクトップに常にいて、声に反応し、実際にコンピュータ上で作業できたらどうだろう？

きっかけは Open-LLM-VTuber というオープンソースプロジェクト。LLMとLive2Dアバターを組み合わせた音声会話システムです。これをフォークして出発点とし、自分のビジョンに合わせて大幅に改変しました。

Open-LLM-VTuberが柔軟なマルチキャラクターVTuberプラットフォームを目指しているのに対し、AIKokoronは実用性を重視したパーソナルAIアシスタントとして設計しています：

MCPツール統合 — Model Context Protocol（MCP）により、AIに実際の能力を付与。シェルコマンド実行、Web検索、時刻確認、さらにはWebカメラによる顔認識まで。会話を超えた実際のタスク実行が可能
拡張アーキテクチャ — ファイルブラウジング、ブラウザモニタリング、ゲーム検出などの機能を見据えたプラグイン式拡張システム
顔認識 — DeepFaceによるユーザー識別機能。AIが会話相手を認識してレスポンスをパーソナライズ
フォーカスされたキャラクター設計 — 任意のキャラクター切り替えではなく、深くカスタマイズされた一体のコンパニオンペルソナを中心に設計
シンプルなデプロイ — Windowsのワンクリック起動スクリプト、YAMLファイルによる明確な設定

デュアルアーキテクチャで構成：

バックエンド（Python + FastAPI）：

フロントエンド（Electron + React）：

日常的に使えるレベルにはなっていますが、まだ開発中です。GitHubへのアップロードはまだ——コードベースとドキュメントを整理してから公開する予定です。近日中に。

AIKokoronの開発を通じて、システム統合について多くを学びました：

オープンソース公開をお楽しみに。興味のある方はメールや GitHub からどうぞ。