ナレッジベース

学びの中で得たノート、リファレンス、インサイトをまとめています。

LLM & RAG

検索拡張生成、ベクトルDB、根拠に基づくAIシステム

RAG の基礎

検索拡張生成（RAG）は、文書検索とLLMによる生成を組み合わせて、根拠のある回答を提供する技術です。

RAG

LLM

Vector DB

LangChain RAG Docs

ベクトル埋め込みと類似検索

テキスト埋め込みの仕組み、埋め込みモデルの選択、類似度指標（コサイン、内積、L2）について。

Embeddings

ChromaDB

FAISS

ドキュメント分割戦略

固定長、文単位、セマンティック、再帰的分割。文脈保持と検索精度のトレードオフ。

Chunking

Preprocessing

RAG

モデルファインチューニング

パラメータ効率的な学習、LoRA、データセット準備

LoRA & QLoRA

Low-Rank Adaptationによるパラメータ効率的なファインチューニング。QLoRAは4ビット量子化でメモリ効率を向上。

LoRA

QLoRA

PEFT

学習データの準備

データクリーニング、指示形式（Alpaca、ShareGPT）、品質フィルタリング技術。

Dataset

Preprocessing

実践 LLM スキル

プロンプトエンジニアリング、ツール活用、エージェントパターン

プロンプトエンジニアリング

Chain-of-thought、few-shot、システムプロンプト、構造化出力のテクニック。

Prompting

CoT

Few-shot

Function Calling とツール活用

Function Calling（OpenAI、Anthropic）やエージェントフレームワークを通じたLLMと外部ツールの統合。

Tools

Agents

Function Calling

開発ノート

フレームワークパターン、言語Tips、エンジニアリングメモ

Next.js App Router パターン

サーバーコンポーネント、ストリーミング、パラレルルート、next-intlによるi18n。

Next.js

React

SSR

Rust の所有権とライフタイム

所有権、借用、ライフタイムのメンタルモデルと一般的なパターン。

Rust

Memory Safety