プロジェクト背景
ある法律テクノロジープラットフォームは、企業や個人向けにオンライン法律相談サービスを提供しており、1日あたりの相談件数は3,000件を超えます。同プラットフォームではこれまで汎用大規模モデルを用いて法律問題に回答していましたが、法律分野は専門性が高く専門用語が密集しているため、汎用モデルでは法律相談の精度がわずか71%、ハルシネーション率が28%に達し、しばしば曖昧または誤ったアドバイスを提供してしまい、プラットフォームの専門性やユーザーからの信頼を著しく損ねていました。プラットフォームは、法律を真に理解する専用モデルを切実に必要としていました。
主な課題
ソリューション
法律分野におけるLoRAファインチューニング
ChatGLM-6Bをベースに、法律分野のLoRA（Low-Rank Adaptation）ファインチューニングを実施。契約紛争、労働争議、知的財産権、会社法など主要な法律領域をカバーする高品質な法律Q&A注釈データ2,000件を慎重に構築しました。ファインチューニング後、モデルの精度は71%から95%に向上し、ハルシネーション率は28%から4%に低減しました。
法律ナレッジの強化
法律ナレッジベースをRAGの補完として構築し、法律や規制、司法解釈、代表的な判例などの権威ある資料を収録しました。回答時にモデルが関連する条文や判例を自動検索し根拠とすることで、すべての回答が法的根拠を参照可能にし、回答の信頼性と専門性をさらに高めます。
品質評価と継続的な改善
法律回答の品質評価体系を確立し、正確性、完全性、コンプライアンスの3つの観点からモデルの出力を自動評価します。評価で発見された問題に対して継続的にトレーニングデータを追加し、データフライホイールを形成してモデル能力の持続的な向上を実現します。
効果データ
| 指標 | ファインチューニング前 | ファインチューニング後 | 改善 |
|---|---|---|---|
| 法律相談の精度 | 71% | 95% | 34% |
| ハルシネーション率 | 28% | 4% | 86% |
| 条文引用の正解率 | 55% | 92% | 67% |
| ユーザー満足度 | 62% | 91% | 47% |
技術スタック
ChatGLM-6B、LoRAファインチューニング、PEFT、法律ナレッジベース、RAG、Python、PyTorch、Hugging Face Transformers
