RubyではじめるFine-Tuning

LLM (Large Language Model: 大規模言語モデル) を開発対象のアプリケーションそのものに組み込むための、RAGやMCPといった技術はRubyエコシステムでも徐々に広まってきています。その一方で、LLMそのものを要件にあわせて調整するfine-tuningについてはどうでしょうか？

推論時に外部から必要な情報をコンテキストとして与えるRAGに対して、モデルのパラメータを調整することで、その振る舞いや判断傾向を変えるのがfine-tuningです。fine-tuningは、機械学習のエコシステムで先行しているPythonで行われることが主流ですが、Rubyから扱うこともできます。

本講演では、fine-tuningの基礎とそれをRubyから扱うプログラムをお見せします。fine-tuningの中でもLoRA (Low-Rank Adaptation) という技法を取り上げます。バックエンドはPythonとなりますが、PyCallを通じたRubyコードで仕組みを理解することができる内容です。ローカルLLMでも使われるfine-tuningを通じて、LLMそのものを調整する世界やRubyエコシステムの状況について共有します。