開発者と読み解くAIの世界
LLMプロダクト開発の新潮流 ～従来の開発との決定的な違いとは
LLMプロダクトや機能を開発する際に知っておいてほしいこと
2024年10月28日 09:00
近年、ChatGPTをはじめとする大規模言語モデル（LLM）の台頭により、プロダクト開発の手法は大きな転換期を迎えています。
Algomaticでは創業から1年半、いくつものLLMプロダクトを開発してきました。その中で感じた従来型の開発手法とLLMを活用したプロダクト開発の違いについて、実践的な知見を交えながら解説します。
従来型開発とLLM開発の本質的な違い
LLMプロダクト開発の最大の特徴は「試行錯誤のタイミング」にあります。従来型の開発では、企画・設計・実装・テストという線形的なプロセスを経て、動作確認後はバグ修正を行うだけでした。
一方、LLMプロダクト開発では、プロトタイプの作成は驚くほど早いものの、それを安定的な機能としてリリースするまでには、多くの試行錯誤が必要となります。
3つの開発パラダイムの比較
そもそもプログラムの挙動の特性自体が従来のプログラム、機械学習、LLMのそれぞれで大きく異なります。
挙動の特性が異なるということは考え方や開発アプローチも異なるべきです。ここを理解せずに従来の考えで機能開発に取り組むと罠に引っ掛かる確率が高いと思います。
- 従来型プログラミング
・開発者が明示的にロジックを記述
・入力と出力の関係が一対一
・バグの定義が明確
・機能の複雑さに比例して開発時間が増加 - 従来型機械学習
・データからパターンを学習
・確率的な出力
・精度や性能指標が重視
・初期開発に時間がかかるが、データで継続的に改善可能 - LLM開発
・プロンプト設計が中心
・高度に柔軟で創造的な出力
・出力の質や一貫性が評価の中心
・基本機能は短時間で実装可能だが、最適化に時間を要する
LLMプロダクト開発の4つの特徴
LLM（大規模言語モデル）を活用したプロダクトや機能の開発は、従来のソフトウェア開発や機械学習とは大きく異なる特徴を持っています。これらの特徴を理解し、適切に活用することが、成功するLLMプロダクトの開発には不可欠です。
迅速なプロトタイピング
LLMの汎用性とAPIの普及により、複雑な機能でも数時間から数分で基本的なプロトタイプを作成できます。ただし、プロトタイプの完成度と実用性を混同しないよう注意が必要です。
柔軟な出力と「バグ」概念の変化
LLMでは同じ入力に対して異なる出力が生成される可能性があり、これは必ずしも「バグ」ではありません。従来の「エラー」という概念から、出力の質や適切性という評価軸へのシフトが求められます。
継続的な改善の重要性
従来型開発では要件を満たせば「完成」とされましたが、LLM開発では継続的なモニタリングと改善が不可欠です。プロンプトの調整やフィードバックに基づく改善が、開発プロセスの中心となります。
ユーザー体験（UX）の重視
LLMの柔軟性は新しい体験を提供する一方で、予測不可能な出力によるユーザーの混乱も懸念されます。技術的な性能とユーザー体験のバランスが特に重要になります。
開発現場での新たな課題
進捗の可視化
従来の進捗管理手法がLLM開発の実態と合わず、「進んでいないように見える」という誤解を招きやすい点が課題です。質的な指標を重視した新しい報告方法の確立が求められています。
テストと評価指標の設定
LLM開発では、従来のTrue/False形式のテストではなく、スコア形式の評価が一般的です。事前にテストケースや評価指標を定めることが、開発の方向性を定める上で極めて重要となります。
今後の展望
LLM技術は日々進化を続けており、開発者やプロダクトマネージャーには常に最新動向のキャッチアップが求められます。従来の開発手法の良さを活かしつつ、LLMの特性に合わせた新しいアプローチを積極的に採用することが、革新的なプロダクトの開発につながるでしょう。
- 【参考記事】より詳細な内容は、以下の記事をご覧ください。
「LLMプロダクトや機能を開発する際に知っておいてほしいこと」
著者プロフィール：大田 直人
株式会社Algomatic 執行役員 横断CoS
ITスタートアップにおいてエンジニア・人事・プロダクトマネージャーと幅広い職種を経験。
2023年7月Algomatic入社。Algomaticでは事業立ち上げ責任者を経て、現在は社長室長として全社横断的なプロジェクトの推進や各事業のサポートに従事。
・著者X：https://x.com/OTA57
・株式会社Algomatic：https://algomatic.jp/
