AI駆動開発の実践例

AI駆動開発におけるテスト自動化 ~レビューのボトルネックをテストで解消する

[第4回]AIが書いたテストで何を確かめているのか

 本連載では、AI駆動開発について「AIで速くなった」という総論から一歩踏み込み、工程ごとに何が実際に変わり、どこに新しい負荷が移ったのかを、Algomatic社での実践を交えて順に整理します。読者の皆さんが自社の開発プロセスに当てはめて考えられる、実務的な内容をお届けします。

 第1回ではボトルネックが実装から検証・意思決定へ移ったこと、第2回では仕様のマスタがドキュメントから動くソフトウェアへ移ったこと、第3回ではエージェントの作業をどこで止め、何を人が判断するかを扱いました。

 第3回では、エージェントに書き換えさせないものの筆頭として「テストの合否基準」を挙げました。今回はそのテストにまつわる実践知を、私たちAlgomaticの取り組みから紹介します。

実装が速くなれば、レビューは詰まる

 AI駆動開発に切り替えてしばらくすると、私たちのチームでは実装よりもレビューが詰まるようになりました。レビュー待ちのプルリクエストは100件近くまで積み上がり、プルリクエストを出してからレビューされるまで、平均で1週間かかるようになっていました。

 同じ現象は、私たちのチームだけで起きているわけではないそうです。Faros AIが1万人超の開発者のテレメトリを分析した2025年の調査では、AIの活用度が高いチームはマージしたプルリクエストが98%増えた一方で、それらのレビュー時間も91%増え、組織全体の開発指標には改善が見られなかったと報告されています[1]。ツールベンダー自身による調査のため、その結果を広く当てはめることはできませんが、実装の速度に検証が追いつかない方向については、私たちの実感と一致します。

 —— 人がプルリクエストを読まずにマージするには、何が必要なのでしょうか

 人がすべての差分を読む体制のままでは、第3回で避けた「人を待たせる設計」がテスト工程でそのまま再現されてしまいます。

 結論を先に述べると、必要なのは 「テストが通ればマージしてよいと言える状態」 です。

 テストを書く作業の大半はAIに任せられました。人の仕事として残ったのは、①生成されたテストを削って仕様の変化に追従させることと、②AIに触らせない範囲を決めることです。

プロトタイプからテスト仕様書を自動生成する

 テストが通ればマージしてよいと言える状態にするには、まずテストが必要です。最初に取り組んだのは、 テスト仕様書の自動生成 でした。第2回で触れたとおり、私たちは検証済みのプロトタイプを仕様確認の基準にしています。そこでプロトタイプを正として、AIにテスト仕様書を生成させました。

 テスト項目は、大規模な開発では700項目以上になります。これまでテスト仕様書はQAエンジニアに作成を依頼しており、他のプロジェクトと並行しながら要件を理解して書き起こすため、依頼から初版まで約2週間かかっていました。AIにテスト仕様書を生成させるように切り替えてからは、依頼から約12時間で最初の案が出てきます。

 しかし気になるのは「生成されたテスト項目がどれほど使えるか」という論点です。指示や生成方法によって結果が左右されるところですが、私たちのケースでは、およそ 7割のテスト項目が採用可能と判断 されています。

 なお、Meta Platformsによる報告では、社内で運用したテスト生成ツール(TestGen-LLM)が生成したテスト項目のうち、73%のテスト項目がエンジニアによって採用可能と判断されたといいます[2]。Meta Platformsの設定は「ユニットテストにおける改善提案の集計値」、私たちの設定は「テスト仕様書の項目に対する経験値」なので、直接比較することはできません。それでも「7割ほどは使えて、残りは人が手を入れる」という水準感は近いと感じています。

プロトタイプを正にする限界

 自動生成されたテスト項目のうち、残りの3割は、そのままでは採用できませんでした。採用できなかった理由としては、大きく2つあります。

 ひとつは、 過剰なテスト です。プロトタイプに現れた振る舞いを、そのままテスト項目として落とし込むと、確認する価値の低いものまで書き起こされることになります。どの項目を優先すべきかは「その機能で何を保証したいのか」を理解していないと決められません。

 もうひとつは、 仕様が変わったときの追従 です。プロトタイプが変更される分には、テスト仕様書を生成し直せば追従できます。問題は、プロトタイプを作り終えたあとの仕様変更です。実装の段階で仕様が変わっても、その変更はプロトタイプには反映されません。テスト生成を行う際の参照元が古いままなので、生成内容も古いまま、新しい仕様に追従されません。運用してみて大変だったのは、プロトタイプ以降の仕様変更とテスト仕様書の差分を、人が洗い出す作業でした。

 突き詰めると「プロトタイプを正にしてよいのか」という問題に行き当たります。プロトタイプを正にする限り、 テストが確かめられるのは、プロトタイプを作った時点の仕様まで になります。それ以降に決まったことは、正の側のどこにも書かれていません。

図1:プロトタイプ以降のテストはプロトタイプからは作れない

 この問題の根は、テストの正を「何を作りたいか」という要求・要件の一覧ではなく、手元にある成果物に置いていることにあります。プロトタイプであっても実装であっても、いまある成果物を正にすると、テストは「その成果物と同じであること」しか確かめられません。

 この2つの問題について私たちのチームでは、PMがテストを確認するタイミングで、項目を人の手で削ったり直したりして対処しています。

 生成元を本番のコードに替えても解決しません。コードをもとにテストを生成しても、確かめられるのは「テストがコードと同じであること」だけです。AIにテストを生成させると、そのつもりがなくてもこの状態に寄っていきます。ルクセンブルク大学の研究では、LLMが生成するテストの判定部分(テストオラクル)は、 意図された振る舞いよりも、すでに実装されている振る舞いを捉えやすい と報告されています[3]。

 本来であれば、PMによる手直しもAIに任せたいところです。これは私たちの展望ですが、今後は機能を作るかどうかを判断したときの価値や受入基準を要件に書き起こして、テスト生成の際に参照させることや、会議の議事録から仕様の変化を拾うことで、AIが追従できる形にしたいと考えています。

E2Eで自動マージし、テストはAIに触らせない

 テストが揃ったところで、E2Eテストを通過したプルリクエストは自動でマージされるようにしました。冒頭のレビュー待ちを解決したのは、この自動マージです。100件近くあったレビュー待ちのプルリクエストは、多いときでも20件程度になりました。リリースも、以前は複数の機能をまとめて隔週で出していましたが、いまは週2回出せる週もあります。

図2:レビュー待ちで詰まる量を1/5に減少

 ただしテストに合否を任せるなら、AIが基準そのものを書き換えないよう、テスト項目に対する書き込み権限を拒否しておく必要があります。

 私たちは、テストコードそのものと、テストや品質チェックの設定ファイル(playwright・vitest・biome・tsconfigなど)に触れたプルリクエストは、自動マージの対象から外しています。AIが自分を採点する基準を緩められるなら、テストが通ったことに意味がなくなるからです。E2EテストもAIが書いていますが、その変更は人が確認してからマージします。

 現在Algomaticで行っているのは、自動検証を通過した変更は自動でマージされ、失敗した変更は修正箇所を特定した上で、自動修正か人の改修に回るというプロセスです。失敗の記録も蓄積するようにして、人は何をもって合格とするかを決める「基準設計」にフォーカスするようにしています。

明日からチームに持ち帰るとしたら

  • テストの生成元が何か(プロトタイプか、実装か、要件か)を言えるか
  • 生成したテストを削る基準と、仕様変更をテストに反映する担当が決まっているか
  • テストコードと品質チェックの設定に触れた変更を、自動マージから外しているか

 どれかひとつでも欠けると、テストの生成は速くなっても、レビューの山が別の形で戻ってくると思います。

まとめ

 AIにテスト生成を任せると、テスト仕様書の初版は2週間から12時間で出てくるようになりました。E2Eテストを通過した変更を自動でマージするようにしてからは、100件近くあったレビュー待ちが、多いときでも20件程度になりました。速くなった分、人の仕事は書くことから、生成されたテストを削って保つことと、AIに触らせない範囲を決めることへ移りました。プロトタイプを正にしたテストは、いまあるものとの一致しか確かめられません。そのため次は、合否の基準を要件の側に置くことに取り組みたいと考えています。

 自分たちのチームのテストは、いったい何を正しいとみなしているのでしょうか。

 次回は最終回として、こうした工程の変化が組織とチームの役割をどう変えるのかを扱います。

著者プロフィール:坂本 一樹

ソフトバンク株式会社に新卒で入社し、携帯電話の大規模ネットワークに関わったのち、基地局管理システムのアーキテクチャ/インフラのリードを経験。その後、スタートアップやジョイントベンチャーを経験し、SaaS系システムや課金系システムのAIを含めたシステムアーキテクチャ構築から運用までプロダクト開発に従事。2024年10月に、生成AIの可能性に着目しAlgomaticに参画。2026年6月よりVPoEとして、エンジニア組織とともに全社のAI駆動開発に注力。

・株式会社Algomatic:https://algomatic.jp/

開発者と読み解くAIの世界 記事一覧

AI駆動開発の実践例 記事一覧