東大松尾・岩澤研が講義動画の英語字幕を自動生成するAIアプリを無償公開

「lecture_subtitle_translator」

　東京大学大学院工学系研究科の松尾・岩澤研究室は7月22日、日本語の講義動画から英語字幕を自動で生成するアプリ「lecture_subtitle_translator」を開発し、無償で一般公開した。オープンソースで開発されており、ライセンスはApache-2.0。同大学が進める大学院授業の英語化に対応し、留学生を含む多くの学生へ円滑に講義を届ける狙いがある。

　東京大学工学系研究科では、大学院生の約4割が留学生であることなどを背景に、2025年度より大学院授業の原則英語化を進めている。松尾・岩澤研究室でも講義コンテンツの英語化に取り組んできた。しかし、手作業で翻訳・字幕作成する際に、意味のまとまりを保って字幕を分割したり、字幕の表示速度や文字数のルールに合わせて時間を割り当てたり、話し始め・話し終わりにタイムコードを合わせる工程に膨大な時間がかかるという課題があった。そこで、作業負担を軽減するために独自のソフトウェア開発に至ったという。

　今回開発されたソフトウェアは、Windows/macOS/Linux上で動作し、日本語音声の書き起こしから、文章の整形、英訳、字幕の分割、品質のチェックまでを一貫して自動で実行可能。LLMは文字数を正確に数えることが苦手なため、文章の長さの調節や自然な文章への整形はLLMが担うが、文字数や表示速度など、視聴者が読みやすい字幕のルールを満たしているかはアルゴリズムで自動的に検査および調整する。また、利用者はOpenAI、Geminiといったクラウド、「LM Studio」や「Ollama」を使ったローカルのAIモデルを自由に切り替えて使用することが可能だ。

　ただし、完全な自動化ではなく、人手を最小化する補助自動化という位置づけで設計されており、字幕エディター上で速度や文字数、確認が必要な箇所を示すバッヂを表示し、人が効率的に確認・承認して最終作業を行うようになっている。LLMを使用せず字幕エディターのみを使用することも可能だ。

字幕エディター

　本ソフトウェアは、同研究室が提供する「深層学習基礎講座」の英語化において実際に評価されている。担当者への聞き取りに基づく試算では、講義動画1本あたりの字幕作成にかかる作業時間を約16％削減することに成功した。また、従来は複数の担当者・ツールに分かれていた工程を、翻訳担当者が英訳の修正から字幕編集、SRT出力まで1つのアプリ、1人で一貫して担当可能となり、翻訳品質と見やすさも向上したと評価された。

　「lecture_subtitle_translator」は、現在GitHubのプロジェクトページからダウンロード可能だ。