Twitter、画像のトリミングに機械学習技術を応用

顔認識に変わり、機械学習を応用することで適切なトリミングを実現（同社ブログより引用）

　米Twitterは24日（日本時間）、“Twitter”の画像トリミングに機械学習技術を応用していることを明らかにした。従来利用していた顔認識技術よりも適切にトリミングできるようになっているという。

　“Twitter”には毎日数百万を超える画像がアップロードされているが、それらのサイズや解像度はまちまちであるため、タイムラインなどに表示する際は一定の大きさにトリミング（切り取り）して表示される。

　以前の“Twitter”では、このトリミング処理を行う際、顔認識技術を利用して被写体の顔を特定し、それが中心になるように工夫されていた。しかし、顔が見逃されたり、顔でないものが誤って顔として認識されるケースがある上、すべての写真に顔が含まれているわけではない。顔が含まれていない写真は中心を基点にトリミングを行うことも検討されたようだが、ベストな方法とは言い難かったようだ。

　そこで、機械学習技術により視覚的に目立つ部分を把握して（視覚的顕著性）、その部分をトリミングする方法が導入された。人間は一般的に顔、文字、動物、また明暗のコントラストがはっきりしたものに目がいきやすく、そこを切り取ると印象的なトリミング画像ができあがる。

　しかし、顕著性予測のニューラルネットワークでは、“Twitter”にアップロードされる画像をトリミングしてリアルタイムで共有するには遅すぎるという欠点があった。これを改善するために行われたのが、ニューラルネットワークのさらなる最適化と、不要な計算をできるだけ減らすという2つの方法だった。“Twitter”では知識抽出と単純化という2つの技法を用いて、視覚的顕著性予測ネットワークのサイズを大幅に削減。デフォルトの実装やその他の最適化手法に比べて10倍速く処理できるようになったという。

　新しいトリミング技術は“twitter.com”のほか、iOS/Androidのアプリで利用できる。