新たな背景除去AIで完璧なLin(y)ux壁紙を生成する（ISNet）

AI線画抽出を試す（Informative Drawings） - えいあーるれいの技術日記の続きです。

最近、ChatGPT系の汎用LLMやstable diffusion等の画像生成AIが注目を集めがちですが、何かしらに特化したAIも少しずつ進歩しているようです。

特化型のAIは汎用AIと比べると創造性に乏しいところはありますが、少ないリソースで動作してある程度出力の予想はつくので、要所における使いやすさは汎用AIを大きく上回ることでしょう。

数年前からメタバース・ブロックチェーン・汎用AI…と話題を掻っ攫う技術がビジネスワードとして持て囃され過大評価されがちですが、自分に必要なツールをしっかりと見極めて使いこなせるようにしたいですね。

ところで、私は以前から画像から線画抽出して壁紙に貼り付けることで、宇宙ネコを壁紙にしようというプロジェクトを作っており、うまくいかずかなり苦労していました。

github.com

↑リポジトリ（Colabあり）

linyax、コンピュータとAIの力を借りたから今度こそ完璧だったと思ったんだけどなーー…🙄🙄🙄 pic.twitter.com/X5DekjeaYc
— Ar-Ray 🍓 (@Ray255Ar) 2022年5月5日

ar-ray.hatenablog.com

↑最初の壁紙生成記事(MiDas)

ar-ray.hatenablog.com

↑Informative Drawingsを用いた線画アルゴリズム改善

動物の輪郭抽出は難しい

ドラマ・アニメ系の映像・画像ははっきりとオブジェクトを引き立たせるための照明や描画があるため、画像処理としてうまくいきやすい傾向にあります。

一方で、動物の画像は照明が自然環境に近く、細かなシワや毛などもあるため、はっきりとした特徴を抽出することがかなり難しいです。

そのため、背景と動物を分離することは、クラス分類物体抽出系以外ではなかなか上手くいきません。

新しい背景抽出AI !?

私のTwitterのTLには最新AIを無限に追跡できる人やロボットなんでも屋、自動運転・ロボット界のホープから闇のエンジニア (諸説あり) までといったつよつよが日々有益な情報発信をしていまして、TLを追いかけるだけで非常に勉強になっています。

日々の皆様の発信に感謝しています🙏

ある日、TLに流れてきた背景除去AIに目が止まりました。

おー。これはモデル自体がめちゃくちゃパワーアップしてますね。動物園に大量に追加コミットしておきました。サリエンシーモデル。背景透過。313_IS-Nethttps://t.co/MOlzXxl3oU pic.twitter.com/HT2n7w3Vlf
— Super PINTO (@PINTO03091) 2023年2月25日