アップスケーリングというのは、低高解像度の画像を高解像度に変換する画像処理技術のこと。最近は、AIの開発が進んでいるおかげで、解像度の低い写真のピクセルを「適切」に推定して増幅することで、解像度を「自然に」高めることができるようになってきた。
なんでこの技術が必要なのかというと、ディスプレイがフルHDとか4Kとか大型化してくると、低解像度の画像をフルスクリーンで映し出した場合に画像がもやっとした感じになったり、ピクセルが目立ってしまったりするので、高解像度に変換して大画面でもくっきりと楽しめるよう、見栄えを良くするためなんだと思うよ。
この画像変換をしてくれるサービスがウェブ上にいくつもあって、どれを使ったらいいのか悩んでるユーザーさんも多いと思う。YouTubeチャンネル「PiXimperfect」のUnmesh Dindaさんが、いくつかのサービスを実際に比較して、どれが優れているのかレビューしているのでここで紹介したい。
Unmesh Dindaさんは、Queenのフレディ・マーキュリーやPrinceを彷彿させる、いかにもアーティスト！って雰囲気の素敵なお兄さん。プレゼンテーションは英語だけど、ソフトな語り口とクリアな英語で聞き取りやすいので、ぜひ見てみてほしいのだ。百聞は一見にしかずのコンテンツなので、言葉が分からなくてもなんとかなると思う。
動画では、下の7つのサービスを順に比較しているよ。基本的に無料で使えるサービスなんだが、6のGigaPixel AIと7のPhotoshopを使うには課金が必要。
1. imglarger.com
2. letsenhance.io
3. bigjpg.com
4. deep-image.ai
5. imageupscaler.com
6. GigaPixel AI
7. Photoshop
動画では人物写真をトーナメント方式でサービスを評価していくよ。結果は、動画を見てのお楽み。意外だったのは、GigaPixel AIの評価が低かったことだな。課金アプリなのに評価が低いという点はそうなんだが、天体写真ファンの間で定評のあるDeNoise AIを提供している会社だからなんだ。DeNoise AIは、私も課金したんだけど、バージョンが上がるたびに課金しろとうるさいから、バージョンアップは保留中。
天体写真という分野で「存在しないピクセル」をAIで補完してまで大きくキレイに見せることについては、賛否ありそうな気がするけれど、学術的な観測データに使うのでなくて、アートとして鑑賞するぶんには許容されていいと思う。
天体写真では、星雲はともかく、特に惑星の写真は被写体が小さいだけに小さめに仕上がることが多いので、過去に撮影した木星の写真をアップスケーリングしてみることにしてみた。
セレストロンC5で初めて撮影した木星の画像で、そのサイズは640 × 366 ピクセルと解像度が低い。
使ったのはImgLarger。無料だけどサインアップが求められるよ。2xと4xを選択できるので、4xを選択。処理はすぐに終わったので、画像をダウンロード。アップスケーリング後は2560 × 1464 ピクセルになった。
元画像、ImgLargerで処理した画像、フォトショップで解像度だけ変更した画像の３枚を比較してみる。クリックで拡大できるので、見比べてみてちょうだい。
人物を撮影するポートレートや風景写真といった地上戦ならいい結果が出るのかもしれないけれど、今回の上の天体写真の例だと、あまり効果がわかならないというか、フォトショップでふつうにピクセルサイズを変更するだけのほうが良い感じがした。
写真のジャンルとアプリの相性というものがあるのかもしれないな。いろいろ試してみるだな。
この記事へのコメント
画像処理、って言葉が出てきた前世紀から、この手の議論はよくある話で、最初は受け入れ難いものとして思われてきました。特に画像処理は医療分野の見地から天体写真にも批判的な発言があったものです（天文ガイドの昔の読者サロン）、あれから四半世紀たって、医療機器でも、PHILIPSさんも、ようやく浜ホトもバーチャルスライドのFDA認可が取れました。
天体画像処理でも、みなさんよく使っている？Deconvolutionとか。もう少し、超解像方面に踏み込めば、Drizzleとかは、結構グレーゾーンだったりするのですが、あのHSTが使っていたアルゴリズム！！
と、いうことで、これまた結構グレーながらも、天体撮影の世界では使われていた気がします。
ちなみに、10年くらい前にCANPで、お話聞いた国立天文台のH先生曰く、映像データは悪い方に合わせるとのことでした（つまり、シャープな画像でも、一番ぼけた画像に合わせガウスぼかしをかけるのだそうです＝信頼性の確保。反対にシャープな画像に合わせる場合には、信頼性の確保が困難）
まあ、アマチュアの特権なのでしょうね。
で、AIですが、教師データがすべてですので、センサーそのもののDeNoiseは今後ますます出てくると思っています。
今は、まだ、民生用センサーも変遷が大きいですが、この先10年だといかにノイズをAIで喰っていくか、その結果として低リードノイズの映像で、高画質はあり得ると思います。
そうすると天体画像処理的には、ダークフレームも不要になるので、純粋な天体からの光を相手にすることができて、そうなってくると、ますます、撮り方が大事になるのかな（エアリーディスク条件、集光力）と考えています。
一方で、今のAIソフトの技術は蓄積されたデータから、このようなシーンだと、こうでしょ！？
という学習が多いので、惑星では、疑解像が出てしまうのかな、とも思っています。
もっとも、教師データを、HSTなり、JWSTにした時に、じゃあ、それって、どうなるの？というのも興味深いのですが・・
最終的には、天体写真は誰が撮っても同じ、という初期の画像処理が出てきたときと同じ議論が巻き起こるのかもしれません。
もちろん、そうはならないだろうとは思ってますが、、、
参照型の超解像ってのもありますしねぇ・・。
UTOさん、こんにちは！ 撮影した画像に何を求めるかによって判断が違ってくると思うのですが、傍から見ると目的がはっきりしているように思える医療用途でも批判的な考え方があったのですね。
まったく頭のなかにありませんでしたが、確かにDrizzleは高解像度化のアルゴリズムですね。Registaxはしょっちゅう使っているのにdrizzleは、そういえば使ったことがありませんでした。HSTが起源だったのですか。それは使わないと！（単純w）
天体写真って「誰が撮っても同じ」な再現可能なもので、観測に使える「科学的」なものという縛りがあると、自由な表現になかなか踏み出しにくいですね。
私は鑑賞用途なら、AIを許容してもいい派ですが、自分で撮影した画像に疑解像が混じっているとなると、心が納得しない気もします（でもDeNoiseは許容したい^^;）。
AIの力を借りて画像を処理したかどうかは、科学雑誌をうたう「天文ガイド」なんかのフォトコンでは議論になるかもしれませんね（すでになっているのかしらん？）。
少し前に動画でコレをやっちゃう Topazのなんだったか（名前忘れましたｗ）を見たときに、アーサー Ｃ．クラークの「充分に発達した科学技術は、魔法と見分けが付かない」を目の当たりにしちゃったと思いました。
そうなんですよ、魔法なんですよ、この手のテクノロジーは。
30年くらい前にワープロの書院に搭載されていたAI辞書っていうのもありました。いまのAIなら文章も作ってくれそうです。ほんと魔法ですねぇ。
「解像度の低い写真のピクセルを「適切」に推定して」≒「情報がない部分は推定して」
将来、お金かけて機材揃えて天体撮影するより、最初からAIに星雲とか描かせたほうが綺麗ですよ〜！とか言われそうだな〜
絵の出来よりも、機材を揃えることが楽しみだから、だいじょうぶですよ！
個人的には悪意や誤解がなければ、単に個人の『好き』『嫌い』の問題だと思う。
悪意などを含めた”使用目的”の問題が大きいと。
フィルム時代でも焼き付けた後に、不要な傷を削ったり、スポットで墨入れすることも普通にあった。
見分けの付かない加工が誰でも簡単にできるディジタルだからアレルギーを持つ人が多いだけで、昔も今もさほど変わってないと思うんだよ。
＾＾個人的な意見でした
＞”使用目的”の問題が大きい
賛成です！ この手の議論の震源地はフォトコンが多いような印象です。しらんけど（笑）