ffmpeg で waveform 以外の音声可視化

続き物みたいなもんかな。

最近やったやつだとわけあって Waveform な動画 (ffmpeg で)わけあって Waveform な動画 (ffmpeg で)2 や、ちょっと前のPython の wave モジュール例の殴り書きシリーズなど、ワタシの場合はとくに「何かの技術説明のためのインチキ動画が欲しい」という動機でもってこうしたことを必要とするわけである。実際「本番用途」は本物を使えばいいんであって、個人ユースではこういう困り方はあまりしないのだけれど、こうやって「紹介」するのに、ひとつには「説明しやすい作為的な動画」、さらには「公開して問題のない動画」の両方を満足しなければならんわけだ。

そしていつも困るには、「音だけ」「映像だけ」各々だと結構よりどりみどりなのよね。両方がちゃんと同期した「現実的な」ものを見繕おうとするとハタと困るわけである。

今回のやつのほかに、「animated text to speech」なアプローチも探ってみてはいるのだけれど、まだいいあんばいのに巡りあえてない。あるいはもっとヘヴィなアプローチとしては、blender などでほんとにアニメーションを自作してしまうみたいなことも考えられるけれど、まぁワタシの目的にはさすがにツーマッチなのよね。

なのでとりあえずは「音の可視化」で ffmpeg で出来ることをやろうかというわけで以下に辿り着いた:

ffmpeg のリファレンスから目的に合うものを列挙することそのものが難儀なのでありがたい、のだけれど、うーん、これだけ? もっと欲しいと思ったら死刑? (それともパラメータをごにょごにょすればもっと色んな絵に出来るのかしらね。)

てなわけで、竹田の子守唄 (を Bear File Converter – Online & Free で変換したもの) に対して ahistogram、avectorscope、spectrum、waveform して 2×2 に結合したヤツ:


14:05追記: メモしとくか迷ってまぁいいやと思ったけどやっぱりメモっときたい件。上記竹田の子守唄には、「著作権保護期間が切れていない楽曲を MIDI で打ち込んだ場合の扱いってどーなのよ」みたいなそのまんまの検索をして辿り着いた。のだが、その前に、このサイトが非常に細かく詳しく書いてる:

このサイトではパブリックドメインとなった楽曲の MIDI も配布しているが、オリジナル楽曲も配布してるみたい。そのパブリックドメインのこたちがさ、ちょっとアレンジが独特で好みじゃなかったのよね。コンドルは飛んでいくとかさ、使えれば割と気持ち良いんだけどね、このアレンジのせいでちょっと使う気になれなかった。まぁ「著作権問題について知りたい」ためのサイト、だな。


2018-12-31 追記:
節穴。アタシにとってはめちゃくちゃ理想的なヤツがおった。showcqt。

1 #! /bin/sh
2 ffmpeg -y -i "VSQPD_009_takedano_komoriuta-visualize.mp4" -filter_complex "
3 [0:a]showcqt,scale=1920:1080,fps=25[v]
4 " -map '[v]' -map '0:a' -c:a copy "VSQPD_009_takedano_komoriuta-visualize-cqt.mp4"

ほかのことしててドキュメントを眺めてて偶然。ここでアタシがいってる「作為的」に一番ふさわしい(わかりやすい)だけでなく、以前自力でやろうとした(て果てた) musical tone scale まで尽くせてる。つーか楽しいねこれ。


2019-01-01 追記:
2点。こんな動画にまとめた:

もう一つは「ライセンス問題が云々」の件で。MUSOPEN。すはらし。