ffmpegでストリームを選択して動画をダウンロードし保存する方法をまとめておきます。

そもそも解像度を選べるストリーミングの仕組みは？

はじめに解像度を選択できる仕組みを軽く理解しておきましょう。

解像度を選択して再生できるようになっているストリーミング（HLS配信）では、各解像度の動画が異なるストリームとして用意されています。プレイリスト（m3u8）の内容を確認すると、解像度ごとに別個のストリームが用意されていることがわかります。

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-STREAM-INF:BANDWIDTH=300000,NAME="1080p",RESOLUTION=1920x1080
xxxx=.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=150000,NAME="720p",RESOLUTION=1280x720
xxyy==.m3u8

ユーザーが解像度を選択すると、該当するチャンクリストがダウンロードされ、指定された解像度の動画が再生される仕組みになっています。

mapオプションを使えば、ダウンロードする動画の解像度を選べる！

このように解像度を選べる方式のHLS配信は、ffmpegのmapオプションを使うと任意の解像度の動画をダウンロードできます。

Map – FFmpeg

trac.ffmpeg.org

mapオプションはストリームを選択するためのオプションです。複数のストリームが用意されているソースから任意のストリームを抽出することができます。HLS配信についてもmapオプションを使うことにより、任意の解像度の動画を抽出することが可能です。

ちなみにDVDの多重音声もストリームにより実現されているので、多重音声のソースから任意の言語の音声を取り出すのに使ったりすることもできます。ほかにも動画と音声データをくっつけたり、いろいろと活用できるオプションです。

サンプル

実際にやってみます。まずはmapオプションをつけずにffmpegを実行し、ストリーム情報を確認してみましょう。

m3u8を-iオプションに指定してffｍpegを実行すると、以下のようにストリーム情報が出力されます。

$ ffmpeg -i "xxx.m3u8" -c -copy out.ts
Program 0
    Metadata:
      variant_bitrate : 3000000
    Stream #0:0: Data: timed_id3 (ID3  / 0x20334449)
    Metadata:
      variant_bitrate : 3000000
    Stream #0:1: Video: h264 (Constrained Baseline) ([27][0][0][0] / 0x001B), yuv420p, 1920x1080 [SAR 1:1 DAR 16:9], 29.97 fps, 29.97 tbr, 90k tbn, 59.94 tbc
    Metadata:
      variant_bitrate : 3000000
    Stream #0:2: Audio: aac (LC) ([15][0][0][0] / 0x000F), 44100 Hz, stereo, fltp
    Metadata:
      variant_bitrate : 3000000
Program 1
    Metadata:
      variant_bitrate : 1500000
    Stream #0:3: Data: timed_id3 (ID3  / 0x20334449)
    Metadata:
      variant_bitrate : 1500000
    Stream #0:4: Video: h264 (Constrained Baseline) ([27][0][0][0] / 0x001B), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 29.97 fps, 29.97 tbr, 90k tbn, 59.94 tbc
    Metadata:
      variant_bitrate : 1500000
    Stream #0:5: Audio: aac (LC) ([15][0][0][0] / 0x000F), 44100 Hz, stereo, fltp
    Metadata:
      variant_bitrate : 1500000

もちろん情報の確認だけならffprobeでもOKです。ffprobeでストリーム情報を確認したいときは、次のコマンドとなります。

$ ffprobe "xxx.m3u8" -hide_banner -show_streams

出力されているProgramの番号をmapオプションに指定することで、任意のストリームを取り出すことができます。

例えば、上の例で1280×720の動画を抽出し、ローカルに保存したい場合はProgram 1をmapすることになるので、以下のようなコマンドになります。

ffmpeg -i "https://....m3u8" -map 0:p:1 -c copy "output.ts"

0:p:につづけて、Programの番号を指定します。すると、該当するProgramのストリームがファイルに保存されます。

”timed_id3 codec not currently supported”と表示されるとき

timed_id3のストリームが含まれているとき-c copyと併用するとエラーとなることがあります。

この場合はmapオプションにストリーム番号を直接指定します。

ffmpeg -i "https://....m3u8" -map 0:4 -map 0:5 -c copy "output.t

Program1のストリーム情報を見ると、映像が#0:4 音声が#0:5となっていることがわかるため、mapオプションに0:4と0:5を指定します。こうすることで正常に任意のストリームを保存することができます。

まとめ

ストリームを選択して、HLS配信されている動画をダウンロードする方法をメモしておきました。

mapオプションについては、公式ドキュメントにさらに詳しい使い方が載っていますので、参考にしてみてください。

Map – FFmpeg

trac.ffmpeg.org

Slack APIとは？

Slack APIとは、Slackのサービスをプログラムから利用できるようにするサービスです。Slackへのメッセージ送信のほか、ほかのユーザーが送信したメッセージに自動的に応答したり、さまざまなことが可能になります。

PythonやNode.jsなど、プログラミング環境にあわせたライブラリも提供されており、対応している環境であれば容易にbotなどのプログラムを構築することが可能です。一方、POSTなどのHTTP通信により、ライブラリを使わずにAPIを利用することもできます。

この記事ではSlack APIを利用できるようにする手順から、ライブラリを使わずcurlコマンドだけでメッセージを送信するまでの手順を紹介します。

Incoming Webhook APIを有効にする

まずはSlackのAPIを有効にしましょう。

Slack APIを利用できるようにするには、チャンネルに対応したSlackアプリを作成する必要があります。Slack上にアプリを作成し、そのアプリにAPIを用意することで、プログラムから利用できるようにします。とはいえ、アプリの作成からAPIの有効化まで、すべてブラウザでの操作で完結できますので、それほど気構える必要はありません。

Slack APIにアクセスし、Slackアプリを作成していきます。

Slack platform overview | Slack Developer Docs

To jump straight into developing your own Slack app, follow our Quickstart. You can get started right now.

docs.slack.dev

[Create an App]をクリックします。

[From scratch]をクリック。

App NameとAPIから利用したいチャンネルを選択し、[Create App]をクリックします。

つづけて、Webhook APIを作成します。

Webhook APIとはPOSTやGETといったhttpsにより、メッセージを送受信することができるAPIです。特別なライブラリなどを使用することなく、httpsさえ利用できればSlackとの連携が可能になります。今回はこちらを使用してみます。

[Incoming Webhooks]をクリックします。

トグルボタンをクリックし、ONにしましょう。

最後にWebhook APIのURLを作成します。

ページ下の[Add New Webhook to workspace]をクリックします。

Slackへのアクセスを求められますので、許可します。

すると、URLが作成されます。

このURLにPOSTすることにより、メッセージを送信することができます。

curlコマンドでメッセージを送信してみよう！

あとは送信するだけです。

curlコマンドを使用し、Slackへメッセージを送信してみましょう。

curl -X POST -H 'Content-type: application/json' --data '{"text":"Hello, World!"}' [WebhookのURL]

Webhook URLにJSONをPOSTします。

Slackのメッセージを確認してみましょう。

ちゃんとメッセージが来ました！

まとめ

いかがでしたか？思ったよりかんたんにメッセージを送ることができました。

特別なライブラリを使用しなくても、POSTするだけでメッセージを送ることができますので、手軽にSlackへ通知することができます。Linuxであればcurlコマンドは最初からインストールされていますので、サーバーからの異常通知などさまざまな応用が考えられます。

また、SlackはAPIドキュメントも充実しています。サンプルコードも多く掲載されていますので、ぜひ読んでみることをおすすめします。なにか発見があるかもしれませんよ～

Sending and scheduling messages | Slack Developer Docs

Apps that only listen can be useful, but there's so much more utility to explore by transforming a monologue into a conv...

docs.slack.dev

電子ジャーナルなどについてはスクレイピングが禁止されていることがあります。検出システムが導入されていることもあるので、このページの内容を参考にする時は、サイトのルールを確認しておいてください！

サイト全体を保存したいとき

サイト全体をローカルに保存しておきたい場合は、次のコマンドでOKです。

$ wget -r --continue --wait=10 --random-wait -kKp -np --tries=1 --no-verbose --no-iri [URL]

このコマンドをコピペして、[URL]のところにダウンロードしたいサイトのURLを指定すれば、サイト全体をローカルにダウンロードすることができます。

たとえば、 https://google.com をまるごとアーカイブしたいなら、以下のようになります。

$ wget -r --continue --wait=10 --random-wait -kKp -np --tries=1 --no-verbose --no-iri https://google.com

この方法をつかうと、ディレクトリ構成を含め、サーバーのファイルをそのままローカルに保存することができます。長年更新されておらず、今にも消えてしまいまそうなサイトでもローカルにまるごと保存しておくことができます。

ダウンロードしたファイルはブラウザで閲覧することができます。ダウンロード時にリンクを相対リンクに変換するようにしているため、ローカルで閲覧時もリンクが有効となります。もちろん、画像ファイルなどの付属ファイルも同時にダウンロードしてくれます。

オプションの解説

上で示したコマンドのオプションについて解説していきます。各オプションの意味は次の通りです。

• k：保存するときに相対リンクに変換する（ダウンロードしたファイルをブラウザで見たときにリンクが動作するようにする）
• K:相対リンクに変換時、変換前のファイルも保存する（kオプションとともに使う。相対リンク変換前のオリジナルファイルも保存してくれる。オリジナルファイルはファイル名に.origが付与されて別に保存される。）
• np：親を辿らない（hoge.com/1をスクレイピングするなら、/1の中だけを保存するようにする。スクレイピングしたページに親ページへのリンクが含まれていた場合でもhoge.comに上がらないようにする.）※サイトのディレクトリ構成によっては、このオプションを付けるとスクレイピング漏れが起こるので注意。わからないときは外したほうがよい。
• tries：エラー発生時のリトライ回数
• wait：１回のアクセスにつき待機する秒数（waitオプションは1ファイルごとに適用される。例えば、同じページに複数枚の画像があった場合、1枚ダウンロードするごとにwaitオプションで指定した時間待機することになる。）
• random-wait：待機する秒数に乱数をかける※毎回待機する時間が変わるので、人が操作している感じにできる
• r：再帰的にダウンロード（リンクをたどってすべてのページを保存）
• –no-iri : URLにチルダが入っているときの対策。URLにチルダ（～）が入っていると、ファイル名が文字化けしてしまうが、このオプションをつけておくと大丈夫。
• continue：すでにダウンロードが一部行われている場合、続きから行う。※このオプションをつけておくと、途中でやめてもそこから再開できる。しかし、スクレイピングにかかる時間は初めからやるのと同じなので注意→「もろもろ」の章を参照のこと
• –no-verbose：詳細を表示しない。※テスト時は外しておくことを推奨。ログが表示されるので、外しておいたほうがテストしやすい。

もろもろ（注意点など）

あらかじめ知っておいてほしいwgetコマンドの仕様について書いておきます。wgetでスクレイピングする前に知っておくと役に立つかも。

• サイト全体のスクレイピングは十分テストして、一発勝負で行う必要がある
• 「continueオプションをつけてもると途中から再開できる」とドキュメントにはあるが、continueオプションを付けた場合もダウンロードは最初から行われる。すでにダウンロードされていたら、上書きしないで飛ばすだけなので、中断すると最初からやるのと同じ時間がかかる！テストしてOKなら、一発勝負で最後までやるのがおすすめ。
• フォルダは自動的に作成してくれる。カレントディレクトリにURLのディレクトリが自動的につくられて、その下にURLに従ってフォルダが自動作成される。

ユーザーエージェントを指定するには？

ユーザーエージェントとは、何のブラウザ・ツールでWebサイトにアクセスしているかを示すデータです。サーバー管理者は、ユーザーエージェントを解析することで、何のブラウザ・ツールを使ってアクセスしてきているのかを推定することができます。wgetを使ってアクセスすると、wgetのユーザーエージェントが通知され、wgetを使ってスクレイピングしたことが分かってしまいます。

別にスクレイピング自体は悪いことではないので隠す必要はないのですが、実際にスクレイピングする際は一応標準的なユーザーエージェントを設定しておきたいものです。wgetはユーザーエージェントの指定してスクレイピングすることもできます。

ユーザーエージェントを指定するには、–user-agentオプションをつけます。

 --user-agent="任意のユーザーエージェント"

Chromeからアクセスしているものとする場合は、次のようになります。

 --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"

これをwget実行時のオプションに追加してください。

まとめ

今回紹介した方法（wgetコマンドを使った方法）を使うと、Seleniumなどのツールを使わなくても、かんたんにWebサイトを保存しておくことができます。SeleniumやPythonでプログラミングしなくても、コマンド一発で消えそうなWebサイトなどをアーカイブできます。

一応注意しておくと、SPA（シングルページアプリケーション）などを使用した最新のWebサイトについては、wgetではスクレイピングできないことがあります。こういった場合はSeleniumを使う必要があります。ただし、昔からあるような静的ファイルで構成されているWebサイトやサーバーサイドレンダリングされているサイトであれば、wgetで十分です。個人使用かつサイトのルールに違反しない程度に活用してみてもらえればと思います。

WSL 2 installation is incomplete

というエラーが発生しました。

はじめにチェック

まず、次のポイントをチェックします。

• WSLは有効になっているか？
• WSLで動作させるOSをインストールしているか？
• インストール後に再起動したか？

どちらも済んでいるなら、次に進んでください。

解決法

次のリンクからLinuxカーネル更新プログラムをダウンロードし、インストールします。

https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

wslstorestorage.blob.core.windows.net

↓このプログラムについての詳細はMicrosoft公式にあります。

以前のバージョンの WSL の手動インストール手順

wsl install コマンドを使用するのではなく、古いバージョンの Windows に WSL を手動でインストールする手順を説明します。

learn.microsoft.com

解決した

これをインストールしたところ、きちんと起動するようになりました。

強制的にフェチするには？

以下のコマンドを実行します。

$git fetch origin master
$git reset --hard origin/master

ローカルの内容は書き換えられて、リモートリポジトリで上書きされます。

youtube-dl

ytdl-org.github.io

GitHubでソースコードが開発されており、有志によって開発されています。

GitHub - ytdl-org/youtube-dl: Command-line program to download videos from YouTube.com and other video sites

Command-line program to download videos from YouTube.com and other video sites - ytdl-org/youtube-dl

github.com

今回はyoutube-dlを使って、ライブ配信をダウンロードする方法をまとめておきます。

youtube-dlはダウンロードするだけですが、使用するには別途ffmepgのインストールも必要です。あらかじめffmpegもセットアップしてください。

【簡単】FFMPEGをWindowsパソコンにインストールしよう

FFMPEGをwindowsパソコンにインストールする方法をシェアします。FFMPEGはソフトウェアですが、通常のソフトウェアのインストール方法とは異なりますが、非常に簡単ですので安心して下さい。FFMPEGのダウンロードまずはソフトウェア...

opty-life.com

youtube-dlをインストール

youtube-dlをダウンロードします。

youtube-dl: Download Page

ytdl-org.github.io

今からライブ配信を録画するには？

現在からライブ配信を保存するには、次のようにします。

>youtubedl.exe <動画のURL>

URLを指定するだけでOKです。動画のURLを引数に指定すれば、ライブ配信であっても保存（録画）することができます。

録画を停止するには、Ctrl+Cを押します。

ライブ配信を最初からダウンロードしたいときは？

シークバーで巻き戻して再生できるライブ配信の場合は、最初からダウンロードすることが可能です。次の手順でダウンロードします。

① Fオプションでフォーマットを調べる

>youtube-dl.exe -F <URL>

// 出力例
format code  extension  resolution note
139          m4a        audio only DASH audio   64k , m4a_dash container, mp4a.40.5 (22050Hz)
140          m4a        audio only DASH audio  144k , m4a_dash container, mp4a.40.2 (44100Hz)
278          webm       256x144    DASH video  111k , webm_dash container, vp9, 30fps, video only
242          webm       426x240    DASH video  166k , webm_dash container, vp9, 30fps, video only
160          mp4        256x144    DASH video  212k , mp4_dash container, avc1.42c00b, 15fps, video only
243          webm       640x360    DASH video  292k , webm_dash container, vp9, 30fps, video only
133          mp4        426x240    DASH video  456k , mp4_dash container, avc1.4d4015, 30fps, video only
244          webm       854x480    DASH video  528k , webm_dash container, vp9, 30fps, video only
134          mp4        640x360    DASH video 1008k , mp4_dash container, avc1.4d401e, 30fps, video only
247          webm       1280x720   DASH video 1040k , webm_dash container, vp9, 30fps, video only
135          mp4        854x480    DASH video 1350k , mp4_dash container, avc1.4d401f, 30fps, video only
136          mp4        1280x720   DASH video 2684k , mp4_dash container, avc1.4d401f, 30fps, video only
91           mp4        256x144     290k , avc1.42c00b, 15.0fps, mp4a.40.5
92           mp4        426x240     546k , avc1.4d4015, 30.0fps, mp4a.40.5
93           mp4        640x360    1209k , avc1.4d401e, 30.0fps, mp4a.40.2
94           mp4        854x480    1568k , avc1.4d401f, 30.0fps, mp4a.40.2
95           mp4        1280x720   2969k , avc1.4d401f, 30.0fps, mp4a.40.2 (best)

フォーマットからダウンロードしたいvideoとaudioの組み合わせを選びます。

② フォーマットを指定してダウンロードする

-fオプションを使い、フォーマットを指定してダウンロードします。

>youtube-dl.exe -f 136+140 <URL>

フォーマットは、videoとaudioのフォーマットコードを+でつないで指定します。

これで最初から最後まで、ライブ配信をダウンロードできます。

ただし、動画によっては最初からダウンロードできない場合があるようです。

その場合はLiveが終わってから、ダウンロードするしかなさそうです。

なお、ダウンロードには少し時間がかかりますので、ご注意を！