最近、Hadoopなどの分散コンピューティングに興味を持ち、そう言えば分散といえばエンコーディング処理だよなぁと思い、動画などのHadoopのエンコードプログラムを探したのですが見つかりませんでした。
以前、テレビ向けのソリューションを見たときにエンコーディングをクラスタリングしていた記憶があったので意外でした。
そう言えば、エンコーディングOSSのffmpegもマルチコアは対応していたものの、GPGPU機能の対応は最近だったような気がします。
タグではHadoopにしておりますが、Hadoopに限らず、分散コンピューティング(クラスタリング)に対応したOSSはあるのでしょうか？
また、そういったソフトが少ないのはデータ構造などから分散処理しにくいのでしょうか？
(私のググる力が弱い可能性も大ですが)
No.1
199
31
100pt
オープンソースで需要が低いものは作成されないでしょう。
作成した人がいたとしてもそのプロジェクトに参加する人が少ないので
自然消滅してしまうでしょう。
ファイルの圧縮・展開はファイルフォーマットによっては
そもそも現実的でないかもしれません。
データ量がすくないと複数のコンピュータで連携するための
オーバーヘッド（タスクスケジュール、通信など）もそれなりに発生するので
それなりに大きいデータでないと効果がありません。
というかデータが大きければ大きいほど通信などのオーバーヘッドのほうが大きい気がします。
2
2
1
4
2
参加者というシンプルな理由ですね。確かにそれは大きいかもしれないですね。
2020/01/23 12:23:01逆に頑張って探せばzipくらいならサンプルプログラムが見つかるかもしれませんね。
探してみます。