2014年8月追記
Youtubeのサイトにmp4(h.264)動画をアップロードする際のガイドラインページが設置されているのを発見しました。
→ Youtubeにアップする動画の推奨エンコード設定
現在では(Yambのバグに気をつけておけば) mp4で動画をアップする事自体に問題は無くなっている感じです。

追記終わり。以下は公開当初の文章


以前にも「YouTubeにmp4/h.264動画をアップする時の注意事項メモ」として似たようなお話をアップしてて、その続きっぽいお話です。

上ページの要点

今回のお話

YambでMUXしたmp4動画は、「ニコニコ動画にアップした時」も何か挙動がおかしいぞ･･･？
と気が付いて、色々と調べていて以下のブログさんに辿りつきました。

　Yamb（MP4の分離・結合）に問題あるかも: Hasuya Michiharu まさにコレと同じ問題に遭遇しました。今まで このどちらかだと思っていたけれど･･･これは音声部分でも問題が発生しているのかな？

　

上記ページのみでは、音声ファイルに何を利用しているかが不明だけど、前後ページを読み漁って行くと音声にはmp3フォーマットを利用している事が分かります。
YambでMUXしたMP4動画/音声MP3
▲ウチの環境でも同様の結果が出た。
mp3音声 と h264動画 をMUXしてMP4動画を作成した場合、Windowsのプロパティではオーディオのチャンネル、ビットレートが正しく読み取れず、空欄になってしまう。
(mp3はFFMpegで作成、チャンネルは Joint stereo )

上記ファイルは、PCで再生する分には特に問題は発生しません。

音声にaacを用いた場合 / PCで再生する場合

音声にaacを用いた場合、ファイルのプロパティに異常が出る事はありませんでしたが、PCで動画を再生する場合にシークが非常に重くなりました。
(音声にmp3等を利用した場合は、YambでMUXしたMP4でもPC再生でシークに問題なし）

このファイルも、Youtubeやニコニコ動画にアップすると問題が発生する。

ちなみに問題の出たファイルをFFMpegでmp4に素通しエンコしたり、mmg.exeでmkvに素通しマージさせると、シークの問題は無くなる。動画サイトへアップロードした際も問題は発生しない。

結論

YambでMP4にMUXしたMP4動画は、色々とトラブルが発生し易い
　・動画部分じゃなく、音声部分で問題が発生しているかもしれない
　・問題が発生しても、FFMpegやmmg.exeで素通しすれば、ほぼ解決する。

動画をアップロードする際に発生する様々な不具合の原因、犯人はmp4じゃなくてYambじゃね･･･？ と再認識した。

音声ファイルと動画ファイルをMP4にMUXする際、Yambが一番お手軽なんだけど･･･やっぱり控えた方が良さそうですね(；´ω｀)

関連ページ
　　YouTubeにmp4/h.264動画をアップする時の注意事項メモ