マツモブログ
マツモブログ
読者になる

マツモブログ

2011-12-09から1日間の記事一覧

2011-12-09

HadoopでShuffle Error

hadoop

reduce処理で「Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.」と出て戦ったのでメモ。 原因としては各ノードのホスト名(と対応するIPアドレス)が127.0.0.1で通信不能だったため。↓のようなNICを複数持っている構成の場合(ホスト名=127.…

はてなブックマーク - HadoopでShuffle Error
プロフィール
id:yumatsumo id:yumatsumo
読者です 読者をやめる 読者になる 読者になる
このブログについて
検索
リンク
  • はてなブログ
  • ブログをはじめる
  • 週刊はてなブログ
  • はてなブログPro
最新記事
  • 天運は我に無いけど原因はinodeにあった
  • ソースインストールvimで日本語が文字化け
  • HadoopでShuffle Error
  • dateの前とか後とかのオプションのまとめ
  • 思います。考えています。推測されます。恐らく。の抜け道
月別アーカイブ
  • ▼ ▶
    2012
    • 2012 / 3
  • ▼ ▶
    2011
    • 2011 / 12
    • 2011 / 10
    • 2011 / 8
    • 2011 / 7
    • 2011 / 3
  • ▼ ▶
    2010
    • 2010 / 6
    • 2010 / 1
  • ▼ ▶
    2009
    • 2009 / 9
    • 2009 / 4
    • 2009 / 3
    • 2009 / 2
    • 2009 / 1
  • ▼ ▶
    2008
    • 2008 / 12
    • 2008 / 7
    • 2008 / 5
    • 2008 / 4
    • 2008 / 3
    • 2008 / 2
    • 2008 / 1
  • ▼ ▶
    2007
    • 2007 / 12
    • 2007 / 11
    • 2007 / 9
    • 2007 / 8
    • 2007 / 7
    • 2007 / 6
    • 2007 / 5
    • 2007 / 3
    • 2007 / 1
  • ▼ ▶
    2006
    • 2006 / 12
    • 2006 / 10
マツモブログ マツモブログ

Powered by Hatena Blog | ブログを報告する

引用をストックしました

引用するにはまずログインしてください

引用をストックできませんでした。再度お試しください

限定公開記事のため引用できません。

読者です 読者をやめる 読者になる 読者になる