Fehlersuche in Hadoop

7 Jul

Manchmal gibt es leider auch in Clustern einige seltsame Fehler:

org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not 
find any valid local directory for taskTracker/…

Der Fehler sagt eigentlich nur aus, dass der Node nicht mehr genug Speicherplatz frei hat. Lösung hierfür wäre die Vergrößerung der Festplatte, aktuell 150 GB.

Der nächste Fehler hat eine andere Ursache:

Task attempt_1 failed to report status for 600 seconds. Killing!

Die Lösung dafür ist die Erhöhung des Timeouts, indem auf allen Nodes mapred.task.timeout erhöht wird (in /conf/mapred-site.xml). Mal sehen, ob dies die Erlösung bringt…

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: