Manchmal gibt es leider auch in Clustern einige seltsame Fehler:
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for taskTracker/…
Der Fehler sagt eigentlich nur aus, dass der Node nicht mehr genug Speicherplatz frei hat. Lösung hierfür wäre die Vergrößerung der Festplatte, aktuell 150 GB.
Der nächste Fehler hat eine andere Ursache:
Task attempt_1 failed to report status for 600 seconds. Killing!
Die Lösung dafür ist die Erhöhung des Timeouts, indem auf allen Nodes mapred.task.timeout erhöht wird (in /conf/mapred-site.xml). Mal sehen, ob dies die Erlösung bringt…
Studentenblogs DDI@UPB 
Hinterlasse einen Kommentar