Du kannst nicht einfach irgendwelche Seiten entfernen lassen. Immerhin gibt es Leute, die wollen, dass ihre Seiten bei google auftauchen.
Demnach kannst du nur Seiten "melden".
Ein 404-Fehler kommt vom Server zurück, wenn es die Seite nicht oder nicht mehr gibt.
Beispiel: du rufst www.yahoo.de/schlagmichtot.htm
auf, dann kommt die Nachricht, dass diese Seite nicht existiert.
Im normalfall, weil entweder jemand einen Verlinkungsfehler gemacht hat, oder es die Seite zwar mal gab, inzischen aber entfernt oder anders benannt wurde.
Der Error 410 ist glaub ich nicht mehr gebräuchlich, er behandelte das "nicht mehr" des 404s.
Also ich hab schon ewig keinen 410 mehr gesehen. Kann aber durchaus sein, dass es ihn noch gibt. Aber die Meldungen überschneiden sich soweit ich weiss gerne mal.
Eine robots.txt ist eine Datei die man auf dem WEbserver hat, in der stehen verzeichnisse bzw. Seiten, die vielleicht nicht direkt verlinkt sind, aber auf jeden Fall von der Suchmaschine gelesen werden sollen, ODER auf KEINEN FALL gelesen werden sollen.
Sollte nun doch der unerwünschte Fall eintreten, so kann man das melden.