Zum ersten Mal wurden im Lemmy-Netzwerk mehr als 30.000 Lemmies durch den Crawler erfasst! Zur Feier gibt es ein kleines Update mit weiteren Filtern :)
You must log in or register to comment.
Cool! Ich hab übrigens die letzten Tage ein paar Verbesserungen am crawler gemacht, kannst du dir mal anschauen, und mir sagen was du davon hältst. Oder auch falls du irgendwelche bugs oder feature requests hast.
Ein Filter für veraltete Instanzen ist eine gute Idee, werde ich bei Gelegenheit in die Map einbauen!
Eine kleine Verbesserung wäre es, einen User-Agent Header zu setzen.
Ich habe letztens 4fun einen nodejs-Crawler geschrieben welchen ich mittlerweile benutze, auch um die GreenFediverse Daten abzugreifen ;)
Gute Idee, hab den user-agent eben hinzugefügt.
