frutch [wiki]

DimensionnementMoteur

Cette page regroupe quelques témoignages de dimensionnement en attendant d'avoir des résultats expérimentaux.

Note de ChristopheNoel

Les devellopeurs de Nutch s'accordent a dire le plus souvent que chaque page necessite en moyenne 10 Ko. Les chiffres de stockage sont donc a revoir.

Message de ChristopheNoel sur [frutch]

Crawler 4 milliards de page en 2 mois:
  • 370 Tera-octets d'espace de stockage nécessaire
  • 6 connexions 100 Mbits/s (+- 6000 euros par mois)
  • 6 serveurs avec une grande puissance en RAM et quadri-processeur.
Il faut compter un serveur web (avec connexion 100Mbits) par million de requête par jour pour rester dans des temps de réponse raisonnable.

Message de PierreAubert? sur [frutch]

1 millard de documents et 5 requetes secondes:
  • 12 PC bi P4 + 4G de RAM
  • 24 racks disques et dans chaque rack:
    • 12 disques de 250G SATA par exemple
    • ou 12 racks disques de 12x400 SATA.
Il y a 2 commentaires sur cette page. [Afficher commentaires/formulaire]