Le web profond (ou caché : deep or hidden) serait 400 à 500 fois plus important que le web visible, libre d'accès à 95% et non indexé (550 milliards de documents).

Il est composé :

- de pages de sites trop volumineux pour être entièrement indexés : NASA, bases de données, sites d’universités (@), catalogues de bibliothèques (@) ; (@)...

- de sites accessibles par mot de passe (@) ; (@)

- de bases de données avec moteur interne et formulaire de recherche (@)

- de pages rendues invisibles aux robots par leurs auteurs grâce aux balises : no index, no follow
<meta name="robots" content="noindex,nofollow">

- de pages dynamiques (générées à partir d'une requête)

Les outils pour l'explorer :

- Des moteurs : Thunderstone ; Incywincy ; Turbo10 ; Beaucoup

- Des bases de données : Dadi

- Et des répertoires spécialisés : Brightplanet, Completeplanet

Pour aller plus loin : http://c.asselin.free.fr/french/invisible_web.htm