Cum să găsiți pagini ascunse pe site-uri web

În 2016, Google a gestionat peste 3,3 trilioane de interogări de căutare, însă rezultatele obținute de motorul de căutare au reprezentat doar o fracțiune din conținutul disponibil online. O mare parte din informațiile disponibile online nu sunt accesibile de către motoarele de căutare, deci trebuie să utilizați instrumente speciale sau să investigați site-urile pe cont propriu pentru a găsi aceste pagini ascunse. Cunoscut sub numele de web adânc, această informație ascunsă reprezintă de până la 5.000 de ori ceea ce este disponibil prin tehnicile de căutare tipice. Tipurile de conținut ascuns

Paginile ascunse ale site-urilor intră în categorii care descriu de ce rămân invizibile pentru motoarele de căutare.

Unele reprezintă conținut dinamic, servit doar atunci când un vizitator emite o cerere specifică pe un site web care utilizează coduri bazate pe baze de date pentru a prezenta rezultate vizate. De exemplu, aceste pagini ar putea include rezultate de cumpărături bazate pe combinații specifice de criterii de produs. Motoarele de căutare nu sunt proiectate să urmărească și să stocheze informațiile stocate în aceste baze de date. Pentru a găsi aceste pagini, va trebui să accesați site-ul web și să căutați informațiile specifice pe care le căutați sau să utilizați un serviciu de căutare orientat către baze de date, cum ar fi Bright Planet.

Unele pagini nu au legături care conectați-le la sursele de căutare. Resursele temporare, cum ar fi mai multe versiuni ale site-urilor subdezvoltării, pot intra în această categorie, precum și site-urile web prost dezvoltate. De exemplu, dacă cineva a creat o pagină web și a încărcat-o pe serverul site-ului web, dar nu a reușit să adauge o legătură pe aceasta pe paginile curente ale site-ului, nimeni nu ar ști că a fost acolo, inclusiv motoarele de căutare. Tot mai multe pagini necesită acreditări de conectare pentru a le vizualiza sau pentru a le ajunge, cum ar fi site-urile de abonare. Designerii web desemnează pagini și secțiuni ale site-urilor ca fiind limitate la motoarele de căutare, eliminându-le în mod eficient de a fi găsite prin mijloace convenționale. Pentru a accesa aceste pagini, de obicei, trebuie să creați un cont înainte de a vi se da permisiunea de a le accesa.

Utilizarea fișierelor Robots.txt

Motoarele de căutare accesează cu crawlere paginile de pe un site web și indexarea conținutului acestuia, astfel încât acesta să poată apărea ca răspuns la întrebări. Atunci când un proprietar de site vrea să excludă anumite porțiuni din domeniul său din aceste proceduri de indexare, adaugă adresele acestor directoare sau pagini unui fișier text special numit robots.txt, stocat la radacina site-ului său. Deoarece majoritatea site-urilor web includ un fișier robots, indiferent dacă adaugă excepții la acesta, puteți utiliza numele previzibil al documentului pentru a afișa conținutul acestuia.

Dacă introduceți "[nume domeniu] /robots.txt" fără ghilimele în linia de locație a browserului dvs., înlocuind "[nume de domeniu]" cu adresa site-ului, conținutul fișierului robot apare adesea în fereastra browserului după ce apăsați tasta "Enter". Intrările prefecționate cu "disallow" sau "nofollow" reprezintă părți ale site-ului care rămân inaccesibile prin intermediul unui motor de căutare.

Hacking pe site-ul dvs. la fișierele robot.txt, puteți găsi adesea conținut ascuns altfel introducând adrese web pentru anumite pagini și foldere din browserul dvs. web. De exemplu, dacă vizionați site-ul unui artist și ați observat că fiecare pagină folosește aceeași convenție de numire - cum ar fi gallery1.html, gallery2.html, gallery4.html - atunci este posibil să găsiți o galerie ascunsă prin tastarea paginii " gallery3.html.“ în browserul web.

În mod similar, dacă vedeți că site-ul folosește foldere pentru a organiza pagini - cum ar fi example.com/content/page1.html, cu "/content" fiind dosarul - atunci este posibil pentru a vizualiza dosarul însuși introducând site-ul și dosarul, fără o pagină, cum ar fi "example.com/content/" în browserul dvs. Web. Dacă accesul la dosar nu a fost dezactivat, este posibil să navigați prin paginile pe care le conține, precum și pe paginile din subdosaje, pentru a găsi conținut ascuns.
URL:https://ro.whycomputer.com/Internet/100512760.html