| RxTx a întrebat:

Uite incerc sa fac si eu un site. Mai bine spus optimizarea seo. Acum m-am impotmolit la fisierul robots.txt
Intrebarea mea este : CUM SE CONFIGUREAZA ROBOTS.TXT
Pentru a permite tuturor motoarelor de cautare sa imi idexeze site-ul.
Vreau sa dau voie al toate motoarele de cautare sa imi ia in consideratie site-ul meu cu toate paginile din el.
Nu am nimic de ascuns.
Nu vreau sa exclud nici un motor de cautare.
Vreau sa fiu gasit de toate motoarele de catutare.

Dar eu gasesc pe google doar exemple in care imi arata cum sa excluzi cand un motor cand altul, cum sa nu dai voie sa intre in toate directoarele site-ului tau.
Dar eu nu vreau sa exclud pe nimeni : Ba chiar invit pe toata lumea sa intre in toate paginile si directoarele site-ului meu!

Multumesc.

Răspuns Câştigător
| KodrutZ a răspuns:

Nu editezi nimic. Da-l in singe. Nici macar nu e musai sa folosesti robots.txt. Ala se foloseste pentru excluziuni (ca si. htaccess dealtfel, dar in ala poti sa bagi mult mai multe chestii) si nu pentru incluziuni. Nu pui nici un robots nimic - o sa te indexeze toti robotzeii. Simplu.

4 răspunsuri:
suntserios
| suntserios a răspuns:

Http://www.robotstxt.org/robotstxt.html

ce ai tu nevoie

User-agent: *
Disallow:

Răspuns utilizator avertizat
| ionutss a răspuns:

To exclude all robots from the entire server

User-agent: *
Disallow: /

To allow all robots complete access

User-agent: *
Disallow:

| nrc1122 a răspuns:

E foarte bine sa ai un robots.txt in root.
E foarte bine sa incluzi calea catre sitemap pentru google in fisierul robots.txt si e foarte bine sa ai user-agent: *(all) si allow: /

Deci:

Sitemap: http://www.siteultau.ro/sitemap.xml

User-agent: *
Allow:/