Nu editezi nimic. Da-l in singe. Nici macar nu e musai sa folosesti robots.txt. Ala se foloseste pentru excluziuni (ca si. htaccess dealtfel, dar in ala poti sa bagi mult mai multe chestii) si nu pentru incluziuni. Nu pui nici un robots nimic - o sa te indexeze toti robotzeii. Simplu.
Http://www.robotstxt.org/robotstxt.html
ce ai tu nevoie
User-agent: *
Disallow:
To exclude all robots from the entire server
User-agent: *
Disallow: /
To allow all robots complete access
User-agent: *
Disallow:
E foarte bine sa ai un robots.txt in root.
E foarte bine sa incluzi calea catre sitemap pentru google in fisierul robots.txt si e foarte bine sa ai user-agent: *(all) si allow: /
Deci:
Sitemap: http://www.siteultau.ro/sitemap.xml
User-agent: *
Allow:/