Risultati di ricerca

  1. robots.txt - Wikipedia

    Il file robots.txt contiene delle regole utilizzate dai crawler (detti anche spider) per applicare restrizioni di analisi sulle pagine di un sito internet. ...
    Protocollo - Esempi - Estensione Standard - Posizionamento
    it.wikipedia.org/wiki/Robots.txt - Copia cache - Simili

  2. Robotstxt.org

     - [ Traduci questa pagina ]
    23 Aug 2010 ... Information on the robots.txt Robots Exclusion Standard and other articles about writing well-behaved Web robots.
    www.robotstxt.org/ - Copia cache - Simili

  3. A Standard for Robot Exclusion - The Web Robots Pages

     - [ Traduci questa pagina ]
    di M Koster - 2003 - Citato da 7 - Articoli correlati
    The presence of an empty " /robots.txt " file has no explicit associated semantics, it will be treated as if it was not present, i.e. all robots will ...
    www.robotstxt.org/wc/robots.html - Copia cache - Simili

  4. Analizzatore Robots.txt

    I file robots.txt (spesso erroneamente chiamati robot.txt, col singolare) vengono creati dai webmaster per marcare quei file e quelle directory di un sito ...
    tool.motoricerca.info/analizzatore-robots.phtml - Copia cache - Simili

  5. New Robots.txt Syntax Checker: a validator for robots.txt files

     - [ Traduci questa pagina ]
    If you care about validation, this robots.txt validator is a tester that will check your robots.txt file searching for syntax errors.
    tool.motoricerca.info/robots-checker.phtml - Copia cache - Simili

  6. Motori di ricerca: il file robots.txt per il controllo degli spider

    Tale file va chiamato "robots.txt" e contiene, in un particolare formato, delle istruzioni che possono impedire a tutti o alcuni spider il prelievo di ...
    www.motoricerca.info/robots.phtml - Copia cache - Simili

  7. is the robots.txt of Google - Google

     - [ Traduci questa pagina ]
    User-agent: * Disallow: /search Disallow: /groups Disallow: /images Disallow: / catalogs Disallow: /catalogues Disallow: /news Allow: /news/directory ...
    www.google.com/robots.txt - Copia cache - Simili

  8. Il file "robots.txt" | Guida Posizionamento nei motori di ricerca ...

    Lezione della Guida Posizionamento nei motori di ricerca del canale Web marketing - Dare indicazioni allo spider su cosa indicizzare.
    webmarketing.html.it/guide/.../il-file-robotstxt/ - Copia cache - Simili

  9. Robots exclusion standard - Wikipedia, the free encyclopedia

     - [ Traduci questa pagina ]
    A robots.txt file on a website will function as a request that specified robots ignore specified files or directories in their search. ...
    en.wikipedia.org/wiki/Robots_exclusion_standard - Copia cache - Simili

  10. WhiteHouse robots.txt - The White House

     - [ Traduci questa pagina ]
    User-agent: * Crawl-delay: 10 Sitemap: http://www.whitehouse.gov/feed/media/ video-audio.
    www.whitehouse.gov/robots.txt - Copia cache - Simili