Nej, en robot. txt-fil er ikke påkrævet for et websted. Hvis en bot kommer til din hjemmeside, og den ikke har en, vil den bare crawle din hjemmeside og indeksere sider, som den norm alt ville. … txt-fil er kun nødvendig, hvis du vil have mere kontrol over, hvad der crawles.
Hvad sker der, hvis du ikke har robots txt?
robotter. txt er helt valgfri. Hvis du har en, vil standard-kompatible crawlere respektere den, hvis du ikke har nogen, kan alt, der ikke er forbudt i HTML-META-elementer (Wikipedia), gennemgås. Webstedet vil blive indekseret uden begrænsninger.
Kan jeg slette robots txt?
Du skal fjerne begge linjer fra dine robotter. txt-fil. Robotfilen er placeret i rodmappen på din webhostingmappe, denne kan norm alt findes i /public_html/, og du bør kunne redigere eller slette denne fil ved hjælp af: FTP ved hjælp af en FTP-klient såsom FileZilla eller WinSCP.
Er robots txt sikker?
Robotterne. txt filen er ikke i sig selv en sikkerhedstrussel, og dens korrekte brug kan repræsentere god praksis af ikke-sikkerhedsmæssige årsager. Du bør ikke gå ud fra, at alle webrobotter vil overholde filens instruktioner.
Hvorfor er robots txt dårlig?
Simpelthen tilføjelse af en liste over webadresser, der er beregnet til at være private til en robot. txt-fil er en af de værste måder at forsøge at holde webadresser skjulte på, og i de fleste tilfælde resulterer det i præcis det modsatte af det tilsigtede resultat.
