Blokování robotů a problém s Facebook external hit

U Linux hostingů a služeb WP Ready jsme implementovali opatření proti přetěžování našich serverů roboty, kteří nadměrně zatěžují naše clustery. Tato opatření zahrnují blokování některých user agents na základě stanovených pravidel a limitů. Jedním z takto omezených robotů je facebookexternalhit/1.1 (více informací), což může způsobovat problémy s načítáním náhledů stránek na Facebooku.

Zavedli jsme limit 30 dotazů jednoho robota na doménu za minutu. Pokud je tento limit překročen, server vrací chybu 429 (Too Many Requests). Implementace limitů pro roboty je důležitá pro stabilitu a výkon našich serverů a je navržena tak, aby chránila zdroje před nadměrným zatěžováním.

facebookexternalhit je robot, který prochází webové stránky a ukládá je do cache pro případné sdílení uživateli. Tento robot zajišťuje, aby při sdílení obsahu na Facebooku byly k dispozici správné náhledy, titulky, popisy a další meta data.

Bohužel je však tento robot navržen tak, že pokud narazí na chybu 429, uloží si ji do cache. To znamená, že pokud poté uživatel na Facebooku sdílí stránku, na kterou byl aplikován tento limit, zobrazí se místo očekávaného náhledu chyba. V takovém případě si zákazníci často stěžují, že sdílení nefunguje správně, a domnívají se, že problém je na straně našeho hostingu.

Chyba je ve skutečnosti na straně Facebooku a jejich robota facebookexternalhit. Problém lze vyřešit pomocí nástroje pro odstraňování těchto problémů, který se nazývá Facebook Sharing Debugger. Vložte URL problematické stránky do Sharing Debuggeru a nechte ji analyzovat. Tento nástroj umožní znovu načíst obsah a aktualizovat cache na straně Facebooku.
 Při použití Debuggeru můžete také zkontrolovat, jaké chyby jsou na stránce detekovány, a případně provést další úpravy pro optimalizaci náhledu.

Pokud máte další otázky nebo narazíte na jiné problémy, neváhejte kontaktovat naši zákaznickou podporu.