Na jednotlivých mierkach je dodatočné zaťaženie zanedbateľné, ale pri masívnych scrapingových operáciách sa sčítava a robí scraping výrazne drahším.
Toto je dočasné riešenie, ktoré umožňuje stráviť viac času na fingerprintingu a identifikácii headless prehliadačov (napríklad cez spôsob renderovania písiem), aby stránka s tzv. proof-of-work úlohou nemusela byť prezentovaná používateľom, ktorí sú oveľa pravdepodobnejšie legitímni.
Podstata problému a prečo sa zameriavať na fingerprinting
Ide o to, že samotné riziko zneužitia zo strany skripov je potrebné znižovať na rôznych úrovniach. Atómové kroky, ktoré vynakladajú malé dodatočné prostriedky, sú na jednotlivej úrovni často zanedbateľné, no na úrovni masívnych scraperov narastajú a zvyšujú náklady na prístup k obsahu.
Keď sa zameriame na identifikáciu headless prohliadačov, môžeme získať lepšiu filtráciu žiadostí, ktoré sú pravdepodobne automatizované, a tým ušetriť šírku pásma a výpočtový čas na legálne prístupy. Príkladom je analýza spôsobu renderovania fontov a ďalších vizuálnych prvkov, ktoré sa líšia od bežných prehliadačov s desktopovými alebo mobilnými inštaláciami.
Čo chce dosiahnuť placeholder riešenie?
Placeholder riešenie umožňuje skočiť na krátke obdobie a sústrediť sa na zdokonalenie fingerprintingu, aby bolo možné efektívnejšie identifikovať a odlíšiť headless architektúry od bežných klientov. Hlavný účel je minimalizovať potrebu zobrazovania prekážok „proof of work“ tým používateľom, ktorí sú pravdepodobne legitímni.
V spojení s modernými JavaScriptovými funkciami môže byť pozorovanie a analýza správania predstaviteľná aj v prostredí, kde plug-iny ako JShelter môžu byť vypnuté alebo obmedzené.
Pravdepodobnostné prístupy a praktické implikácie
Na úrovni jednotlivcov je vplyv dodatočných nákladov relatívne malý, ale pri veľkých objemoch sa tieto náklady zvyšujú a stávajú sa významnými pre efektívnosť scrappingu.
Prístup zameraný na fingerprinting môže zahŕňať analýzu:
- špecifických vzorov renderovania fontov,
- správania JavaScriptových modulov a ich latencie,
- štruktúry DOM a možných odchýlok v DOM update frekvenciách,
- akcelerácie grafiky a ďalších systémových indikátorov prostredia.
Implementačné poznámky
Je dôležité vyvažovať ochranu a používateľskú skúsenosť. Riešenia by mali byť transparentné pre legitímnych používateľov a zrozumiteľné pre správcov stránok.
V budúcnosti môžu nasledovať ďalšie metódy na identifikáciu a blokovanie headless prehliadačov, ktoré pôjdu nad rámec fontov a budú zahŕňať komplexné fingerprintingové techniky a adaptívne stratégie zaťaženia servera.
Možné dopady na používateľov a webové služby
Táto problematika zahŕňa vyvažovanie medzi zabezpečením obsahu a zachovaním pohodlia legitímnych návštevníkov. Správne nasadené techniky môžu znížiť nevyžiadané scrappingy bez výrazného zhoršenia UX.
Ako porovnávať odtlačky prstov – základy
Možnosti rozšírenej tabuľky údajov
| Rozmer | Popis | Dopad na náklady |
|---|---|---|
| Widget renderovania fontov | Analýza unikátnosti renderu textu pre rôzne fonty | Stredný až vysoký na masívne skrapingy |
| Latencia JavaScriptu | Meranie časov odpovedí a výkonu na frontend | Nízky až stredný na bežných používateľoch |
| Detekcia headless prehliadačov | Porovnanie správania s klasickými prehliadačmi | Vysoký dopad na zamedzenie zneužitia |