spatie/crawler v9-ல் என்ன புதுசா வந்துருக்கு?

Version 9-ல் typed CrawlResponse object (wasRedirected(), dom(), transferStats() போன்ற methods), improved scope controls, FinishReason enum, fake() testing utility, மற்றும் large crawls-க்கு streaming support சேர்க்கப்பட்டது.

JavaScript-ல் render ஆகும் pages-ஐ crawl செய்யலாமா?

ஆமா! JavaScriptRenderer interface மற்றும் built-in CloudflareRenderer மூலம் JS-rendered pages crawl செய்யலாம். Local rendering-க்கு spatie/browsershot (Puppeteer-based) use செய்யலாம்.

Real HTTP requests இல்லாமல் crawler-ஐ test செய்யலாமா?

ஆமா, fake() method மூலம் URLs-க்கு mock HTML responses pass செய்யலாம். CI/CD pipelines-ல் network dependency இல்லாமல் deterministic tests எழுதலாம்.

spatie/crawler Laravel-ல் use செய்யலாமா?

நிச்சயமாக! PHP 8.1+ உள்ள எந்த application-லயும் use செய்யலாம், ஆனால் Laravel-ல் seamlessly integrate ஆகும். Observer classes Laravel-ன் dependency injection-ஐ support செய்யும்.

‹ முகப்புக்கு திரும்ப

Web Dev Read in English

PHP Package for Concurrent Website Crawling: spatie/crawler v9 முழு விளக்கம்

Q: spatie/crawler என்றால் என்ன?

spatie/crawler என்பது PHP-ல் websites-ஐ concurrently crawl செய்ய உதவும் open-source package. Guzzle HTTP மூலம் ஒரே நேரத்தில் பல URLs process செய்யலாம். SEO audits, broken link detection, sitemap generation போன்றவற்றிற்கு useful.

spatie/crawler v9 என்பது PHP developers-க்கான ஒரு powerful web crawling package. Guzzle promises மூலம் concurrent crawling, typed CrawlResponse object, built-in testing support - இவை எல்லாம் ஒரே package-ல் கிடைக்கும்.

Keerthika Mar 12, 2026 3 min read

Google-ல் Follow

அப்டேட் 5 மாதங்கள் முன்

Web Dev PHP Package for Concurrent Website Crawling: spatie/crawler v9 முழு விளக்கம் 3 நிமிடம் மீதம் Google-ல் Follow

3 நிமிடம் மீதம்

எங்களுடன் இணையுங்கள்

WhatsApp சேனல்

முக்கிய தொழில்நுட்ப செய்தி விழிப்பூட்டல்கள்
பிரத்யேக சலுகைகள் & ஆஃபர்கள்
தினசரி தமிழ் தொழில்நுட்ப குறிப்புகள்

சேனலை பின்தொடரவும்

Join early — free Tamil tech updates every day

PHP Package for Concurrent Website Crawling: spatie/crawler v9 முழு விளக்கம்

தமிழ்டெக் AI சுருக்கம்

spatie/crawler v9 என்பது Spatie உருவாக்கிய open-source PHP package; இது Guzzle HTTP மூலம் ஒரே நேரத்தில் பல URLs-ஐ concurrent-ஆக crawl செய்து SEO audit, broken link check, sitemap போன்ற வேலைகளுக்கு உதவும். Version 9-ல் வந்த CrawlResponse object status(), redirect history, dom() parsing போன்ற clean methods தரும், மேலும் onWillCrawl, onCrawled, onFailed, onFinished event hooks-ஐ closure அல்லது observer மூலம் handle செய்யலாம். Composer require spatie/crawler மூலம் PHP 8.1+ல் install செய்து internalOnly(), depth(), setConcurrency(), maximumCrawlCount() கொண்டு scope control செய்யலாம்; fake() மூலம் network இல்லாமல் CI/CD testing-ம் எளிது. Throttling, automatic retry, stream() memory saving, JavaScript rendering (Browsershot) போன்ற features server-ஐ பாதுகாத்து large sites-ஐயும் handle செய்யும், concurrent mode sequential-ஐ விட சுமார் 5-10x வேகமாக இருக்கும். இந்த package SEO audit, e-commerce monitoring, news aggregation போன்ற real projects-க்கு complete crawling solution ஆகும்; GitHub-ல் try செய்து பாருங்கள்.

spatie/crawler என்றால் என்ன?
spatie/crawler v9-ல் என்ன புதுசா வந்துருக்கு?
JavaScript-ல் render ஆகும் pages-ஐ crawl செய்யலாமா?
Real HTTP requests இல்லாமல் crawler-ஐ test செய்யலாமா?

AI உதவியுடன் தயாரான சுருக்கம் — தமிழ்டெக் எடிட்டர்ஸ் சரிபார்த்தது.

PHP Package for Concurrent Website Crawling: spatie/crawler v9 முழு விளக்கம்

Web crawling என்பது modern software development-ல் மிக முக்கியமான ஒன்று. SEO audit, broken link detection, sitemap generation, content indexing - இவை எல்லாவற்றிலும் web crawling தேவைப்படும். PHP developers-க்கு spatie/crawler package நீண்ட காலமாக gold standard ஆக இருந்து வருகிறது. இப்போது version 9-ல் இன்னும் powerful features சேர்க்கப்பட்டுள்ளன.

இந்த article-ல், spatie/crawler v9-ன் features என்ன, அதை எப்படி use செய்வது என்று step by step பார்க்கலாம்.

spatie/crawler என்றால் என்ன?

spatie/crawler என்பது Belgium-ல் இருக்கும் Spatie company-ன் Freek Van der Herten-ஆல் உருவாக்கப்பட்ட open-source PHP package. இது Guzzle HTTP-ஐ base ஆக வைத்து concurrent crawling செய்கிறது - அதாவது ஒரே நேரத்தில் பல URLs-ஐ crawl செய்யும்.

Premium Content

You've read all your free articles today. Subscribe to continue reading.

You've used 3 of 3 free articles today.

Subscribe Now

Already subscribed? Sign in

நாளைய டெக் செய்திகள் உங்க WhatsApp-க்கே

தினமும் ஒரு சின்ன update, இலவசம். TamilTech channel-ஐ follow பண்ணுங்க.

What do you think?

people reacted

#Open Source #Laravel #PHP #spatie #web crawling

Keerthika

தமிழ்டெக் எடிட்டோரியல் டீம் · 3,344 கட்டுரைகள்

Keerthika is an editor at TamilTech, the Tamil and English technology publication founded by Praveen Kumar S. She covers AI, smartphones, gadgets, EVs, startups and cybersecurity i...

மேலும் Keerthika