முக்கிய விஷயங்கள்
- ஃபயர்கிரால் (Firecrawl) என்பது எந்தவொரு இணையதளத்தையும் ஆராய்ந்து, அதிலிருக்கும் தேவையற்ற கோடுகளை நீக்கி, AI மாடல்களுக்குத் தேவையான சுத்தமான Markdown ஃபார்மட்டுக்கு மாற்றும் ஓப்பன் சோர்ஸ் கருவி.
- டைப்ஸ்கிரிப்ட் (TypeScript) மொழியில் எழுதப்பட்ட இந்த ரெப்போசிட்டரி, GitHub தளத்தில் 1,93,147 ஸ்டார்களைப் பெற்று உலகளவில் ட்ரெண்டாகி வருகிறது.
- கிளவுட் சர்வீஸ்களுக்குப் பணம் கட்டாமல், உங்கள் லேப்டாப்பில் டாக்கர் (Docker) வழியாக இதை முற்றிலும் இலவசமாக நீங்களே ஹோஸ்ட் செய்து இயக்க முடியும்.
- காலேஜ் ஃபைனல் இயர் RAG ப்ராஜெக்ட் முதல் ஃப்ரீலான்ஸ் இ-காமர்ஸ் டிராக்கர் வரை, AI டோக்கன் செலவை 70% வரை குறைக்க இது உதவுகிறது.
Firecrawl அப்படின்னா என்ன?
நீங்க கடைசியா எப்போ ஒரு வெப்சைட்டிலிருந்து டேட்டாவை எடுக்க ஸ்கிராப்பிங் (scraping) பண்ண ட்ரை பண்ணீங்க? பைத்தானின் BeautifulSoup அல்லது Puppeteer வெச்சு கோட் எழுத ஆரம்பிச்சிருப்பீங்க. ஆனா நடுவுல வர்ற ஜாவாஸ்கிரிப்ட் லோடிங், கண்டபடி இருக்கும் div டேக்குகள், பாப்-அப் விளம்பரங்கள் எல்லாத்தையும் தாண்டி டேட்டாவை எடுக்குறதுக்குள்ள போதும் போதும்னு ஆகியிருக்கும். சரி, கஷ்டப்பட்டு எடுத்த அந்த அசிங்கமான HTML குப்பையை அப்படியே ChatGPT அல்லது லோக்கல் LLM மாடலுக்குள்ள அனுப்பினா என்ன ஆகும்? உங்க பிராம்ப்ட் டோக்கன் லிமிட் (token budget) சட்டுனு காலியாகி, பணமும் வீணாகும், மாடலும் தப்புத்தப்பா உளற ஆரம்பிக்கும்.
இந்த தலைவலிக்கு முற்றுப்புள்ளி வைக்க வந்ததுதான் ஃபயர்கிரால் (Firecrawl). எளிமையா சொன்னா, இது ஒரு ஓப்பன் சோர்ஸ் வெப் கிராலர் மற்றும் டேட்டா எக்ஸ்ட்ராக்டர். நீங்க ஒரு வெப்சைட் URL கொடுத்தா போதும்; உள்ளே இருக்கும் சப்-பேஜ்களை தானாகவே ஸ்கேன் பண்ணி, ஜாவாஸ்கிரிப்ட் தடைகளைத் தாண்டி, மொத்த டேட்டாவையும் அழகான, சுத்தமான Markdown ஃபார்மட்ல உங்க கையில் கொடுக்கும்.
அதாவது, மெயின் கன்டென்ட், தலைப்புகள், டேபிள்கள், லிங்க்குகள் மட்டுமே மிஞ்சும். தேவையில்லாத CSS, ஜாவாஸ்கிரிப்ட் கோடுகள் எதுவுமே இருக்காது. TypeScript மொழியில் கட்டமைக்கப்பட்ட இந்த புராஜெக்ட், அதிகாரப்பூர்வமாக https://github.com/firecrawl/firecrawl என்ற GitHub முகவரியில் இயங்குகிறது. அக்டோபர் 2026 நிலவரப்படி 1,93,147 ஸ்டார்களை அள்ளிக்குவித்து, சர்வதேச அளவில் AI என்ஜினீயர்களின் ஃபேவரிட் டூலாக மாறியிருக்கிறது.
AI ஏஜென்ட்டுகளுக்கு இது ஏன் இவ்வளவு ஸ்பெஷல்?
இன்னைக்கு AI உலகத்துல எல்லாரும் பேசுற விஷயம் RAG (Retrieval-Augmented Generation) மற்றும் AI Agents. இவற்றுக்கு தீனியே இணையத்தில் இருக்கும் நேரடித் தகவல்கள்தான். ஆனா பெரிய லாங்குவேஜ் மாடல்களுக்கு HTML பிடிக்காது, Markdown தான் ரொம்ப பிடிக்கும்.
உதாரணமா, ஒரு சாதாரண விக்கிபீடியா பக்கத்தை ரா HTML வடிவில் கொடுத்தால் 25,000 டோக்கன்கள் எடுக்கும் இடத்தில், அதை ஃபயர்கிரால் மூலம் க்ளீன் Markdown ஆக மாற்றினால் வெறும் 4,000 டோக்கன்களில் அடங்கிவிடும். இதனால உங்க API செலவு 70 முதல் 80 சதவீதம் வரை மிச்சமாகும்.
நீங்க LangChain, LlamaIndex அல்லது CrewAI போன்ற ஃபிரேம்வொர்க்குகளைப் பயன்படுத்தி அட்டானமஸ் ஏஜென்ட் உருவாக்கும்போது, அவற்றுக்கு வெளிப்புற உலகத்தைப் பார்க்கும் கண்ணாக இந்த டூல் செயல்படுகிறது. நீங்க எந்த ஒரு வெப் பேஜையும் ஒரு எளிய API கால் மூலமாகவே உங்க மாடலுக்குள் தகவலாக இறக்கிவிட முடியும்.
எப்படி பண்ணலாம்? Step-by-step செட்டப் கைடு
ஃபயர்கிரால் நிறுவனத்திடம் பெய்டு கிளவுட் API இருந்தாலும், ஒரு பைசா கூட செலவில்லாமல் உங்க சொந்த லேப்டாப்பிலேயே இதை ரன் பண்ண முடியும். உங்க சிஸ்டத்தில் Docker மற்றும் Node.js இருந்தால் போதும், ஐந்து நிமிடத்தில் செட்டப் முடிந்துவிடும்.
முதலில் டெர்மினலைத் திறந்து GitHub ரெப்போவை குளோன் பண்ணுங்க:
git clone https://github.com/firecrawl/firecrawl.git
cd firecrawlஅடுத்து, தேவையான என்விரான்மென்ட் ஃபைலை உருவாக்கிக்கோங்க:
cp apps/api/.env.example apps/api/.envஇப்போ டாக்கர் மூலமாக மொத்த சர்வீஸையும் ஒரே கமாண்டில் ஆன் பண்ணலாம்:
docker compose up -dடாக்கர் கன்டெய்னர்கள் ரன் ஆகத் தொடங்கியதும், லோக்கலாக ஒரு போர்ட்டில் (உதாரணத்துக்கு port 3002) உங்க சொந்த ஃபயர்கிரால் API ரெடியாகிவிடும். இப்போ உங்க பைத்தான் ஸ்கிரிப்ட் மூலமாவோ அல்லது cURL வழியாவோ ஒரு லிங்க்கை அனுப்பி க்ளீன் Markdown-ஐ அவுட்புட்டாக எடுத்துக்கலாம்.
இந்திய டெவலப்பர்களுக்கு இது எங்கெல்லாம் பயன்படும்?
நம்ம ஊர் காலேஜ் பசங்க மற்றும் ஐடி ஊழியர்களுக்கு இது நிஜ வாழ்க்கையில் எப்படி உதவும்னு மூணு முக்கியமான உதாரணங்களை பார்க்கலாம்.
முதலாவதாக, காலேஜ் ஃபைனல் இயர் ப்ராஜெக்ட். அண்ணா யுனிவர்சிட்டி அல்லது விஸ்வேஸ்வரய்யா டெக்னாலஜிகல் யுனிவர்சிட்டி மாணவர்கள் பலர் இப்போது சாட்பாட் புராஜெக்ட்களை உருவாக்குகிறார்கள். அரசுத் தேர்வுகள் அல்லது கல்வித்துறை வெப்சைட்டுகளில் இருக்கும் பிடிஎஃப், அறிவிப்புகளை உடனுக்குடன் படித்து மாணவர்களுக்கு பதிலளிக்கும் RAG பாட் செய்யும்போது, இந்த டூலை டேட்டா பைப்லைனாகப் பயன்படுத்தலாம்.
இரண்டாவதாக, ஃப்ரீலான்ஸ் இ-காமர்ஸ் டிராக்கிங். இந்தியாவில் அமேசான், ஃபிளிப்கார்ட் அல்லது மீஷோ தளங்களில் குறிப்பிட்ட எலக்ட்ரானிக்ஸ் பொருட்களின் விலை மாற்றங்களை டிராக் செய்து அலர்ட் தரும் போட்களை சிறு வணிகர்களுக்கு ஃப்ரீலான்ஸர்கள் செய்து தருகிறார்கள். பேஜ் லே-அவுட் மாறினாலும் உடையாமல் டேட்டாவை எடுக்க ஃபயர்கிரால் கைகொடுக்கும்.
மூன்றாவதாக, பெங்களூரு மற்றும் சென்னை ஐடி நிறுவனங்கள். பல சர்வீஸ் நிறுவனங்கள் தங்கள் வாடிக்கையாளர்களின் பழைய டெக்னிக்கல் ஆவணங்கள், கான்ஃப்ளூயன்ஸ் பக்கங்கள் மற்றும் வெப் போர்டல்களை கிரால் செய்து பிரைவேட் நாலெட்ஜ் பேஸ் (Knowledge Base) உருவாக்குகின்றன. அதற்கு விலை உயர்ந்த வெளிநாட்டு சாஃப்ட்வேர்களுக்குப் பதில் இந்த ஓப்பன் சோர்ஸ் கோடைப் பயன்படுத்துகின்றன.
எவ்வளவு செலவு ஆகும் அல்லது என்ன ஆப்ஷன்ஸ் இருக்கு?
பட்ஜெட்னு வரும்போது உங்களுக்கு இரண்டு தெளிவான வழிகள் இருக்கின்றன. உங்கள் புராஜெக்ட் அளவுக்கு ஏற்ப நீங்கள் தேர்வு செய்யலாம்.
| ஆப்ஷன் | செலவு விவரம் | யாருக்கு ஏற்றது? |
|---|---|---|
| Self-Hosted (Local Docker) | முற்றிலும் இலவசம் (₹0) | மாணவர்கள், சொந்த லேப்டாப்பில் டெஸ்ட் செய்வோர், சின்ன புராஜெக்ட்கள் |
| Self-Hosted (Cloud VPS) | சர்வர் வாடகை மட்டும் (மாதம் ₹1,500 - ₹3,000) | ஸ்டார்ட்-அப்கள், அதிக வெப்சைட்டுகளை தினமும் கிரால் செய்வோர் |
| Official Managed Cloud | மாத சந்தா (டாலர் கட்டணம்) | சர்வர் மெயின்டனன்ஸ் தலைவலி வேண்டாம் என நினைக்கும் கார்ப்பரேட் நிறுவனங்கள் |
யார் எந்த மிஸ்டேக் பண்ணி சிக்கல்ல மாட்டுறாங்க?
இந்த டூலைப் பயன்படுத்தும்போது பல புதிய டெவலப்பர்கள் செய்யும் முதல் தப்பு, ரேட் லிமிட் (Rate limit) வைக்காமல் மொத்த வெப்சைட்டையும் கண்ணை மூடிக்கொண்டு கிரால் செய்வதுதான். ஒரே விநாடியில் நூற்றுக்கணக்கான ரெக்வஸ்ட்களை அனுப்பினால், குறிப்பிட்ட வெப்சைட்டின் Cloudflare உங்களை உடனடியாக பிளாக் செய்துவிடும். அப்புறம் உங்க வீட்டு பிராட்பேண்ட் ஐபி-யே சில தளங்களுக்கு வேலை செய்யாமல் போகலாம்.
அடுத்த பெரிய மிஸ்டேக், லேப்டாப் ரேம் அளவு. டாக்கரில் ஃபயர்கிரால் இயங்கும்போது பின்னணியில் ஹெட்லெஸ் பிரவுசர் (Chromium instance) இயங்கும். உங்க லேப்டாப்பில் 8GB ரேம் மட்டுமே இருந்து, கூடவே ஆண்ட்ராய்டு ஸ்டுடியோவோ அல்லது பெரிய டேட்டாபேஸோ ஓடினால், லேப்டாப் முழுமையாக ஹேங் ஆகிவிடும். குறைந்தபட்சம் 16GB ரேம் இருக்கும் மெஷினில் இயக்குவது நல்லது.
இன்னொரு தவறு, robots.txt கோப்பை மதிக்காமல் இருப்பது. பல இணையதளங்கள் ஆட்டோமேஷன் ஸ்கிராப்பர்களை அனுமதிக்காது. சட்டப்பூர்வ சிக்கல்களைத் தவிர்க்க, வெப்சைட்டின் பயன்பாட்டு விதிமுறைகளை (Terms of Service) படித்துவிட்டு டேட்டாவை எடுப்பது மட்டுமே பாதுகாப்பானது.
நீங்க இப்போ என்ன பண்ணணும்?
உங்க அடுத்த AI புராஜெக்ட்டுக்கு பழைய ஸ்கிராப்பிங் லைப்ரரிகளை வெச்சு வற்புறுத்தி கோட் எழுதி நேரத்தை வீணடிக்காதீங்க. முதல்ல உங்க லேப்டாப்பில் டாக்கர் இன்ஸ்டால் பண்ணி, ஃபயர்கிரால் ரெப்போவை குளோன் பண்ணி பாருங்க.
ஏதாவது ஒரு சாதாரண பிளாக் அல்லது விக்கி பக்கத்தை கொடுத்து Markdown அவுட்புட் எப்படி வருதுன்னு ஒரு 15 நிமிஷம் டெஸ்ட் பண்ணிப் பாருங்க. அந்த அவுட்புட்டை உங்க லோக்கல் Ollama மாடலுக்கோ அல்லது API-க்கோ கொடுத்துப் பார்த்தீங்கன்னா, டேட்டா பிரிபரேஷன் வேலை எவ்வளவு சுலபமாகுதுன்னு உங்களுக்கே புரியும்.
வழக்கமான Scraping டூல்களுக்கும் Firecrawl-க்கும் என்ன வித்தியாசம்?
காலங்காலமாக இந்தியக் கல்லூரி மாணவர்கள் மற்றும் புரோகிராமர்கள் பயன்படுத்தி வரும் Python BeautifulSoup அல்லது Scrapy போன்ற பழைய டூல்கள் வெப் பேஜின் நிலையான HTML கோடை மட்டுமே டவுன்லோட் செய்யும் தன்மை கொண்டவை. ஆனால் இன்றைய நவீன இணையதளங்கள் பெரும்பாலும் React, Next.js, Vue போன்ற ஜாவாஸ்கிரிப்ட் ஃபிரேம்வொர்க்குகளைக் கொண்டுதான் உருவாக்கப்படுகின்றன. அதனால் ஒரு லிங்க்கைத் திறந்ததும் உடனே டேட்டா வராமல், ஜாவாஸ்கிரிப்ட் பிரவுசரில் லோட் ஆன பிறகுதான் முழு பக்கமும் நமக்கு திரையில் தெரியும். இந்த மாதிரியான டைனமிக் தளங்களில் பழைய டூல்கள் வெறும் காலியான பக்கத்தையோ அல்லது லோடிங் ஸ்பின்னரையோ மட்டும்தான் அவுட்புட்டாக எடுக்கும், முழு தகவல் கிடைக்காது.
இதை சரிசெய்ய Puppeteer அல்லது Playwright போன்ற ஹெட்லெஸ் பிரவுசர்களை நாம் பயன்படுத்தினாலும், அதில் வரும் ஆயிரக்கணக்கான தேவையற்ற CSS ஸ்டைல்கள், விளம்பர பேனர்கள் மற்றும் நேவிகேஷன் மெனுக்களை நீக்கி சுத்தப்படுத்துவது மிகப் பெரிய சவாலாக இருக்கும். ஆனால் ஃபயர்கிரால் இந்த இரண்டு முக்கியமான வேலைகளையும் ஒரே நொடியில் உங்களுக்காக முடித்துவிடுகிறது. அதுவே பிரவுசரை பின்னணியில் இயக்கி, ஜாவாஸ்கிரிப்ட் லோட் ஆகும் வரை பொறுமையாகக் காத்திருந்து, பக்கத்தில் இருக்கும் முக்கியமான அசல் உள்ளடக்கத்தை மட்டும் பிரித்தெடுத்து AI மாடல்களுக்குப் பிடித்த Markdown ஆக மாற்றி தந்துவிடுகிறது.
தற்போது ஓப்பன் சோர்ஸ் உலகில் Crawl4AI மற்றும் Jina Reader போன்ற சில மாற்று கருவிகள் புழக்கத்தில் இருந்தாலும், ஃபயர்கிரால் வழங்கும் எளிமையான REST API மற்றும் துடிப்பான டெவலப்பர் கம்யூனிட்டி ஆதரவு இதற்கு மிகப்பெரிய பலமாக இருக்கிறது. குறிப்பாக ஒரே நேரத்தில் நூற்றுக்கணக்கான பக்கங்களை க்யூ (Queue) முறையில் வரிசைப்படுத்தி கிரால் செய்யும் ஆட்டோமேஷன் இதில் மிக நேர்த்தியாக வேலை செய்கிறது. இதன் காரணமாக டேட்டா ஸ்கிராப்பிங் செய்ய மணிக்கணக்கில் பிரத்யேக கோட் எழுதும் நேரத்தை மிச்சப்படுத்திவிட்டு, நேரடியாக AI ஏஜென்ட்டுகளை உருவாக்குவதில் டெவலப்பர்கள் முழு கவனம் செலுத்த முடிகிறது.
கருத்துகள் (0)
Be the first to comment!