AI Agent உங்க Phone Screen-ல தப்பு தப்பா Click பண்ண காரணம் என்ன? FocusGUI தரும் எளிய தீர்வு!

Focused Omni-Modal GUI Agent அப்படின்னா என்ன?#

நீங்க வழக்கமா போன்ல ஒரு Train Ticket புக் பண்றீங்க அல்லது Swiggy-ல சாப்பாடு ஆர்டர் பண்றீங்கன்னு வச்சுப்போம். நீங்க ஸ்கிரீனைப் பார்க்கும்போது என்ன பண்ணுவீங்க? முன்னாடி வந்த விளம்பர பேனர், தேவையில்லாத ஆடியோ நோட்டிபிகேஷன் எல்லாத்தையும் மூளை ஓரங்கட்டிடும். அடுத்ததா எந்த Search பட்டனை அழுத்தணும், எந்த கூப்பன் கோடை டைப் பண்ணணும்ங்கிற அந்த ஒரு குறிப்பிட்ட இடத்தை மட்டும்தான் உங்க கண்கள் பார்க்கும்.

இப்போ இதே வேலையை ஒரு AI செய்யணும்னு நினைச்சா, அதுக்கு ஸ்கிரீன்ஷாட், ஆடியோ, வீடியோ, இதற்கு முன்னாடி கிளிக் பண்ண ஹிஸ்டரி, டிவைஸ் ஸ்டேட்டஸ்னு ஏகப்பட்ட விஷயங்களை ஒண்ணா கொடுக்க வேண்டியிருக்கு. இதையெல்லாம் உள்வாங்கி ஸ்கிரீனை இயக்கும் ஏஜென்ட்டைத்தான் 'Omni-Modal GUI Agent'னு சொல்றாங்க. ஆனா நிஜத்துல மனுஷங்க மாதிரி கவனமா வேலை செய்யாம, இந்த AI ஏஜென்ட்கள் அடிக்கடி தப்பு தப்பா கிளிக் பண்ணி மொத்த வேலையையும் சொதப்பிடுது. அதுக்குத் தீர்வு காண உருவானதுதான் 'Focused Omni-Modal GUI Agent' ஐடியா.

Phone Screen-ல AI Agent ஏன் குழம்பி தப்பு பண்ணுது?#

இங்கதான் ஒரு விசித்திரமான பிரச்சனை வருது. ஆய்வாளர்கள் இதை 'Sequential Distraction' அப்படின்னு சொல்றாங்க. அதாவது ஒரு செயலை செய்யும்போது கிடைக்கிற தகவல், அடுத்த அடி எடுத்து வைக்கும்போது தேவையில்லாத குப்பையா மாறிடுது. ஆனா AI மாடல் எல்லா பழைய டேட்டாவையும் சமமாக நினைவில் வச்சிருக்க முயற்சி பண்ணும்போது அது திசைமாறி போயிடுது.

உதாரணமா, IRCTC ஆப்ல நீங்க தட்கல் டிக்கெட் புக் பண்ண AI-க்கு சொல்றீங்க. முதல் ஸ்கிரீன்ல ஒரு பாப்-அப் விளம்பரம் வருது. அதை AI Agent க்ளோஸ் பண்ணிடுது. ஆனா ரெண்டாவது, மூணாவது ஸ்டெப்புக்கு போகும்போது, அந்த பழைய விளம்பரத்தோட ஸ்கிரீன்ஷாட் நினைவும், கூடவே வர்ற சிஸ்டம் லாக் தகவல்களும் AI-யோட நினைவகத்துல அப்படியே தங்கிடுது. இப்போ AI என்ன பண்ணும்? இப்போதைய ஸ்கிரீனை விட்டுட்டு, பழைய தகவல்களோடு குழம்பி போயி தப்பான ஒரு Text Box-ஐ கிளிக் பண்ணிடும். இதை 'Trajectory Drift'னு சொல்றாங்க. ஒருமுறை தடம் புரண்டுட்டா, அதுவா திருந்தி பழைய வழிக்கு வர்றது ரொம்ப கஷ்டம்.

FocusGUI இந்த screen குழப்பத்தை எப்படி சரி பண்ணுது?#

இதற்கு நன்யாங் டெக்னாலஜிக்கல் பல்கலைக்கழக (Nanyang Technological University - NTU) ஆய்வாளர்கள் 'Focused Perception' என்ற ஒரு சூப்பரான வழியைக் கண்டுபிடிச்சிருக்காங்க. அவங்க உருவாக்கியுள்ள டூல்தான் FocusGUI.

இதை எளிமையா ஒரு உதாரணம் மூலமா புரிஞ்சுக்கலாம். நம்ம ஊர்ல பீக் ஹவர் டிராஃபிக்ல, பலத்த மழையில பைக் ஓட்டிட்டுப் போற ஒரு டெலிவரி ரைடரை நினைச்சுப் பாருங்க. அவரு வழியில இருக்கிற எல்லா கடையோட பெயர்ப் பலகையையும் படிச்சுக்கிட்டு, பின்னால வர்ற வண்டிகளோட ஹாரன் சத்தத்தை எல்லாம் முழுசா யோசிச்சுட்டே இருந்தா என்ன ஆகும்? கண்டிப்பா வண்டி இடிச்சுடும். அவரு என்ன பண்ணுவாருன்னா, தேவையில்லாத சத்தத்தை எல்லாம் காதுல வாங்காம, அடுத்ததா எந்த சந்துல லெஃப்ட் எடுக்கணும்ங்கிற மேப் அம்புக்குறியை மட்டும் கூர்ந்து கவனிப்பாரு.

FocusGUI சரியா இதே வேலையைத்தான் AI-க்கு செய்யுது. இது ஒரு Lightweight Adapter. அதாவது மெயின் AI மாடலை முழுசா போட்டு உடைக்காம, ஸ்கிரீன்ல வர்ற வீடியோ, ஆடியோ, கிளிக் ஹிஸ்டரி எல்லாத்துலயும் இருந்து அந்த நொடிக்குத் தேவையான ஆதாரங்களை மட்டும் சின்னதா சுருக்கி (compact latent) எடுத்துக்கும். அதை அப்படியே AI மாடலின் டீகோடர் பகுதிக்குள்ள மெதுவா செலுத்தி, சரியான பட்டனை நோக்கி கவனத்தைத் திருப்பும். இதோட முழு ஆய்வு விவரங்களை Hugging Face ஆய்வுப் பக்கத்தில் பார்க்கலாம்.

இந்த NTU Research முடிவுகள் என்ன சொல்லுது?#

ஆய்வாளர்கள் இந்த FocusGUI அமைப்பை நான்கு வெவ்வேறு omni-modal AI மாடல்களில் டெஸ்ட் பண்ணியிருக்காங்க. அதுல கிடைச்ச ரிசல்ட் உண்மையிலேயே கவனிக்க வைக்கிற மாதிரி இருக்கு. முழு மாடலையும் ரீ-டிரெயின் பண்ணாமலே, வழக்கமான பேஸ்போன் மாடலை விட இதோட Exact Match துல்லியம் சராசரியாக 3.0 மடங்கு அதிகரிச்சிருக்கு.

அதேபோல மாடல்களின் Type Match திறனில் +33.2 அளவுக்கு உயர்வு கிடைச்சிருக்கு. இதுவரைக்கும் பயன்பாட்டில் இருந்த மிகச் சிறந்த என்ஹான்ஸ்மென்ட் முறையை விட இது Type Match-ல் +30.1 கூடுதல் புள்ளிகளைப் பெற்று சாதனை படைச்சிருக்கு. இதுல இன்னொரு பெரிய ப்ளஸ் என்னன்னா, எந்த தகவல் முக்கியம் எந்த தகவல் முக்கியமில்லைன்னு மனிதர்கள் உக்காந்து லேபிள் ஒட்டத் தேவையில்லை. வெறும் Action Supervision மூலமாகவே இந்த Adapter தானாகவே பயிற்சி எடுத்துக்குது.

இந்திய Developers-க்கு இதனால என்ன பெரிய லாபம்?#

இந்தியாவில் இப்போ ஸ்டார்ட்அப்களும் டெவலப்பர்களும் ஆட்டோமேஷன் பக்கம் அதிகமா திரும்பிட்டு இருக்காங்க. ஜிஎஸ்டி போர்ட்டல் என்ட்ரி, டேலி (Tally) சாஃப்ட்வேர் டேட்டா என்ட்ரி, பேங்கிங் கேஒய்சி (KYC) ஃபார்ம் ஃபில்லிங்னு பல வேலைகளை AI மூலமா ஆட்டோமேட் பண்ண நிறைய டீம்கள் முயற்சி பண்றாங்க. ஆனா இதுல வர்ற மிகப்பெரிய தடை என்னன்னா கிளவுட் கம்ப்யூட்டிங் செலவுதான்.

ஒரு பெரிய மல்டிமோடல் மாடலை எடுத்து உங்க சொந்த தேவைக்கு Retrain அல்லது Fine-tune பண்ணனும்னா மாசம் லட்சக்கணக்கில் AWS அல்லது GCP பில் வரும். அது நம்ம ஊர் சின்ன ஸ்டார்ட்அப்களுக்கு கட்டுப்படியாகாது. ஆனா FocusGUI மாதிரி ஒரு சின்ன Adapter-ஐ மட்டும் வச்சு, இருக்கிற ஓபன்-சோர்ஸ் மாடலை அப்படியே பயன்படுத்த முடிஞ்சா சர்வர் செலவு பெருமளவு குறையும். குறைந்த கம்ப்யூட்டிங் பவரில் துல்லியமான ஸ்கிரீன் ஏஜென்ட்களை உருவாக்க இது ஒரு அருமையான வாசல்.

இந்த AI முறையில் உள்ள நடைமுறை எல்லைகள் என்ன?#

ரிசல்ட் ரொம்ப நல்லா இருந்தாலும், இது இன்னும் ஆரம்பக்கட்ட ஆய்வு (early research) மட்டுமே என்பதை நாம் புரிஞ்சுக்கணும். இது இன்னும் நேரடியா கூகுள் குரோமிலோ அல்லது நம்ம போன் ஆப்பரேட்டிங் சிஸ்டத்திலோ வந்துடல. GitHub-ல் கோட் கிடைக்குதுன்னாலும், அதை நம்ம வழக்கமான ஆப்ஸ்களோடு இணைச்சு புரொடக்‌ஷன் லெவலுக்கு கொண்டு வர இன்னும் கொஞ்சம் காலம் பிடிக்கும்.

அடுத்து பாதுகாப்பு விஷயம். ஒருவேளை ஸ்கிரீன்ல ஹேக்கர்கள் தேவையில்லாத மறைமுக தகவல்களை வச்சிருந்தா, இந்த Adapter அதை எப்படி கையாளும்? பேங்கிங் போன்ற முக்கியமான பரிவர்த்தனைகளில் இப்படிப்பட்ட GUI Agent-களை கண்மூடித்தனமா நம்பி முழுசா விட்டுட முடியாது. கூடுதல் சோதனைகளுக்குப் பிறகே இது நுகர்வோர் ஆப்களுக்குள் நுழைய முடியும்.

நீங்க இப்போ என்ன பண்ணனும்?#

நீங்க ஒரு டெவலப்பரா இருந்தா அல்லது காலேஜ்ல AI ப்ராஜெக்ட் பண்ற மாணவராக இருந்தா, பெரிய மாடல்களை டிரெயின் பண்றதுதான் கெத்துன்னு நினைக்கிறதை முதல்ல நிறுத்தலாம். இனி வரப்போற காலம் முழுக்க இதுமாதிரி புத்திசாலித்தனமான Adapter ஆர்க்கிடெக்சர் சார்ந்ததாகத்தான் இருக்கும்.

FocusGUI போன்ற மாடல்கள் GitHub-ல் எப்படி எழுதப்பட்டிருக்குன்னு எடுத்துப் படிங்க. தேவையில்லாத டேட்டாவை எப்படி வடிகட்டுவது, குறைந்த ரிசோர்ஸில் மாடலை எப்படி வழிநடத்துவதுன்னு கத்துக்கிட்டீங்கன்னா, அடுத்த தலைமுறை ஆட்டோமேஷன் டூல்களை உருவாக்குறதுல நீங்கதான் முன்னணியில இருப்பீங்க.

நம்ம ஊர் Automation ப்ராஜெக்ட்களில் டெவலப்பர்கள் செய்யும் பொதுவான தப்பு என்ன?#

நம்ம ஊர்ல நிறைய காலேஜ் மாணவர்கள் மற்றும் ஜூனியர் டெவலப்பர்கள் ஆட்டோமேஷன் டூல் அல்லது Bot செய்யும்போது பண்ற முதல் தப்பு என்ன தெரியுமா? ஸ்கிரீன்ல தெரியுற ஒவ்வொரு சிறிய பட்டன், கலர், ஐகான், முந்தைய கிளிக் லாக்னு மொத்த டேட்டாவையும் அப்படியே தூக்கி பெரிய AI மாடலுக்கு உள்ளே அனுப்பிடுவாங்க. எல்லா மல்டிமோடல் தகவலையும் ஒன்றாகக் கொட்டினால் மாடல் சூப்பராக வேலை செய்யும் என்கிற ஒரு தவறான புரிதல் பலருக்கும் இருக்கு. ஆனால் இப்படி Context Window முழுவதையும் தேவையில்லாத குப்பைகளால் நிரப்பும் போதுதான், அந்த AI மாடல் தன் இலக்கை மறந்துவிட்டு சம்பந்தமில்லாத மெனுக்களை கிளிக் பண்ணி முழு வேலையையும் பாழாக்கி விடுகிறது.

உதாரணமா, நம்ம ஊர்ல TNEB மின் கட்டணம் செலுத்தும் தளம் அல்லது TNPDS ரேஷன் கார்டு போர்ட்டலை ஆட்டோமேட் செய்யும்போது, பேஜ் லோடிங் அனிமேஷன், பழைய ஸ்டேட்டஸ் மெசேஜ் போன்ற பல விஷயங்கள் ஸ்கிரீனில் மாறிக்கொண்டே இருக்கும். இந்த நேரத்தில் ஒரு மனிதர் எக்ஸ்ட்ரா தகவல்களைப் புறக்கணித்துவிட்டு Login அல்லது Pay பட்டனை மட்டும் கவனிப்பது போல, AI-யும் குறிப்பிட்ட ஒரு விஷயத்தில் மட்டும் கவனம் குவிக்க வேண்டும். இந்த FocusGUI ஆய்வு நமக்கு கற்றுக்கொடுக்கும் எளிய வழிமுறை இதுதான்; முழு மாடலையும் மாற்ற வேண்டாம், ஒவ்வொரு அடிக்கும் தேவையான துல்லியமான தகவலை மட்டும் வடிகட்டி அனுப்பும் ஒரு சிறிய அப்ரோச்சை உங்கள் கோடிங்கில் கொண்டு வந்தாலே போதும்.

அதனால இனிமேல் நீங்க ஒரு ஆட்டோமேஷன் ஸ்கிரிப்ட் எழுதும்போதோ அல்லது போன் ஸ்கிரீனை இயக்கும் டூல் உருவாக்கும்போதோ, மாடலுக்கு எவ்வளவு டேட்டாவை கொடுக்கிறோம் என்பதை விட, எவ்வளவு தேவையில்லாத டேட்டாவை கட் பண்றோம் என்பதில் கவனம் செலுத்துங்க. இந்த Focused Perception அணுகுமுறையை ஆரம்பத்திலேயே உங்க System Design-ல் கொண்டு வந்துவிட்டால், டோக்கன் செலவும் பெருமளவு மிச்சமாகும், கூடவே உங்க ஆப் எந்தவித குழப்பமும் இல்லாம மின்னல் வேகத்துல வேலை செய்யும்.