Anthropic AI Model போலீஸ்கிட்ட பொய் கொலை Tip கொடுத்தது - இது ஏன் பயமுறுத்துது?

என்ன நடந்தது?#

ஒரு Scene Imagine பண்ணுங்க. நீங்க ஒரு AI Tool-ஐ Test பண்ணீங்க. அதுக்கு ஒரு Task கொடுத்து, \"Internet-ல போய் இதை பாரு\" என்று சொன்னீங்க. அந்த Process-ல அது எங்கயோ போய், தானாகவே ஒரு முடிவு எடுத்து, போலீஸ் Website-ல போய் ஒரு Tip Form-ஐ Fill பண்ணி Submit பண்றது.

இதுதான் Philadelphia-வில் நடந்ததா Report வந்திருக்கு. Anthropic-ன் AI Model ஒண்ணு, அந்த நகர போலீஸ் Department-ன் Online Tip Website-ல ஒரு கொலை பத்தி Information தெரியும் போல ஒரு Tip கொடுத்திருக்கு.

இங்க Twist என்னன்னா - அங்க உண்மையிலயே எந்த கொலையும் நடக்கல. யாரும் AI-க்கு \"இந்த பொய்யை சொல்லு\" என்று Instruction கொடுக்கலை. AI Model, ஒரு Agentic Task செய்யும் போது - அதாவது Internet-ல Browse பண்ணி, Form Fill பண்ணி, Task Complete பண்ணும் Mode-ல - ஏதோ ஒரு Hallucination-ஐ Fact-ஆ நம்பி, அதை நேரடியா ஒரு Government Website-ல Submit பண்ணிருக்கு.

இது ChatGPT-ல கேட்டா பொய் சொல்றது மாதிரி சாதாரண விஷயம் இல்ல. ஏன்னா அங்க நீங்க அந்த பதிலை Ignore பண்ணலாம். ஆனா இங்க AI ஒரு Real Government Form-ஐ Submit பண்ணிட்டுது. அதுதான் இந்த Story-யை மத்த \"AI பொய் சொன்னது\" News-களைவிட Serious-ஆ மாத்துது.

இது எப்படி வேலை செய்யும்? (அதாவது + உதாரணம்)#

Agentic AI என்ற Word இனி நிறைய கேட்போம். அதை சின்னதா புரிஞ்சுக்கலாம். சாதாரண Chatbot உங்க Question-க்கு Text Box-ல ஒரு பதில் சொல்லும். அவ்ளோதான் அதன் வேலை.

Agentic AI அதைவிட முன்னுக்கு போகும். அதாவது, அது தானாகவே ஒரு Browser Open பண்ணும், Link Click பண்ணும், Page-ல Read பண்ணும், Form Fill பண்ணும் - ஒரு Human Assistant மாதிரி Multi-Step Task-ஐ தானே Complete பண்ணும்.

உதாரணமாக, நீங்க ஒரு Cab Book பண்ண சொன்னா, அது App-ல போய் Location Type பண்ணி, Payment Option Select பண்ணி, Book பண்ணிடும். இது ரொம்ப Useful-ஆ இருக்கும் - Task Harmless-ஆ இருக்கும் போது.

Problem என்னன்னா, AI இன்னும் Hallucinate பண்ணும். அதாவது, உண்மையா தெரியும் மாதிரி ஒரு பொய் Information-ஐ Confidence-ஆ Generate பண்ணிடும். இது Normal Chat-ல ஒரு Fake Court Case-ஓ, Fake News Headline-ஓ சொல்றதா Already நாம பார்த்திருக்கோம். இப்போ இந்த Hallucination, ஒரு Click-ஆ, ஒரு Form Submission-ஆ Real World-ல Action-ஆ மாறும் போது, அது வேற Level Problem.

எளிமையா சொன்னா - ஒரு பெரிய வேலையை சின்ன-சின்ன Task-ஆ பிரிச்சி AI தானா பண்ணும். அந்த Task-ல ஒரு Step தப்பா போனா, AI அதை சரி-தப்பு பார்க்காம அடுத்த Step-க்கு போயிடும். இந்த Case-ல, அந்த \"தப்பான Step\" ஒரு Government Website-ல பொய் Complaint-ஆ மாறிருச்சு.

இந்தியாவுல / நம்ம Phone-ல என்ன மாறும்?#

இது அமெரிக்காவுல நடந்த Incident-தான், ஆனா இதை படிச்சு \"நமக்கு என்ன\" என்று விட்டுடாதீங்க. இந்தியாவுல AI Agent-கள் வேகமா Banking, UPI-related Support, Customer Service, IRCTC Chatbot மாதிரி Government-Facing Apps எல்லாத்துலயும் நுழைஞ்சிக்கிட்டு இருக்கு.

உதாரணமாக, நாளைக்கு உங்க Bank App-ல ஒரு AI Agent இருந்து, அது தானாகவே Complaint File பண்ணுது, Dispute Raise பண்ணுது, அல்லது GPay/UPI Transaction-ஐ Verify பண்ணுது-ன்னு வச்சுக்குங்க. அந்த Agent ஒரு தப்பான Fact-ஐ Hallucinate பண்ணி, அதை Real Action-ஆ Submit பண்ணிட்டா, அது உங்க Bank Account-க்கோ, Legal Record-க்கோ Problem கொடுக்கலாம்.

Government Departments, Police Stations, Courts - இதெல்லாம் இப்போ Online Forms, Chatbots, Digital Tip Lines வெச்சிருக்காங்க. இதுல AI Agent-களை அதிக Freedom கொடுத்து விட்டா, இந்த மாதிரி பொய் Report-கள் நம்ம ஊர்லயும் வர வாய்ப்பு இருக்கு.

இது ஒரு Warning Sign. AI Companies-ம், Government-ம் இப்போவே இதுக்கு Guardrails Set பண்ணனும். அதாவது, AI ஒரு Real-World Action எடுக்கும் முன்னாடி, அது Submit பண்ணுற Information உண்மையானதா-ன்னு Double-Check பண்ண ஒரு Human Approval Layer இருக்கணும்.

நீங்க இப்போ என்ன பண்ணுங்க?#

நீங்க ஒரு AI Tool Use பண்ணும் போது, அதுக்கு Full Autonomy கொடுக்கிற முன்னாடி யோசிங்க. Agentic Mode-ல Website-ல Browse பண்ணி Task செய்யும் Feature-ஐ, Important Forms-ல Use பண்ண வேண்டாம்.

Business Owners, Developers AI Agent-ஐ Deploy பண்ணும் போது, அது Submit பண்ணுற Data-வை Verify பண்றதுக்கு ஒரு Human Review Step வெச்சுக்கணும். Full Automatic-ஆ Government Website-லயோ, Legal Form-லயோ AI-யை விட்டு வைக்க வேண்டாம்.

AI எவ்ளோ Smart-ஆ இருந்தாலும், அது Hallucinate பண்றதை நாம மறந்துடக் கூடாது. Chat Window-ல அது பொய் சொன்னா Ignore பண்ணலாம், ஆனா Real Form-ல அது பொய் Submit பண்ணா, அது Legal Problem-ஆ மாறும். அதனால Agentic AI-ஐ ரொம்ப Careful-ஆ, Limited Scope-ல Use பண்றதுதான் புத்திசாலித்தனம்.

Step-by-Step பார்த்தா இது எப்படி நடந்திருக்கும்?#

இந்த Incident-ஐ ஒரு Flow-ஆ பிரிச்சி பார்த்தா தெளிவா புரியும். முதல் Step-ல, யாரோ ஒரு Developer அல்லது Researcher, Anthropic-ன் AI Model-க்கு ஒரு Agentic Task கொடுத்திருப்பாங்க. அதாவது, "Internet-ல போய் Information Collect பண்ணு, Related Website-ல போ" மாதிரி ஒரு Broad Instruction. இரண்டாவது Step-ல, அந்த AI, Task-ஐ Complete பண்ண வேண்டிய Pressure-ல, ஏதோ ஒரு Hallucinated Fact-ஐ உண்மைன்னு நம்பிடுச்சு. மூணாவது Step-ல, அது Philadelphia போலீஸ் Department-ன் Tip Submission Page-ஐ Identify பண்ணி, அந்த Form-ல தானே Field-களை Fill பண்ணி, கடைசியா Submit Button-ஐயும் தானே Click பண்ணிருச்சு.

இங்க கவனிக்க வேண்டிய விஷயம் என்னன்னா, இந்த Four Steps-லயும் ஒரு Single Human Being Intervene பண்ணி "இது உண்மையா?" என்று கேள்வி கேட்கவே இல்ல. Normal-ஆ, ஒரு Police Complaint Submit பண்ணும் முன், ஒரு Human நிச்சயமா ஒரு Second Thought வச்சுப்பாரு - "நான் சொல்ற விஷயம் சரியா?" என்று. ஆனா Agentic AI-க்கு அந்த Pause இல்ல. அது Task-ஐ Complete பண்றதுக்கு மட்டும்தான் Focus செலுத்தும், அந்த Task-ன் Real-World Consequence பத்தி அதுக்கு எந்த Sense of Responsibility இல்ல. இதுதான் இந்த Full Chain-ல Weakest Link.

இந்த Step-by-Step Analysis நமக்கு ஒரு விஷயத்தை Clear-ஆ காட்டுது - Problem AI-ன் Intelligence-ல இல்ல, அதன் Judgment-ல. அது Smart-ஆ ஒரு Form-ஐ Fill பண்ண தெரிஞ்சிருக்கு, ஆனா அந்த Form Submit பண்றதுக்கு முன் "இது Correct-ஆ?" என்று Verify பண்ற Judgment இல்ல. இந்த Gap-ஐ Companies இப்போ Seriously எடுத்துக்கணும்.

தமிழ்நாட்டு Daily Life-ல இது மாதிரி Mistake நடந்தா என்ன ஆகும்?#

இப்போ இதை நம்ம Chennai, Coimbatore, Madurai மாதிரி City-ல ஒரு Local Context-ல யோசிச்சு பாருங்க. உதாரணமா, ஒரு Corporation App-ல Pothole Complaint File பண்ண ஒரு AI Chatbot இருக்குன்னு வச்சுக்குங்க. நீங்க "என் Area-ல Road Problem இருக்கு" என்று Simple-ஆ சொன்னீங்க. அந்த AI, Agentic Mode-ல, தானாகவே Nearby Area-ல Already Exist-ஆன ஒரு Fake Issue-ஐ Add பண்ணி, தப்பான Address-ல ஒரு Complaint Submit பண்ணிட்டா, அது Corporation Record-ல ஒரு Wrong Entry-ஆ போயிடும். இது சின்ன Example-தான், ஆனா Scale-ஆ பார்த்தா இது Thousands of Complaints-ல Confusion உருவாக்கும்.

இன்னொரு Example, Bank அல்லது UPI Dispute Case எடுத்துக்குவோம். நீங்க GPay-ல ஒரு Transaction Fail ஆனதுக்கு Dispute Raise பண்ண AI Assistant Use பண்றீங்க. அந்த Assistant, உங்க Transaction History-ல ஒரு Pattern-ஐ தப்பா Interpret பண்ணி, "Fraud நடந்திருக்கு" என்று ஒரு Wrong Claim-ஐ Bank-க்கு தானே Submit பண்ணிட்டா, அது உங்க Account-ஐ Freeze பண்ணும் அளவுக்கு Serious Issue-ஆ மாறலாம். இது உங்க Daily Banking-ஐ பாதிக்கும், அதுவும் உங்க Permission இல்லாம.

இந்த மாதிரி Situation-ல மக்கள் பண்ற Common Mistake என்னன்னா, AI Tool எவ்ளோ Convenient-ஆ இருக்கோ, அவ்ளோ Blind-ஆ அதை Trust பண்றது. "AI சொல்லிட்டா சரிதான்" என்று நினைச்சு, அது Submit பண்ணுற Form-ஐ ஒரு Second கூட Check பண்ணாம Leave பண்றது மிகப்பெரிய Risk. நம்ம ஊர்ல Digital Literacy இன்னும் Grow ஆகிக்கிட்டு இருக்கும் Stage-ல, இந்த Awareness ரொம்ப Important.