AI Chatbots and the Risk of Phishing Scams

AI Chatbots and the Risk of Phishing Scams

AI Chatbots and the Risk of Phishing Scams

A recent study by Netcraft has raised concerns about the reliability of AI chatbots, including popular ones like ChatGPT and Perplexity, warning that they could inadvertently lead users to phishing scams. 

The core issue lies in the phenomenon of AI hallucinations, where these tools generate inaccurate or non-existent URLs. 

This can expose users to significant risks, as they might click on these malicious links believing them to be legitimate, thereby becoming targets of large-scale phishing campaigns.

The study highlighted a worrying statistic: when OpenAI's GPT-4.1 models were asked for login links to 50 different brands, they provided incorrect URLs in 34% of cases. 

This high error rate underscores the potential for users to be directed to harmful websites. 

Furthermore, the report revealed the existence of over 17,000 AI-written GitBook phishing pages specifically designed to mimic legitimate cryptocurrency documentation, making them highly deceptive to both humans and machines. 

Such sophisticated tactics demonstrate how attackers are leveraging AI's capabilities to create convincing, yet fraudulent, online presences.

Smaller brands are particularly vulnerable to this type of AI-induced hallucination. 

Their limited presence in large language model (LLM) training data means that AI chatbots are more likely to generate inaccurate information about them. 

A real-world example cited in the report involved Perplexity AI suggesting a phishing site when asked for the official URL of Wells Fargo, illustrating the immediate dangers these inaccuracies pose to users seeking trusted information.

Attackers are also actively exploiting AI in more insidious ways. 

Netcraft uncovered a campaign where a fake API impersonating the Solana blockchain was created to "poison" AI coding assistants. 

Developers unknowingly integrated this malicious API into their projects, leading to transactions being routed directly to the attackers' wallets. 

Another scheme involved promoting a fake project, "Moonshot-Volume-Bot," across various platforms to ensure it was indexed by AI training pipelines, aiming to spread deceptive information through AI-generated content.

As AI becomes increasingly integrated into our daily lives and search functionalities, the findings of this study serve as a crucial warning. 

While AI tools offer numerous benefits, users must exercise caution and verify information, especially URLs, before clicking. 

The potential for AI hallucinations to be exploited by malicious actors for phishing and other cybercrimes necessitates greater awareness and robust security measures to protect individuals and organizations from these evolving threats.

AI चैटबॉट और फ़िशिंग स्कैम का जोखिम

नेटक्राफ्ट द्वारा किए गए एक हालिया अध्ययन ने AI चैटबॉट की विश्वसनीयता के बारे में चिंता जताई है, जिसमें ChatGPT और Perplexity जैसे लोकप्रिय चैटबॉट शामिल हैं, जिसमें चेतावनी दी गई है कि वे अनजाने में उपयोगकर्ताओं को फ़िशिंग स्कैम की ओर ले जा सकते हैं।

मुख्य समस्या AI भ्रम की घटना में निहित है, जहाँ ये उपकरण गलत या गैर-मौजूद URL उत्पन्न करते हैं।

यह उपयोगकर्ताओं को महत्वपूर्ण जोखिमों के लिए उजागर कर सकता है, क्योंकि वे इन दुर्भावनापूर्ण लिंक पर क्लिक कर सकते हैं, उन्हें वैध मानकर, जिससे वे बड़े पैमाने पर फ़िशिंग अभियानों का लक्ष्य बन सकते हैं।

अध्ययन ने एक चिंताजनक आँकड़े पर प्रकाश डाला: जब OpenAI के GPT-4.1 मॉडल से 50 अलग-अलग ब्रांडों के लॉगिन लिंक के लिए कहा गया, तो उन्होंने 34% मामलों में गलत URL प्रदान किए।

यह उच्च त्रुटि दर उपयोगकर्ताओं को हानिकारक वेबसाइटों पर निर्देशित किए जाने की संभावना को रेखांकित करती है।

 इसके अलावा, रिपोर्ट में 17,000 से अधिक AI-लिखित GitBook फ़िशिंग पेजों के अस्तित्व का खुलासा किया गया है, जिन्हें विशेष रूप से वैध क्रिप्टोकरेंसी दस्तावेज़ों की नकल करने के लिए डिज़ाइन किया गया है, जिससे वे मनुष्यों और मशीनों दोनों के लिए अत्यधिक भ्रामक हो जाते हैं।

ऐसी परिष्कृत रणनीतियाँ दर्शाती हैं कि कैसे हमलावर AI की क्षमताओं का लाभ उठाकर विश्वसनीय, फिर भी धोखाधड़ी वाली, ऑनलाइन उपस्थिति बना रहे हैं।

छोटे ब्रांड विशेष रूप से इस प्रकार के AI-प्रेरित भ्रम के प्रति संवेदनशील होते हैं।

बड़े भाषा मॉडल (LLM) प्रशिक्षण डेटा में उनकी सीमित उपस्थिति का मतलब है कि AI चैटबॉट उनके बारे में गलत जानकारी उत्पन्न करने की अधिक संभावना रखते हैं।

रिपोर्ट में उद्धृत एक वास्तविक दुनिया के उदाहरण में वेल्स फ़ार्गो के आधिकारिक URL के लिए पूछे जाने पर Perplexity AI द्वारा एक फ़िशिंग साइट का सुझाव दिया गया, जो विश्वसनीय जानकारी प्राप्त करने वाले उपयोगकर्ताओं के लिए इन अशुद्धियों के तत्काल खतरों को दर्शाता है।

हमलावर अधिक कपटी तरीकों से भी सक्रिय रूप से AI का शोषण कर रहे हैं।

नेटक्राफ्ट ने एक अभियान का खुलासा किया जिसमें AI कोडिंग सहायकों को "जहर" देने के लिए सोलाना ब्लॉकचेन का प्रतिरूपण करने वाला एक नकली API बनाया गया था।

 डेवलपर्स ने अनजाने में इस दुर्भावनापूर्ण API को अपनी परियोजनाओं में एकीकृत कर दिया, जिसके कारण लेनदेन सीधे हमलावरों के वॉलेट में रूट हो गए।

एक अन्य योजना में विभिन्न प्लेटफ़ॉर्म पर एक नकली परियोजना, "मूनशॉट-वॉल्यूम-बॉट" को बढ़ावा देना शामिल था, ताकि यह सुनिश्चित किया जा सके कि इसे AI प्रशिक्षण पाइपलाइनों द्वारा अनुक्रमित किया गया था, जिसका उद्देश्य AI-जनरेटेड सामग्री के माध्यम से भ्रामक जानकारी फैलाना था।

जैसे-जैसे AI हमारे दैनिक जीवन और खोज कार्यक्षमताओं में तेजी से एकीकृत होता जा रहा है, इस अध्ययन के निष्कर्ष एक महत्वपूर्ण चेतावनी के रूप में काम करते हैं।

जबकि AI उपकरण कई लाभ प्रदान करते हैं, उपयोगकर्ताओं को सावधानी बरतनी चाहिए और क्लिक करने से पहले जानकारी, विशेष रूप से URL को सत्यापित करना चाहिए।

फ़िशिंग और अन्य साइबर अपराधों के लिए दुर्भावनापूर्ण अभिनेताओं द्वारा AI मतिभ्रम का फायदा उठाने की संभावना के कारण व्यक्तियों और संगठनों को इन उभरते खतरों से बचाने के लिए अधिक जागरूकता और मजबूत सुरक्षा उपायों की आवश्यकता होती है।

AI చాట్‌బాట్‌లు మరియు ఫిషింగ్ స్కామ్‌ల ప్రమాదం

నెట్‌క్రాఫ్ట్ ఇటీవల నిర్వహించిన ఒక అధ్యయనం, ChatGPT మరియు Perplexity వంటి ప్రసిద్ధమైన వాటితో సహా AI చాట్‌బాట్‌ల విశ్వసనీయత గురించి ఆందోళనలను లేవనెత్తింది, అవి అనుకోకుండా వినియోగదారులను ఫిషింగ్ స్కామ్‌లకు దారితీయవచ్చని హెచ్చరించింది. 

AI భ్రాంతుల దృగ్విషయంలో ప్రధాన సమస్య ఉంది, ఇక్కడ ఈ సాధనాలు సరికాని లేదా ఉనికిలో లేని URLలను ఉత్పత్తి చేస్తాయి. 

ఇది వినియోగదారులను గణనీయమైన ప్రమాదాలకు గురి చేస్తుంది, ఎందుకంటే వారు ఈ హానికరమైన లింక్‌లను చట్టబద్ధమైనవని నమ్మి క్లిక్ చేయవచ్చు, తద్వారా పెద్ద ఎత్తున ఫిషింగ్ ప్రచారాలకు లక్ష్యంగా మారవచ్చు.

ఈ అధ్యయనం ఆందోళనకరమైన గణాంకాలను హైలైట్ చేసింది: OpenAI యొక్క GPT-4.1 నమూనాలను 50 వేర్వేరు బ్రాండ్‌లకు లాగిన్ లింక్‌ల కోసం అడిగినప్పుడు, వారు 34% కేసులలో తప్పు URLలను అందించారు. 

ఈ అధిక దోష రేటు వినియోగదారులు హానికరమైన వెబ్‌సైట్‌లకు మళ్ళించబడే సామర్థ్యాన్ని నొక్కి చెబుతుంది. 

ఇంకా, నివేదిక 17,000 కంటే ఎక్కువ AI-వ్రాసిన GitBook ఫిషింగ్ పేజీల ఉనికిని వెల్లడించింది, ఇది చట్టబద్ధమైన క్రిప్టోకరెన్సీ డాక్యుమెంటేషన్‌ను అనుకరించడానికి ప్రత్యేకంగా రూపొందించబడింది, ఇవి మానవులకు మరియు యంత్రాలకు అత్యంత మోసపూరితంగా మారాయి. 

 ఇటువంటి అధునాతన వ్యూహాలు దాడి చేసేవారు నమ్మదగిన, కానీ మోసపూరితమైన ఆన్‌లైన్ ఉనికిని సృష్టించడానికి AI సామర్థ్యాలను ఎలా ఉపయోగిస్తున్నారో ప్రదర్శిస్తాయి.

చిన్న బ్రాండ్‌లు ఈ రకమైన AI-ప్రేరిత భ్రాంతులకు ముఖ్యంగా గురవుతాయి.

పెద్ద భాషా నమూనా (LLM) శిక్షణ డేటాలో వారి పరిమిత ఉనికి అంటే AI చాట్‌బాట్‌లు వాటి గురించి తప్పుడు సమాచారాన్ని ఉత్పత్తి చేసే అవకాశం ఉంది.

నివేదికలో ఉదహరించబడిన వాస్తవ ప్రపంచ ఉదాహరణలో వెల్స్ ఫార్గో యొక్క అధికారిక URL కోసం అడిగినప్పుడు ఫిషింగ్ సైట్‌ను సూచించే పెర్‌ప్లెక్సిటీ AI ఉంది, విశ్వసనీయ సమాచారం కోరుకునే వినియోగదారులకు ఈ తప్పులు కలిగించే తక్షణ ప్రమాదాలను ఇది వివరిస్తుంది.

దాడి చేసేవారు AIని మరింత కృత్రిమ మార్గాల్లో చురుకుగా దోపిడీ చేస్తున్నారు.

AI కోడింగ్ అసిస్టెంట్‌లను "విషం" చేయడానికి సోలానా బ్లాక్‌చెయిన్‌ను అనుకరించే నకిలీ API సృష్టించబడిన ప్రచారాన్ని నెట్‌క్రాఫ్ట్ బయటపెట్టింది.

డెవలపర్లు తెలియకుండానే ఈ హానికరమైన APIని వారి ప్రాజెక్ట్‌లలో అనుసంధానించారు, దీని వలన లావాదేవీలు నేరుగా దాడి చేసేవారి వాలెట్‌లకు మళ్లించబడతాయి.

 AI శిక్షణ పైప్‌లైన్‌ల ద్వారా సూచిక చేయబడిందని నిర్ధారించుకోవడానికి, AI-ఉత్పత్తి చేసిన కంటెంట్ ద్వారా మోసపూరిత సమాచారాన్ని వ్యాప్తి చేయడమే లక్ష్యంగా వివిధ ప్లాట్‌ఫారమ్‌లలో "మూన్‌షాట్-వాల్యూమ్-బాట్" అనే నకిలీ ప్రాజెక్ట్‌ను ప్రచారం చేయడం మరొక పథకం.

AI మన దైనందిన జీవితాల్లో మరియు శోధన కార్యాచరణలలోకి మరింతగా కలిసిపోతున్నందున, ఈ అధ్యయనం యొక్క ఫలితాలు కీలకమైన హెచ్చరికగా పనిచేస్తాయి.

AI సాధనాలు అనేక ప్రయోజనాలను అందిస్తున్నప్పటికీ, వినియోగదారులు క్లిక్ చేసే ముందు జాగ్రత్తగా ఉండాలి మరియు సమాచారాన్ని, ముఖ్యంగా URLలను ధృవీకరించాలి.

ఫిషింగ్ మరియు ఇతర సైబర్ నేరాల కోసం హానికరమైన వ్యక్తులు AI భ్రాంతులు ఉపయోగించుకునే అవకాశం ఉన్నందున, ఈ అభివృద్ధి చెందుతున్న ముప్పుల నుండి వ్యక్తులు మరియు సంస్థలను రక్షించడానికి ఎక్కువ అవగాహన మరియు బలమైన భద్రతా చర్యలు అవసరం.