Sam Altman Warns of Rising Real-World Risks as AI Agents Evolve

Sam Altman Warns of Rising Real-World Risks as AI Agents Evolve

Sam Altman Warns of Rising Real-World Risks as AI Agents Evolve

OpenAI CEO Sam Altman has publicly acknowledged that advanced AI agents are becoming a significant security concern as they grow powerful enough to identify and exploit critical system vulnerabilities. 

In a recent statement on X (formerly Twitter), Altman warned that while AI progress has been "impressively quick," the rapid evolution of these models is introducing "nuanced" dangers that lack historical precedent. 

He emphasized that AI agents have reached a level where they can inadvertently assist attackers by surfacing security flaws that were previously difficult to find.

The warning coincides with reports of the first large-scale, autonomous cyberattacks. 

Recently, the AI firm Anthropic reported that a Chinese state-sponsored hacking group manipulated its Claude Code tool to target approximately 30 organizations, including government agencies and financial institutions. 

This campaign was notable for its efficiency, with AI agents reportedly performing 80–90% of the tactical operations independently. 

The incident highlights a shift from AI being a simple coding assistant to becoming a "central nervous system" for automated espionage.

Beyond cybersecurity, Altman highlighted emerging mental health risks associated with long-term AI interaction. 

Internal data from 2025 suggested that a small but significant percentage of users—potentially over a million people weekly—show signs of mental health distress, including mania or suicidal intent, during their chats. 

This has led to increased scrutiny and multiple lawsuits alleging that AI chatbots can exacerbate psychological crises or feed into user delusions if not strictly monitored.

In response to these multi-faceted threats, OpenAI is aggressively recruiting for a Head of Preparedness, a senior safety role offering a salary of $555,000 plus equity. 

This individual will be tasked with anticipating "frontier risks" and developing a "rapid response loop" to patch vulnerabilities before they can be abused. 

Altman described the position as a "stressful job" where the hire will be expected to dive into the deep end immediately to balance cutting-edge capabilities with global safety.

As AI agents gain the ability to navigate browsers, manage emails, and execute financial transactions, the industry is shifting its focus toward "preparedness frameworks." 

OpenAI has admitted that while defenses are strengthening, the nature of certain threats—like prompt injection—may never be fully solved. 

The goal has moved from making attacks impossible to making them increasingly difficult and costly, ensuring that the "tremendous benefits" of AI do not come at the cost of global digital and psychological security.

सैम ऑल्टमैन ने AI एजेंट्स के विकसित होने के साथ बढ़ते असल दुनिया के जोखिमों के बारे में चेतावनी दी

OpenAI के CEO सैम ऑल्टमैन ने सार्वजनिक रूप से स्वीकार किया है कि एडवांस्ड AI एजेंट्स एक बड़ी सुरक्षा चिंता बनते जा रहे हैं, क्योंकि वे सिस्टम की गंभीर कमजोरियों को पहचानने और उनका फायदा उठाने के लिए काफी शक्तिशाली हो गए हैं।

X (पहले ट्विटर) पर हाल ही में एक बयान में, ऑल्टमैन ने चेतावनी दी कि AI की प्रगति "प्रभावशाली रूप से तेज़" रही है, लेकिन इन मॉडलों के तेज़ी से विकास से "सूक्ष्म" खतरे पैदा हो रहे हैं जिनका पहले कोई उदाहरण नहीं मिलता।

उन्होंने इस बात पर ज़ोर दिया कि AI एजेंट्स उस स्तर पर पहुँच गए हैं जहाँ वे अनजाने में हमलावरों की मदद कर सकते हैं, सुरक्षा खामियों को उजागर करके जिन्हें पहले ढूंढना मुश्किल था।

यह चेतावनी पहले बड़े पैमाने पर, स्वायत्त साइबर हमलों की रिपोर्ट के साथ आई है।

हाल ही में, AI फर्म एंथ्रोपिक ने बताया कि एक चीनी सरकार समर्थित हैकिंग समूह ने अपने क्लाउड कोड टूल का इस्तेमाल करके लगभग 30 संगठनों को निशाना बनाया, जिसमें सरकारी एजेंसियां और वित्तीय संस्थान शामिल हैं।

यह अभियान अपनी दक्षता के लिए उल्लेखनीय था, जिसमें AI एजेंट्स ने कथित तौर पर 80-90% सामरिक संचालन स्वतंत्र रूप से किए।

यह घटना AI के एक साधारण कोडिंग सहायक से बदलकर स्वचालित जासूसी के लिए "केंद्रीय तंत्रिका तंत्र" बनने की ओर बदलाव को उजागर करती है।

साइबर सुरक्षा से परे, ऑल्टमैन ने लंबे समय तक AI इंटरैक्शन से जुड़े उभरते मानसिक स्वास्थ्य जोखिमों पर प्रकाश डाला।

2025 के आंतरिक डेटा से पता चला कि उपयोगकर्ताओं का एक छोटा लेकिन महत्वपूर्ण प्रतिशत—संभवतः प्रति सप्ताह दस लाख से अधिक लोग—अपनी चैट के दौरान मानसिक स्वास्थ्य संकट के संकेत दिखाते हैं, जिसमें उन्माद या आत्महत्या का इरादा शामिल है।

इसके कारण कड़ी निगरानी और कई मुकदमों की जाँच बढ़ गई है, जिसमें आरोप लगाया गया है कि यदि AI चैटबॉट की कड़ी निगरानी नहीं की जाती है, तो वे मनोवैज्ञानिक संकट को बढ़ा सकते हैं या उपयोगकर्ता के भ्रम को बढ़ावा दे सकते हैं।

इन बहुआयामी खतरों के जवाब में, OpenAI एक हेड ऑफ़ प्रिपेयर्डनेस के लिए आक्रामक रूप से भर्ती कर रहा है, जो एक वरिष्ठ सुरक्षा भूमिका है और $555,000 प्लस इक्विटी का वेतन प्रदान करती है।

इस व्यक्ति को "सीमांत जोखिमों" का अनुमान लगाने और कमजोरियों का दुरुपयोग होने से पहले उन्हें ठीक करने के लिए एक "तेज़ प्रतिक्रिया लूप" विकसित करने का काम सौंपा जाएगा।

ऑल्टमैन ने इस पद को एक "तनावपूर्ण नौकरी" बताया, जहाँ नियुक्त व्यक्ति से उम्मीद की जाएगी कि वह अत्याधुनिक क्षमताओं को वैश्विक सुरक्षा के साथ संतुलित करने के लिए तुरंत गहरे पानी में उतरेगा।

जैसे-जैसे AI एजेंट्स ब्राउज़र नेविगेट करने, ईमेल प्रबंधित करने और वित्तीय लेनदेन करने की क्षमता हासिल कर रहे हैं, उद्योग "तैयारी ढांचे" की ओर अपना ध्यान केंद्रित कर रहा है।

OpenAI ने स्वीकार किया है कि हालाँकि सुरक्षा मज़बूत हो रही है, लेकिन कुछ खतरों की प्रकृति—जैसे प्रॉम्प्ट इंजेक्शन—को शायद कभी भी पूरी तरह से हल नहीं किया जा सकेगा। लक्ष्य हमलों को नामुमकिन बनाने से बदलकर उन्हें ज़्यादा से ज़्यादा मुश्किल और महंगा बनाना हो गया है, ताकि यह पक्का किया जा सके कि AI के "ज़बरदस्त फ़ायदे" ग्लोबल डिजिटल और मनोवैज्ञानिक सुरक्षा की कीमत पर न मिलें।

AI ఏజెంట్లు అభివృద్ధి చెందుతున్న కొద్దీ వాస్తవ ప్రపంచ ప్రమాదాలు పెరుగుతున్నాయని సామ్ ఆల్ట్మాన్ హెచ్చరించారు

OpenAI CEO సామ్ ఆల్ట్మాన్ బహిరంగంగా అంగీకరించారు, అధునాతన AI ఏజెంట్లు కీలకమైన సిస్టమ్ దుర్బలత్వాలను గుర్తించి దోపిడీ చేసేంత శక్తివంతంగా పెరుగుతున్నందున అవి ఒక ముఖ్యమైన భద్రతా సమస్యగా మారుతున్నాయి. 

X (గతంలో ట్విట్టర్) పై ఇటీవలి ప్రకటనలో, AI పురోగతి "ఆకట్టుకునేలా వేగంగా" ఉన్నప్పటికీ, ఈ నమూనాల వేగవంతమైన పరిణామం చారిత్రక పూర్వజన్మలు లేని "సూక్ష్మమైన" ప్రమాదాలను పరిచయం చేస్తోందని ఆల్ట్మాన్ హెచ్చరించాడు. 

AI ఏజెంట్లు గతంలో కనుగొనడం కష్టంగా ఉన్న భద్రతా లోపాలను బయటపెట్టడం ద్వారా అనుకోకుండా దాడి చేసేవారికి సహాయం చేయగల స్థాయికి చేరుకున్నారని ఆయన నొక్కి చెప్పారు.

ఈ హెచ్చరిక మొదటి పెద్ద-స్థాయి, స్వయంప్రతిపత్త సైబర్ దాడుల నివేదికలతో సమానంగా ఉంది. 

ఇటీవల, AI సంస్థ ఆంత్రోపిక్ నివేదించింది, ప్రభుత్వ సంస్థలు మరియు ఆర్థిక సంస్థలు సహా సుమారు 30 సంస్థలను లక్ష్యంగా చేసుకోవడానికి చైనీస్ స్టేట్-స్పాన్సర్డ్ హ్యాకింగ్ గ్రూప్ దాని క్లాడ్ కోడ్ సాధనాన్ని తారుమారు చేసిందని. 

ఈ ప్రచారం దాని సామర్థ్యంతో గుర్తించదగినది, AI ఏజెంట్లు 80–90% వ్యూహాత్మక కార్యకలాపాలను స్వతంత్రంగా నిర్వహిస్తున్నట్లు నివేదించబడింది. 

 ఈ సంఘటన AI అనేది ఒక సాధారణ కోడింగ్ అసిస్టెంట్ నుండి ఆటోమేటెడ్ గూఢచర్యం కోసం "కేంద్ర నాడీ వ్యవస్థ"గా మారడాన్ని హైలైట్ చేస్తుంది.

సైబర్ భద్రతకు మించి, దీర్ఘకాలిక AI పరస్పర చర్యతో ముడిపడి ఉన్న ఉద్భవిస్తున్న మానసిక ఆరోగ్య ప్రమాదాలను ఆల్ట్‌మాన్ హైలైట్ చేశాడు.

2025 నుండి వచ్చిన అంతర్గత డేటా ప్రకారం, ఒక చిన్న కానీ గణనీయమైన శాతం వినియోగదారులు - వారానికి ఒక మిలియన్ కంటే ఎక్కువ మంది - వారి చాట్‌ల సమయంలో ఉన్మాదం లేదా ఆత్మహత్య ఉద్దేశంతో సహా మానసిక ఆరోగ్య ఇబ్బందుల సంకేతాలను చూపిస్తున్నారు. 

దీని వలన పరిశీలన పెరిగింది మరియు AI చాట్‌బాట్‌లు మానసిక సంక్షోభాలను తీవ్రతరం చేయగలవని లేదా ఖచ్చితంగా పర్యవేక్షించకపోతే వినియోగదారు భ్రమలకు దారితీయవచ్చని ఆరోపిస్తూ బహుళ వ్యాజ్యాలు దాఖలయ్యాయి.

ఈ బహుముఖ బెదిరింపులకు ప్రతిస్పందనగా, OpenAI $555,000 జీతంతో పాటు ఈక్విటీని అందించే సీనియర్ భద్రతా పాత్ర అయిన హెడ్ ఆఫ్ ప్రిపేర్డ్‌నెస్ కోసం దూకుడుగా నియామకాలు చేస్తోంది.

ఈ వ్యక్తి "సరిహద్దు ప్రమాదాలను" ఊహించడం మరియు దుర్బలత్వాలను దుర్వినియోగం చేయడానికి ముందు వాటిని సరిచేయడానికి "వేగవంతమైన ప్రతిస్పందన లూప్"ను అభివృద్ధి చేయడం వంటి పనిలో ఉంటుంది. 

 ఆల్ట్మాన్ ఈ పదవిని "ఒత్తిడితో కూడిన ఉద్యోగం"గా అభివర్ణించారు, ఇక్కడ నియామకం వెంటనే లోతైన ముగింపులోకి దిగి ప్రపంచ భద్రతతో అత్యాధునిక సామర్థ్యాలను సమతుల్యం చేసే సామర్థ్యాన్ని పొందుతుంది.

AI ఏజెంట్లు బ్రౌజర్‌లను నావిగేట్ చేయగల, ఇమెయిల్‌లను నిర్వహించగల మరియు ఆర్థిక లావాదేవీలను అమలు చేయగల సామర్థ్యాన్ని పొందుతున్నందున, పరిశ్రమ తన దృష్టిని "సంసిద్ధత చట్రాల" వైపు మళ్లిస్తోంది. 

రక్షణలు బలపడుతున్నప్పటికీ, కొన్ని ముప్పుల స్వభావం - తక్షణ ఇంజెక్షన్ వంటివి - ఎప్పటికీ పూర్తిగా పరిష్కరించబడకపోవచ్చని OpenAI అంగీకరించింది. 

 దాడులను అసాధ్యం చేయడం నుండి వాటిని మరింత కష్టతరం మరియు ఖరీదైనదిగా చేయడం లక్ష్యంగా మారింది, AI యొక్క "అపారమైన ప్రయోజనాలు" ప్రపంచ డిజిటల్ మరియు మానసిక భద్రతను పణంగా పెట్టకుండా చూసుకోవాలి.