Apple Enhances Visual Intelligence with On-Screen Search Functionality

Apple Enhances Visual Intelligence with On-Screen Search Functionality

Apple Enhances Visual Intelligence with On-Screen Search Functionality

Apple unveiled a significant upgrade to its Visual Intelligence feature at WWDC 2025, bringing "Circle to Search"-like capabilities to iPhones. 

This new functionality, powered by Apple Intelligence's on-device processing, allows users to search for anything displayed on their screen, regardless of the application. 

The enhanced Visual Intelligence will be available on the iPhone 15 Pro, iPhone 15 Pro Max, and the entire iPhone 16 lineup later this year, initially in English.

The announcement was part of a broader set of software updates introduced with iOS 26, which also features a new Liquid Glass design, improvements to core apps like Safari and FaceTime, enhanced spam call detection, and Live Translation. 

The expansion of Visual Intelligence marks a strategic move by Apple to make on-screen content more actionable and searchable, providing a more integrated and intuitive user experience across the iOS ecosystem.

Unlike Google's Circle to Search, Apple's implementation requires a couple of additional steps. 

Users will need to take a screenshot, after which an "Ask tool" and "Image search" button will appear. 

From there, users can highlight the specific content they wish to search, and the system will provide results from Google or other integrated search and shopping applications. 

This method, while not as direct as a "circle-to-search," still provides a powerful way to interact with on-screen information.

This upgrade transforms Visual Intelligence into a more universal search and action tool. 

Previously limited to camera-based interactions, the feature now analyzes all on-screen content, enabling users to perform a variety of actions. 

For instance, users can now ask ChatGPT questions about what they're viewing, or search third-party apps like Etsy for similar items. 

Additionally, Visual Intelligence can intelligently extract dates, times, and locations from event invitations, offering to add them directly to the Calendar app, further streamlining productivity.

The new on-screen search feature can be easily triggered by pressing the same buttons used for capturing a screenshot. 

This intuitive access point, combined with the broad capabilities of analyzing and acting upon displayed content, signifies Apple's commitment to enhancing user interaction and information retrieval within its ecosystem. 

With its availability on recent and upcoming iPhone models, this Visual Intelligence enhancement promises to significantly alter how users engage with their device's screen.

Apple ने ऑन-स्क्रीन सर्च कार्यक्षमता के साथ विज़ुअल इंटेलिजेंस को बढ़ाया

Apple ने WWDC 2025 में अपने विज़ुअल इंटेलिजेंस फ़ीचर में एक महत्वपूर्ण अपग्रेड का अनावरण किया, जो iPhones में "सर्किल टू सर्च" जैसी क्षमताएँ लेकर आया।

Apple इंटेलिजेंस की ऑन-डिवाइस प्रोसेसिंग द्वारा संचालित यह नई कार्यक्षमता, उपयोगकर्ताओं को एप्लिकेशन की परवाह किए बिना, उनकी स्क्रीन पर प्रदर्शित किसी भी चीज़ को खोजने की अनुमति देती है।

उन्नत विज़ुअल इंटेलिजेंस इस साल के अंत में iPhone 15 Pro, iPhone 15 Pro Max और संपूर्ण iPhone 16 लाइनअप पर उपलब्ध होगी, शुरुआत में अंग्रेज़ी में।

यह घोषणा iOS 26 के साथ पेश किए गए सॉफ़्टवेयर अपडेट के व्यापक सेट का हिस्सा थी, जिसमें एक नया लिक्विड ग्लास डिज़ाइन, Safari और FaceTime जैसे मुख्य ऐप में सुधार, स्पैम कॉल डिटेक्शन और लाइव ट्रांसलेशन शामिल हैं।

विज़ुअल इंटेलिजेंस का विस्तार Apple द्वारा ऑन-स्क्रीन सामग्री को अधिक कार्रवाई योग्य और खोज योग्य बनाने के लिए एक रणनीतिक कदम को चिह्नित करता है, जो iOS पारिस्थितिकी तंत्र में अधिक एकीकृत और सहज उपयोगकर्ता अनुभव प्रदान करता है।

Google के सर्किल टू सर्च के विपरीत, Apple के कार्यान्वयन के लिए कुछ अतिरिक्त चरणों की आवश्यकता होती है। 

उपयोगकर्ताओं को स्क्रीनशॉट लेने की आवश्यकता होगी, जिसके बाद एक "पूछें टूल" और "छवि खोज" बटन दिखाई देगा। 

वहां से, उपयोगकर्ता उस विशिष्ट सामग्री को हाइलाइट कर सकते हैं जिसे वे खोजना चाहते हैं, और सिस्टम Google या अन्य एकीकृत खोज और शॉपिंग एप्लिकेशन से परिणाम प्रदान करेगा। 

यह विधि, "सर्किल-टू-सर्च" जितनी सीधी नहीं है, फिर भी ऑन-स्क्रीन जानकारी के साथ बातचीत करने का एक शक्तिशाली तरीका प्रदान करती है। 

यह अपग्रेड विज़ुअल इंटेलिजेंस को एक अधिक सार्वभौमिक खोज और कार्रवाई उपकरण में बदल देता है। 

पहले कैमरा-आधारित इंटरैक्शन तक सीमित, यह सुविधा अब सभी ऑन-स्क्रीन सामग्री का विश्लेषण करती है, जिससे उपयोगकर्ता कई तरह की क्रियाएं कर सकते हैं। 

उदाहरण के लिए, उपयोगकर्ता अब ChatGPT से पूछ सकते हैं कि वे क्या देख रहे हैं, या Etsy जैसे तृतीय-पक्ष ऐप पर समान आइटम खोज सकते हैं। 

इसके अतिरिक्त, विज़ुअल इंटेलिजेंस ईवेंट आमंत्रणों से दिनांक, समय और स्थान को समझदारी से निकाल सकता है, उन्हें सीधे कैलेंडर ऐप में जोड़ने की पेशकश करता है, जिससे उत्पादकता और भी बेहतर हो जाती है। 

नई ऑन-स्क्रीन खोज सुविधा को स्क्रीनशॉट कैप्चर करने के लिए उपयोग किए जाने वाले समान बटन दबाकर आसानी से ट्रिगर किया जा सकता है। 

 यह सहज पहुँच बिंदु, प्रदर्शित सामग्री का विश्लेषण करने और उस पर कार्रवाई करने की व्यापक क्षमताओं के साथ मिलकर, अपने पारिस्थितिकी तंत्र के भीतर उपयोगकर्ता इंटरैक्शन और सूचना पुनर्प्राप्ति को बढ़ाने के लिए Apple की प्रतिबद्धता को दर्शाता है।

हाल के और आने वाले iPhone मॉडल पर इसकी उपलब्धता के साथ, यह विज़ुअल इंटेलिजेंस संवर्द्धन उपयोगकर्ताओं को उनके डिवाइस की स्क्रीन के साथ जुड़ने के तरीके को महत्वपूर्ण रूप से बदलने का वादा करता है।

ఆపిల్ ఆన్-స్క్రీన్ సెర్చ్ ఫంక్షనాలిటీతో విజువల్ ఇంటెలిజెన్స్‌ను మెరుగుపరుస్తుంది

WWDC 2025లో ఆపిల్ తన విజువల్ ఇంటెలిజెన్స్ ఫీచర్‌కు గణనీయమైన అప్‌గ్రేడ్‌ను ఆవిష్కరించింది, ఇది ఐఫోన్‌లకు "సర్కిల్ టు సెర్చ్" లాంటి సామర్థ్యాలను తీసుకువచ్చింది. 

ఆపిల్ ఇంటెలిజెన్స్ యొక్క ఆన్-డివైస్ ప్రాసెసింగ్ ద్వారా ఆధారితమైన ఈ కొత్త కార్యాచరణ, అప్లికేషన్‌తో సంబంధం లేకుండా వినియోగదారులు తమ స్క్రీన్‌పై ప్రదర్శించబడే దేనినైనా శోధించడానికి అనుమతిస్తుంది. 

మెరుగుపరచబడిన విజువల్ ఇంటెలిజెన్స్ ఈ సంవత్సరం చివర్లో ఐఫోన్ 15 ప్రో, ఐఫోన్ 15 ప్రో మాక్స్ మరియు మొత్తం ఐఫోన్ 16 లైనప్‌లో మొదట్లో ఇంగ్లీషులో అందుబాటులో ఉంటుంది.

ఈ ప్రకటన iOS 26తో ప్రవేశపెట్టబడిన విస్తృత సాఫ్ట్‌వేర్ నవీకరణలలో భాగం, ఇందులో కొత్త లిక్విడ్ గ్లాస్ డిజైన్, సఫారి మరియు ఫేస్‌టైమ్ వంటి కోర్ యాప్‌లకు మెరుగుదలలు, మెరుగైన స్పామ్ కాల్ డిటెక్షన్ మరియు లైవ్ ట్రాన్స్‌లేషన్ కూడా ఉన్నాయి. 

విజువల్ ఇంటెలిజెన్స్ విస్తరణ అనేది iOS పర్యావరణ వ్యవస్థ అంతటా మరింత సమగ్రమైన మరియు స్పష్టమైన వినియోగదారు అనుభవాన్ని అందించడం ద్వారా ఆన్-స్క్రీన్ కంటెంట్‌ను మరింత కార్యాచరణ మరియు శోధించదగినదిగా చేయడానికి ఆపిల్ చేసిన వ్యూహాత్మక చర్యను సూచిస్తుంది.

గూగుల్ యొక్క సర్కిల్ టు సెర్చ్ మాదిరిగా కాకుండా, ఆపిల్ అమలుకు కొన్ని అదనపు దశలు అవసరం. 

 వినియోగదారులు స్క్రీన్‌షాట్ తీయవలసి ఉంటుంది, ఆ తర్వాత "ఆస్క్ టూల్" మరియు "ఇమేజ్ సెర్చ్" బటన్ కనిపిస్తుంది. 

అక్కడి నుండి, వినియోగదారులు వారు శోధించాలనుకుంటున్న నిర్దిష్ట కంటెంట్‌ను హైలైట్ చేయవచ్చు మరియు సిస్టమ్ Google లేదా ఇతర ఇంటిగ్రేటెడ్ సెర్చ్ మరియు షాపింగ్ అప్లికేషన్‌ల నుండి ఫలితాలను అందిస్తుంది. 

ఈ పద్ధతి, "సర్కిల్-టు-సెర్చ్" వలె నేరుగా కాకపోయినా, స్క్రీన్‌పై సమాచారంతో ఇంటరాక్ట్ అవ్వడానికి ఇప్పటికీ శక్తివంతమైన మార్గాన్ని అందిస్తుంది.

ఈ అప్‌గ్రేడ్ విజువల్ ఇంటెలిజెన్స్‌ను మరింత సార్వత్రిక శోధన మరియు యాక్షన్ టూల్‌గా మారుస్తుంది. 

గతంలో కెమెరా ఆధారిత పరస్పర చర్యలకు పరిమితం చేయబడిన ఈ ఫీచర్ ఇప్పుడు అన్ని ఆన్-స్క్రీన్ కంటెంట్‌ను విశ్లేషిస్తుంది, వినియోగదారులు వివిధ రకాల చర్యలను నిర్వహించడానికి వీలు కల్పిస్తుంది. 

ఉదాహరణకు, వినియోగదారులు ఇప్పుడు వారు ఏమి వీక్షిస్తున్నారనే దాని గురించి ChatGPT ప్రశ్నలను అడగవచ్చు లేదా ఇలాంటి అంశాల కోసం Etsy వంటి మూడవ పక్ష యాప్‌లను శోధించవచ్చు. 

అదనంగా, విజువల్ ఇంటెలిజెన్స్ ఈవెంట్ ఆహ్వానాల నుండి తేదీలు, సమయాలు మరియు స్థానాలను తెలివిగా సంగ్రహించగలదు, వాటిని క్యాలెండర్ యాప్‌కు నేరుగా జోడించడానికి ఆఫర్ చేస్తుంది, ఉత్పాదకతను మరింత క్రమబద్ధీకరిస్తుంది.

స్క్రీన్‌షాట్‌ను క్యాప్చర్ చేయడానికి ఉపయోగించే అదే బటన్‌లను నొక్కడం ద్వారా కొత్త ఆన్-స్క్రీన్ శోధన ఫీచర్‌ను సులభంగా ట్రిగ్గర్ చేయవచ్చు. 

 ఈ సహజమైన యాక్సెస్ పాయింట్, ప్రదర్శించబడిన కంటెంట్‌ను విశ్లేషించడం మరియు దానిపై చర్య తీసుకోవడం వంటి విస్తృత సామర్థ్యాలతో కలిపి, దాని పర్యావరణ వ్యవస్థలో వినియోగదారు పరస్పర చర్య మరియు సమాచార పునరుద్ధరణను మెరుగుపరచడంలో Apple యొక్క నిబద్ధతను సూచిస్తుంది. 

ఇటీవలి మరియు రాబోయే ఐఫోన్ మోడళ్లలో దీని లభ్యతతో, ఈ విజువల్ ఇంటెలిజెన్స్ మెరుగుదల వినియోగదారులు వారి పరికర స్క్రీన్‌తో ఎలా నిమగ్నం అవుతారో గణనీయంగా మారుస్తుందని హామీ ఇస్తుంది.