OpenAI Launches "Record & Replay" for Codex Automation

OpenAI Launches "Record & Replay" for Codex Automation

OpenAI Launches "Record & Replay" for Codex Automation

OpenAI has launched a groundbreaking feature called "Record & Replay" within its Codex macOS application (v26.616), allowing users to automate complex desktop workflows simply by performing them once while the AI observes. 

Unlike traditional Robotic Process Automation (RPA) tools that rigidly record pixel coordinates and break when an interface changes, Codex captures the user's underlying intent. 

It utilizes a large language model to translate raw actions into an adaptable, generalized automation, bypassing the brittle, rule-based systems of the past.

The process begins when a user activates "Record a skill" within the Codex Plugins panel, triggering the AI to monitor window contents as the user navigates websites, fills forms, or uploads files. 

Upon completion, Codex generates a human-readable, editable Markdown file named SKILL.md. 

This file serves as a step-by-step blueprint detailing the workflow's variables and completion criteria. 

When replayed, Codex reads this document as context to execute the task autonomously using desktop control, browser actions, or integrations like Slack and Salesforce.

While this semantic approach vastly improves how automations handle minor interface updates, it still faces the reliability hurdles inherent to modern AI agents. 

According to the Stanford 2026 AI Index Report, computer-use agents face an average 34% failure rate on real-world desktop benchmarks. 

Because errors compound exponentially across multi-step processes, a 10-step workflow can suffer a steep drop in end-to-end success. 

Consequently, the feature is currently best suited for highly stable, repetitive tasks rather than workflows requiring complex error-handling or subjective judgment.

By eliminating the need to write code or precise textual prompts, Record & Replay radically lowers the barrier to entry for non-technical users by capturing tacit, hard-to-explain workplace habits through pure observation. 

Furthermore, these recorded automations are inherently shareable. 

A single employee can record a flawlessly executed workflow—such as a weekly analytics pull or a standard expense report submission—and deploy that SKILL.md file across an entire department, saving time without requiring anyone else to re-teach the system.

The feature is exclusive to macOS and requires a paid ChatGPT subscription (Plus, Pro, Business, Enterprise, or Edu). 

Notably, the initial rollout excludes the European Economic Area (EEA), the United Kingdom, and Switzerland, despite OpenAI releasing standard "Computer Use" capabilities to those regions just days prior. 

Industry analysts suggest this staggered geographic rollout is likely tied to ongoing compliance adjustments ahead of the EU AI Act’s stringent agentic transparency laws taking effect in August 2026.

OpenAI ने Codex ऑटोमेशन के लिए "रिकॉर्ड एंड रिप्ले" लॉन्च किया

OpenAI ने अपने Codex macOS एप्लिकेशन (v26.616) में "रिकॉर्ड एंड रिप्ले" नाम का एक ज़बरदस्त फ़ीचर लॉन्च किया है, जिससे यूज़र मुश्किल डेस्कटॉप वर्कफ़्लो को सिर्फ़ एक बार करके ऑटोमेट कर सकते हैं, जबकि AI उन्हें देख रहा होता है।

पुराने रोबोटिक प्रोसेस ऑटोमेशन (RPA) टूल्स के उलट, जो पिक्सेल कोऑर्डिनेट्स को सख्ती से रिकॉर्ड करते हैं और इंटरफ़ेस बदलने पर ब्रेक हो जाते हैं, Codex यूज़र के अंदरूनी इरादे को कैप्चर करता है।

यह पुराने, नियम-आधारित सिस्टम को बायपास करते हुए, रॉ एक्शन को एक अडैप्टेबल, जनरलाइज़्ड ऑटोमेशन में बदलने के लिए एक बड़े लैंग्वेज मॉडल का इस्तेमाल करता है।

यह प्रोसेस तब शुरू होता है जब कोई यूज़र Codex प्लगइन्स पैनल में "एक स्किल रिकॉर्ड करें" को एक्टिवेट करता है, जिससे AI ट्रिगर होकर विंडो कंटेंट को मॉनिटर करता है जब यूज़र वेबसाइट पर नेविगेट करता है, फ़ॉर्म भरता है, या फ़ाइलें अपलोड करता है।

पूरा होने पर, Codex SKILL.md नाम की एक ह्यूमन-रीडेबल, एडिटेबल मार्कडाउन फ़ाइल बनाता है।

 यह फ़ाइल वर्कफ़्लो के वेरिएबल और कम्प्लीशन क्राइटेरिया की डिटेल देने वाले स्टेप-बाय-स्टेप ब्लूप्रिंट के तौर पर काम करती है।

जब इसे दोबारा चलाया जाता है, तो Codex इस डॉक्यूमेंट को डेस्कटॉप कंट्रोल, ब्राउज़र एक्शन, या Slack और Salesforce जैसे इंटीग्रेशन का इस्तेमाल करके अपने आप टास्क को पूरा करने के लिए कॉन्टेक्स्ट के तौर पर पढ़ता है।

हालांकि यह सिमेंटिक तरीका ऑटोमेशन के छोटे इंटरफ़ेस अपडेट को हैंडल करने के तरीके को काफी बेहतर बनाता है, फिर भी इसे मॉडर्न AI एजेंट में मौजूद रिलायबिलिटी की दिक्कतों का सामना करना पड़ता है।

स्टैनफोर्ड 2026 AI इंडेक्स रिपोर्ट के मुताबिक, कंप्यूटर इस्तेमाल करने वाले एजेंट असल दुनिया के डेस्कटॉप बेंचमार्क पर औसतन 34% फेलियर रेट का सामना करते हैं।

क्योंकि मल्टी-स्टेप प्रोसेस में गलतियाँ तेज़ी से बढ़ती हैं, इसलिए 10-स्टेप वाले वर्कफ़्लो में एंड-टू-एंड सफलता में भारी गिरावट आ सकती है।

इसलिए, यह फ़ीचर अभी बहुत ज़्यादा स्टेबल, बार-बार होने वाले कामों के लिए सबसे अच्छा है, न कि ऐसे वर्कफ़्लो के लिए जिनमें मुश्किल एरर-हैंडलिंग या सब्जेक्टिव जजमेंट की ज़रूरत होती है।

 कोड लिखने या सटीक टेक्स्ट प्रॉम्प्ट की ज़रूरत को खत्म करके, रिकॉर्ड एंड रिप्ले नॉन-टेक्निकल यूज़र्स के लिए एंट्री की रुकावट को पूरी तरह से कम करता है। यह काम की जगह की उन आदतों को कैप्चर करता है जिन्हें समझना मुश्किल होता है, और यह सिर्फ़ ऑब्ज़र्वेशन से होता है।

इसके अलावा, ये रिकॉर्ड किए गए ऑटोमेशन अपने आप शेयर किए जा सकते हैं।

एक अकेला कर्मचारी बिना किसी गलती के किए गए वर्कफ़्लो को रिकॉर्ड कर सकता है—जैसे कि हर हफ़्ते एनालिटिक्स पुल या एक स्टैंडर्ड खर्च रिपोर्ट सबमिशन—और उस SKILL.md फ़ाइल को पूरे डिपार्टमेंट में डिप्लॉय कर सकता है, जिससे समय की बचत होती है और किसी और को सिस्टम को दोबारा सिखाने की ज़रूरत नहीं पड़ती।

यह फ़ीचर सिर्फ़ macOS के लिए है और इसके लिए पेड ChatGPT सब्सक्रिप्शन (प्लस, प्रो, बिज़नेस, एंटरप्राइज़, या एडु) की ज़रूरत होती है।

खास बात यह है कि शुरुआती रोलआउट में यूरोपियन इकोनॉमिक एरिया (EEA), यूनाइटेड किंगडम और स्विट्ज़रलैंड शामिल नहीं हैं, जबकि OpenAI ने कुछ दिन पहले ही उन इलाकों के लिए स्टैंडर्ड "कंप्यूटर यूज़" कैपेबिलिटीज़ रिलीज़ की थीं।

इंडस्ट्री एनालिस्ट का कहना है कि यह अलग-अलग जगहों पर रोलआउट शायद अगस्त 2026 में EU AI एक्ट के कड़े एजेंटिक ट्रांसपेरेंसी कानूनों के लागू होने से पहले चल रहे कम्प्लायंस एडजस्टमेंट से जुड़ा है।

కోడెక్స్ ఆటోమేషన్ కోసం OpenAI "రికార్డ్ & రీప్లే"ను ప్రారంభించింది

OpenAI తన కోడెక్స్ macOS అప్లికేషన్ (v26.616)లో "రికార్డ్ & రీప్లే" అనే ఒక విప్లవాత్మక ఫీచర్‌ను ప్రారంభించింది. ఇది, వినియోగదారులు సంక్లిష్టమైన డెస్క్‌టాప్ వర్క్‌ఫ్లోలను కేవలం ఒక్కసారి చేయడం ద్వారా ఆటోమేట్ చేయడానికి అనుమతిస్తుంది, అదే సమయంలో AI వాటిని గమనిస్తూ ఉంటుంది.

పిక్సెల్ కోఆర్డినేట్‌లను కచ్చితంగా రికార్డ్ చేసి, ఇంటర్‌ఫేస్ మారినప్పుడు విఫలమయ్యే సాంప్రదాయ రోబోటిక్ ప్రాసెస్ ఆటోమేషన్ (RPA) సాధనాల వలె కాకుండా, కోడెక్స్ వినియోగదారుడి అంతర్లీన ఉద్దేశ్యాన్ని గ్రహిస్తుంది.

ఇది గతంలోని పెళుసైన, నియమ-ఆధారిత వ్యవస్థలను దాటవేస్తూ, ముడి చర్యలను అనుకూలమైన, సాధారణీకరించిన ఆటోమేషన్‌గా అనువదించడానికి ఒక పెద్ద భాషా నమూనాని ఉపయోగిస్తుంది.

వినియోగదారుడు కోడెక్స్ ప్లగిన్‌ల ప్యానెల్‌లో "రికార్డ్ ఎ స్కిల్"ను యాక్టివేట్ చేసినప్పుడు ఈ ప్రక్రియ ప్రారంభమవుతుంది. ఇది వినియోగదారుడు వెబ్‌సైట్‌లను నావిగేట్ చేస్తున్నప్పుడు, ఫారమ్‌లను నింపుతున్నప్పుడు లేదా ఫైల్‌లను అప్‌లోడ్ చేస్తున్నప్పుడు విండో కంటెంట్‌లను పర్యవేక్షించడానికి AIని ప్రేరేపిస్తుంది.

పూర్తయిన తర్వాత, కోడెక్స్ SKILL.md అనే పేరుతో, మానవులు చదవగలిగే, సవరించగలిగే మార్క్‌డౌన్ ఫైల్‌ను రూపొందిస్తుంది.

 ఈ ఫైల్, వర్క్‌ఫ్లో యొక్క వేరియబుల్స్ మరియు పూర్తి చేసే ప్రమాణాలను వివరిస్తూ, దశలవారీ బ్లూప్రింట్‌గా పనిచేస్తుంది.

తిరిగి ప్లే చేసినప్పుడు, డెస్క్‌టాప్ కంట్రోల్, బ్రౌజర్ చర్యలు, లేదా స్లాక్ మరియు సేల్స్‌ఫోర్స్ వంటి ఇంటిగ్రేషన్‌లను ఉపయోగించి పనిని స్వయంప్రతిపత్తితో అమలు చేయడానికి కోడెక్స్ ఈ డాక్యుమెంట్‌ను కాంటెక్స్ట్‌గా చదువుతుంది.

ఈ సెమాంటిక్ విధానం, ఆటోమేషన్‌లు చిన్న ఇంటర్‌ఫేస్ అప్‌డేట్‌లను నిర్వహించే విధానాన్ని బాగా మెరుగుపరిచినప్పటికీ, ఇది ఇప్పటికీ ఆధునిక AI ఏజెంట్లలో అంతర్లీనంగా ఉండే విశ్వసనీయత అడ్డంకులను ఎదుర్కొంటోంది.

స్టాన్‌ఫర్డ్ 2026 AI ఇండెక్స్ నివేదిక ప్రకారం, కంప్యూటర్‌ను ఉపయోగించే ఏజెంట్లు వాస్తవ ప్రపంచ డెస్క్‌టాప్ బెంచ్‌మార్క్‌లపై సగటున 34% వైఫల్య రేటును ఎదుర్కొంటున్నాయి.

బహుళ-దశల ప్రక్రియలలో లోపాలు విపరీతంగా పెరిగిపోతాయి కాబట్టి, 10-దశల వర్క్‌ఫ్లో యొక్క మొత్తం విజయం తీవ్రంగా పడిపోవచ్చు.

పర్యవసానంగా, ఈ ఫీచర్ ప్రస్తుతం సంక్లిష్టమైన లోప-నిర్వహణ లేదా వ్యక్తిగత నిర్ణయం అవసరమయ్యే వర్క్‌ఫ్లోల కంటే, అత్యంత స్థిరమైన, పునరావృతమయ్యే పనులకు బాగా సరిపోతుంది.

 కోడ్ రాయడం లేదా కచ్చితమైన టెక్స్ట్ ప్రాంప్ట్‌ల అవసరాన్ని తొలగించడం ద్వారా, రికార్డ్ & రీప్లే ఫీచర్ కేవలం పరిశీలన ద్వారానే, వివరించడానికి కష్టంగా ఉండే కార్యాలయ అలవాట్లను సంగ్రహించి, సాంకేతికేతర వినియోగదారులకు దీనిని ఉపయోగించడం సులభతరం చేస్తుంది.

అంతేకాకుండా, ఈ రికార్డ్ చేయబడిన ఆటోమేషన్‌లను ఇతరులతో పంచుకోవచ్చు.

ఒకే ఉద్యోగి వారపు అనలిటిక్స్ పుల్ లేదా ప్రామాణిక ఖర్చుల నివేదిక సమర్పణ వంటి దోషరహితంగా పూర్తి చేసిన వర్క్‌ఫ్లోను రికార్డ్ చేసి, ఆ SKILL.md ఫైల్‌ను మొత్తం విభాగానికి విస్తరించవచ్చు. దీనివల్ల సిస్టమ్‌కు మరెవరూ తిరిగి శిక్షణ ఇవ్వాల్సిన అవసరం లేకుండా సమయం ఆదా అవుతుంది.

ఈ ఫీచర్ కేవలం macOSకు మాత్రమే ప్రత్యేకమైనది మరియు దీనికి చెల్లింపు ChatGPT సబ్‌స్క్రిప్షన్ (ప్లస్, ప్రో, బిజినెస్, ఎంటర్‌ప్రైజ్ లేదా ఎడ్యు) అవసరం.

గమనించదగ్గ విషయం ఏమిటంటే, OpenAI కేవలం కొన్ని రోజుల క్రితమే ఆ ప్రాంతాలకు ప్రామాణిక "కంప్యూటర్ వినియోగం" సామర్థ్యాలను విడుదల చేసినప్పటికీ, ఈ ప్రారంభ విడుదలలో యూరోపియన్ ఎకనామిక్ ఏరియా (EEA), యునైటెడ్ కింగ్‌డమ్ మరియు స్విట్జర్లాండ్‌లను మినహాయించారు.

 ఆగస్టు 2026లో EU AI చట్టంలోని కఠినమైన ఏజెంటిక్ పారదర్శక చట్టాలు అమల్లోకి రాకముందు, కొనసాగుతున్న నిబంధనల సర్దుబాట్లతో ఈ దశలవారీ భౌగోళిక విస్తరణ ముడిపడి ఉండే అవకాశం ఉందని పరిశ్రమ విశ్లేషకులు సూచిస్తున్నారు.