Intel and AMD Join Forces on ACE: A New x86 Standard to Boost CPU AI Performance

Intel and AMD Join Forces on ACE: A New x86 Standard to Boost CPU AI Performance

Intel and AMD Join Forces on ACE: A New x86 Standard to Boost CPU AI Performance

In a unified effort to reclaim a piece of the artificial intelligence narrative, Intel and AMD have unveiled a new x86 architectural specification called Advanced Compute Extensions (ACE). 

While GPUs have long dominated the AI hardware conversation, this new standard aims to tilt the balance back toward traditional processors. 

ACE is not designed to replace heavy-duty graphics cards in massive model-training clusters; instead, it targets smaller models, edge computing, and latency-sensitive tasks where moving data back and forth between a CPU and GPU creates an unnecessary bottleneck.

At its technical core, ACE addresses matrix multiplication, which serves as the mathematical foundation for most machine learning operations. 

Rather than forcing developers to adapt to entirely new data formats or programming models, the extensions leverage the existing AVX10 register structure but inject dedicated hardware specifically for matrix math. 

By maintaining 512-bit inputs, the architecture integrates seamlessly into current software and hardware ecosystems with minimal disruption.

The architectural shift delivers massive efficiency gains at the instruction level, allowing ACE to execute up to sixteen times as many operations as AVX10 for a given set of input vectors. 

While this will not instantly translate to a 16x speedup for every real-world application, it dramatically reduces memory bandwidth strain and lowers power consumption. 

This makes processing AI tasks directly on the CPU highly economical, particularly for energy-conscious edge devices and single-user applications.

To ensure widespread developer adoption, ACE is designed to be implementation-agnostic, providing a single, consistent target for popular machine learning frameworks like PyTorch and TensorFlow. 

The specification natively supports a wide array of data types—including INT8, FP16, and BF16—alongside Open Compute Project MX block-scaled formats. 

This consistency gives developers a reliable alternative to Neural Processing Units (NPUs), which currently lack industry-wide hardware standardization.

Ultimately, ACE demonstrates that x86 CPUs are far from done evolving in the AI era. 

While massive data centers will continue to rely heavily on specialized accelerators for large-scale training, this new standard ensures that CPUs can handle a broader slice of everyday inference workloads more cleanly. 

By optimizing the hardware already running on millions of devices, Intel and AMD are making local AI deployment simpler, faster, and significantly more efficient.

इंटेल और AMD ने ACE पर हाथ मिलाया: CPU AI परफॉर्मेंस को बेहतर बनाने के लिए एक नया x86 स्टैंडर्ड

आर्टिफिशियल इंटेलिजेंस कहानी का एक हिस्सा वापस पाने की एक साथ कोशिश में, इंटेल और AMD ने एडवांस्ड कंप्यूट एक्सटेंशन (ACE) नाम का एक नया x86 आर्किटेक्चरल स्पेसिफिकेशन पेश किया है।

हालांकि GPU लंबे समय से AI हार्डवेयर बातचीत में हावी रहे हैं, लेकिन इस नए स्टैंडर्ड का मकसद बैलेंस को वापस पारंपरिक प्रोसेसर की ओर मोड़ना है।

ACE को बड़े मॉडल-ट्रेनिंग क्लस्टर में हेवी-ड्यूटी ग्राफिक्स कार्ड को बदलने के लिए डिज़ाइन नहीं किया गया है; इसके बजाय, यह छोटे मॉडल, एज कंप्यूटिंग और लेटेंसी-सेंसिटिव कामों को टारगेट करता है, जहां CPU और GPU के बीच डेटा को आगे-पीछे करने से एक गैर-ज़रूरी रुकावट पैदा होती है।

अपने टेक्निकल कोर में, ACE मैट्रिक्स मल्टीप्लिकेशन को एड्रेस करता है, जो ज़्यादातर मशीन लर्निंग ऑपरेशन के लिए मैथमेटिकल फाउंडेशन का काम करता है।

डेवलपर्स को पूरी तरह से नए डेटा फॉर्मेट या प्रोग्रामिंग मॉडल अपनाने के लिए मजबूर करने के बजाय, एक्सटेंशन मौजूदा AVX10 रजिस्टर स्ट्रक्चर का फायदा उठाते हैं, लेकिन खास तौर पर मैट्रिक्स मैथ के लिए डेडिकेटेड हार्डवेयर इंजेक्ट करते हैं।

 512-bit इनपुट बनाए रखने से, आर्किटेक्चर मौजूदा सॉफ्टवेयर और हार्डवेयर इकोसिस्टम में कम से कम रुकावट के साथ आसानी से इंटीग्रेट हो जाता है।

आर्किटेक्चरल बदलाव इंस्ट्रक्शन लेवल पर बहुत ज़्यादा एफिशिएंसी देता है, जिससे ACE किसी दिए गए इनपुट वेक्टर के सेट के लिए AVX10 के मुकाबले सोलह गुना ज़्यादा ऑपरेशन कर सकता है।

हालांकि यह हर रियल-वर्ल्ड एप्लिकेशन के लिए तुरंत 16x स्पीडअप में नहीं बदलेगा, लेकिन यह मेमोरी बैंडविड्थ पर दबाव को काफी कम करता है और पावर की खपत कम करता है।

इससे CPU पर सीधे AI टास्क को प्रोसेस करना बहुत सस्ता हो जाता है, खासकर एनर्जी का ध्यान रखने वाले एज डिवाइस और सिंगल-यूज़र एप्लिकेशन के लिए।

यह पक्का करने के लिए कि डेवलपर इसे बड़े पैमाने पर अपनाएं, ACE को इम्प्लीमेंटेशन-एग्नोस्टिक बनाया गया है, जो PyTorch और TensorFlow जैसे पॉपुलर मशीन लर्निंग फ्रेमवर्क के लिए एक सिंगल, लगातार टारगेट देता है।

यह स्पेसिफिकेशन नेटिवली कई तरह के डेटा टाइप को सपोर्ट करता है—जिसमें INT8, FP16, और BF16 शामिल हैं—साथ ही Open Compute Project MX ब्लॉक-स्केल्ड फॉर्मेट भी।

 यह कंसिस्टेंसी डेवलपर्स को न्यूरल प्रोसेसिंग यूनिट्स (NPUs) का एक भरोसेमंद विकल्प देती है, जिनमें अभी इंडस्ट्री-वाइड हार्डवेयर स्टैंडर्डाइजेशन की कमी है।

आखिरकार, ACE दिखाता है कि AI के दौर में x86 CPUs का विकास अभी खत्म नहीं हुआ है।

जबकि बड़े डेटा सेंटर बड़े पैमाने पर ट्रेनिंग के लिए खास एक्सेलरेटर पर बहुत ज़्यादा निर्भर रहेंगे, यह नया स्टैंडर्ड यह पक्का करता है कि CPUs रोज़ाना के इंफरेंस वर्कलोड के बड़े हिस्से को ज़्यादा सफाई से संभाल सकें।

लाखों डिवाइस पर पहले से चल रहे हार्डवेयर को ऑप्टिमाइज़ करके, इंटेल और AMD लोकल AI डिप्लॉयमेंट को आसान, तेज़ और काफी ज़्यादा कुशल बना रहे हैं।

CPU AI పనితీరును పెంచడానికి ఒక కొత్త x86 ప్రమాణమైన ACE కోసం ఇంటెల్ మరియు AMD చేతులు కలిపాయి

ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ రంగంలో తమ స్థానాన్ని తిరిగి పొందాలనే ఉమ్మడి ప్రయత్నంలో, ఇంటెల్ మరియు AMD సంస్థలు అడ్వాన్స్‌డ్ కంప్యూట్ ఎక్స్‌టెన్షన్స్ (ACE) అనే ఒక కొత్త x86 ఆర్కిటెక్చరల్ స్పెసిఫికేషన్‌ను ఆవిష్కరించాయి.

AI హార్డ్‌వేర్ రంగంలో చాలా కాలంగా GPUలు ఆధిపత్యం చెలాయిస్తున్నప్పటికీ, ఈ కొత్త ప్రమాణం సాంప్రదాయ ప్రాసెసర్‌ల వైపు తిరిగి మొగ్గు చూపేలా చేయడమే లక్ష్యంగా పెట్టుకుంది.

భారీ మోడల్-ట్రైనింగ్ క్లస్టర్‌లలోని శక్తివంతమైన గ్రాఫిక్స్ కార్డ్‌ల స్థానాన్ని భర్తీ చేయడానికి ACE రూపొందించబడలేదు; దానికి బదులుగా, ఇది చిన్న మోడల్స్, ఎడ్జ్ కంప్యూటింగ్, మరియు CPU మరియు GPU మధ్య డేటాను అటూ ఇటూ మార్చడం అనవసరమైన అడ్డంకిని సృష్టించే లాటెన్సీ-సెన్సిటివ్ టాస్క్‌లను లక్ష్యంగా చేసుకుంటుంది.

దాని సాంకేతిక సారాంశంలో, ACE మ్యాట్రిక్స్ గుణకారాన్ని పరిష్కరిస్తుంది, ఇది చాలా మెషిన్ లెర్నింగ్ కార్యకలాపాలకు గణితపరమైన పునాదిగా పనిచేస్తుంది.

డెవలపర్‌లను పూర్తిగా కొత్త డేటా ఫార్మాట్‌లు లేదా ప్రోగ్రామింగ్ మోడల్‌లకు అనుగుణంగా మార్చుకునేలా బలవంతం చేయడానికి బదులుగా, ఈ ఎక్స్‌టెన్షన్స్ ఇప్పటికే ఉన్న AVX10 రిజిస్టర్ నిర్మాణాన్ని ఉపయోగించుకుంటాయి, కానీ ప్రత్యేకంగా మ్యాట్రిక్స్ గణితం కోసం అంకితమైన హార్డ్‌వేర్‌ను జోడిస్తాయి.

 512-బిట్ ఇన్‌పుట్‌లను నిర్వహించడం ద్వారా, ఈ ఆర్కిటెక్చర్ ప్రస్తుత సాఫ్ట్‌వేర్ మరియు హార్డ్‌వేర్ ఎకోసిస్టమ్‌లలోకి అతి తక్కువ అంతరాయంతో సజావుగా కలిసిపోతుంది.

ఈ ఆర్కిటెక్చరల్ మార్పు ఇన్‌స్ట్రక్షన్ స్థాయిలో భారీ సామర్థ్య లాభాలను అందిస్తుంది, ఇది ఒక నిర్దిష్ట ఇన్‌పుట్ వెక్టర్స్ సెట్ కోసం AVX10 కంటే పదహారు రెట్లు ఎక్కువ ఆపరేషన్‌లను అమలు చేయడానికి ACEని అనుమతిస్తుంది.

ఇది ప్రతి వాస్తవ-ప్రపంచ అప్లికేషన్‌కు తక్షణమే 16 రెట్ల వేగవంతంగా మారనప్పటికీ, ఇది మెమరీ బ్యాండ్‌విడ్త్ భారాన్ని గణనీయంగా తగ్గిస్తుంది మరియు విద్యుత్ వినియోగాన్ని తగ్గిస్తుంది.

ఇది AI టాస్క్‌లను నేరుగా CPUలో ప్రాసెస్ చేయడాన్ని అత్యంత పొదుపుగా చేస్తుంది, ప్రత్యేకించి శక్తిని ఆదా చేసే ఎడ్జ్ పరికరాలు మరియు సింగిల్-యూజర్ అప్లికేషన్‌లకు ఇది మరింత ప్రయోజనకరం.

డెవలపర్లు దీనిని విస్తృతంగా స్వీకరించేలా చేయడానికి, ACE ఇంప్లిమెంటేషన్-అజ్ఞోస్టిక్‌గా రూపొందించబడింది, ఇది PyTorch మరియు TensorFlow వంటి ప్రముఖ మెషిన్ లెర్నింగ్ ఫ్రేమ్‌వర్క్‌ల కోసం ఒకే, స్థిరమైన టార్గెట్‌ను అందిస్తుంది.

ఈ స్పెసిఫికేషన్, ఓపెన్ కంప్యూట్ ప్రాజెక్ట్ MX బ్లాక్-స్కేల్డ్ ఫార్మాట్‌లతో పాటు, INT8, FP16, మరియు BF16తో సహా అనేక రకాల డేటా రకాలకు స్థానికంగా మద్దతు ఇస్తుంది.

 ఈ స్థిరత్వం, ప్రస్తుతం పరిశ్రమ వ్యాప్తంగా హార్డ్‌వేర్ ప్రామాణీకరణ లేని న్యూరల్ ప్రాసెసింగ్ యూనిట్‌లకు (NPUలకు) డెవలపర్‌లకు ఒక నమ్మకమైన ప్రత్యామ్నాయాన్ని అందిస్తుంది.

అంతిమంగా, AI యుగంలో x86 CPUల పరిణామం ఇంకా పూర్తి కాలేదని ACE నిరూపిస్తుంది.

భారీ డేటా సెంటర్లు పెద్ద-స్థాయి శిక్షణ కోసం ప్రత్యేకమైన యాక్సిలరేటర్‌లపై ఎక్కువగా ఆధారపడటం కొనసాగిస్తున్నప్పటికీ, ఈ కొత్త ప్రమాణం CPUలు రోజువారీ ఇన్ఫరెన్స్ వర్క్‌లోడ్‌లలో విస్తృత భాగాన్ని మరింత స్పష్టంగా నిర్వహించగలవని నిర్ధారిస్తుంది.

ఇప్పటికే లక్షలాది పరికరాలలో నడుస్తున్న హార్డ్‌వేర్‌ను ఆప్టిమైజ్ చేయడం ద్వారా, ఇంటెల్ మరియు AMD స్థానిక AI విస్తరణను సరళంగా, వేగంగా మరియు గణనీయంగా మరింత సమర్థవంతంగా చేస్తున్నాయి.