हुआवेई बेंचमार्क का परिणाम निजी बनाम सार्वजनिक परीक्षणों में हेरफेर की गई SoC पावर के साथ है।
कुछ हफ्ते पहले हमने कवर किया था एक पेशेवर DSLR कैमरा का उपयोग कर हुआवेई अपनी सेल्फी क्षमताओं के बारे में एक विज्ञापन में, और ऐसा लगता है कि वे उपभोक्ताओं को खोजने और उन्हें चकमा देने के तरीकों को रोक नहीं सकते - इस बार, इसके बेंचमार्क वे हेरफेर कर रहे हैं।
बेंचमार्क एक लोकप्रिय और हैं अब तक?) डिवाइस के प्रदर्शन को दिखाने का वैध तरीका - चाहे उसका सीपीयू, जीपीयू, या सिस्टम प्रदर्शन बेंचमार्क हो। बेंचमार्क का पूरा बिंदु उपभोक्ताओं को सटीक परिणाम देना है कि उपकरण तनाव में कैसे काम करते हैं।
दुर्भाग्य से, ऐसा लगता है कि हुआवेई ने अपने कुछ नवीनतम उपकरणों में 'बेंचमार्क डिटेक्शन मैकेनिज्म' को शामिल किया है। जब यह तंत्र अनिवार्य रूप से करता है तो एसओसी को बहुत अधिक बिजली की सीमा और थर्मल हेडरूम पर धकेल दिया जाता है, जब यह पता लगाता है कि यह कुछ ऐप्स में बेंचमार्क किया जा रहा है - इस प्रकार, जिसके परिणामस्वरूप उपयोगकर्ताओं की तुलना में बहुत अधिक प्रदर्शन स्कोर सामान्य रूप से दैनिक उपयोग में मिलेंगे। यह केवल बेईमानी नहीं है, इसकी खतरनाक SoC के जीवनकाल के लिए, और बहुत जल्दी एक डिवाइस को गर्म कर सकता है और इसकी बैटरी लाइफ को कम कर सकता है।
हुआवेई की इस प्रथा का बचाव इस प्रकार किया जा सकता है, “ हर कोई इसे भी करता है! ” - और दुख की बात है कि वे वास्तव में सही हैं। बेंचमार्क चीटिंग बिल्कुल भी नया नहीं है - यह एक दशक पहले पीसी के दृश्य में भारी था, और इसके कुछ समय के लिए मोबाइल दृश्य में भी था।
बेंचमार्क हेरफेर के लिए 3DMark से विभिन्न उपकरणों का वितरण किया गया।
सैमसंग गैलेक्सी S4 का Exynos वैरिएंट इसी तरह के बेंचमार्क धोखा प्रथाओं, और मोबाइल समीक्षा साइट के लिए संपादकों को पकड़ा गया था आनंदटेक बेंचमार्क डेटा में हेरफेर करने वाले अन्य स्मार्टफोन विक्रेताओं की एक बड़ी संख्या की खोज की। इसने गैलेक्सी S4, गैलेक्सी नोट 3, एचटीसी वन, और कई अन्य जैसे कई उपकरणों का नेतृत्व किया हटाए 3DMark डेटाबेस से।
हालांकि अधिकांश निर्माताओं ने बाहर बुलाए जाने के बाद व्यवहार बंद कर दिया, कुछ ने जारी रखा - उदाहरण के लिए, वनप्लस ने गीकबेंच जैसे लोकप्रिय बेंचमार्क में धोखाधड़ी जारी रखी, हालांकि जाहिरा तौर पर वनप्लस 5 टी के बाद से अभ्यास रोक दिया है - जो वास्तव में एक महान उपकरण है और इसमें अत्यधिक लोकप्रिय है modding और विकास समुदाय, तो शायद OnePlus को लगा कि वे नहीं हैं जरुरत बेंचमार्क डेटा में हेरफेर करने के लिए।
अफसोस की बात है, ऐसा लगता है कि हुआवेई उठा रहा है जहां अन्य डिवाइस विक्रेताओं ने छोड़ दिया है, क्योंकि हुआवेई P20, हुआवेई P20 प्रो और ऑनर प्ले सहित उपकरणों के साथ Huawei हेरफेर बेंचमार्क की सत्यापित रिपोर्ट है। मूल रूप से, हुआवेई मेट 10 प्रो की तुलना में हुआवेई पी 20 का प्रदर्शन फिर से प्रभावित हुआ था - और उस समय, हुआवेई ने कहा था कि ' फर्मवेयर समस्या '- एक स्पष्ट रूप से बोल्ड झूठ, क्योंकि यह वास्तव में उपर्युक्त बेंचमार्क डिटेक्शन मैकेनिज्म के कारण था, जो SoC के लिए एक बहुत ही बेहतर पावर लिमिट को ट्रिगर करता है।
केवल SoC के लिए ही यह बुरा नहीं है, क्योंकि ऐसा करने पर SoC की समग्र दक्षता घट जाती है, क्योंकि SoC को धक्का दिया जा रहा है अच्छी तरह से बाहर इसकी सामान्य ऑपरेटिंग विंडो ( अपने सीपीयू को ओवरक्लॉकिंग करने की कल्पना करें क्योंकि यह बिना किसी थर्मल ग्रीस के जा सकता है) । हालाँकि, यह भी बुरा है बाजार अपने आप।
एक के लिए, यह SoC को खराब दिखता है, जैसे कि यह ज़रूरत बेंचमार्क डेटा को बेचने लायक बनाने के लिए हेरफेर किया है। दूसरा, यह चीनी स्मार्टफोन बाजार पर संदेह करता है - जो पहले से ही नकल, क्लोन और छायादार प्रथाओं के साथ व्याप्त है। इसके अलावा, हुआवेई का बेंचमार्क व्यवहार शायद अभी तक देखा जाने वाला सबसे अधिक आकर्षक है, क्योंकि वास्तव में एक है बड़ा जब यह बंद होता है, तो बेंचमार्क डिटेक्शन मैकेनिज्म के साथ प्रदर्शन परिणामों में अंतर। इतना ज़्यादा कि आनंदटेक टिप्पणी की कि सार्वजनिक रूप से उपलब्ध बेंचमार्क परिणामों में अंतर, और अपने स्वयं के आंतरिक परीक्षण, “ एकदम हैरान ”।
हुआवेई ने इसका पता लगाने के लिए प्रतिक्रिया दी है, और जैसा कि हमने पहले कहा था, उनकी प्रतिक्रिया मूल रूप से थी ' बाकी सब भी करते हैं '। उन्होंने सचमुच क्या कहा ( डॉ। वांग चेंगलू, हुआवेई के उपभोक्ता व्यवसाय समूह में सॉफ्टवेयर के अध्यक्ष से उद्धरण) था ' अन्य लोग भी ऐसा ही करते हैं, उच्च स्कोर प्राप्त करते हैं, और Huawei चुप नहीं रह सकता। उपयोगकर्ता अनुभव के लिए सबसे अच्छा सत्यापन बेंचमार्क खोजने के लिए Huawei चीन में दूसरों के साथ आना चाहता है। ”
डॉ। वांग ने अन्य निर्माताओं को भ्रामक बेंचमार्क संख्याओं के साथ भी बताया, और चीन में एक अज्ञात लोकप्रिय स्मार्टफोन निर्माता का सबसे बड़ा दोषी बताया। डॉ। वैंग के अनुसार, बेंचमार्किंग चीटिंग 'चीन में सामान्य अभ्यास' बन गया है और जबकि Huawei उपभोक्ताओं को 'खोलना' चाहता है, उन्हें तब परेशानी होती है जब प्रतियोगी 'अवास्तविक स्कोर' पोस्ट करते हैं। हुआवेई अपने प्रमुख चीनी प्रतियोगिता के खिलाफ सामना करने की कोशिश कर रहा है, एक ऐसा काम जो अन्य डिवाइस निर्माताओं द्वारा अवास्तविक स्कोर संख्या उत्पन्न करने पर मुश्किल से प्रतीत होता है।
संक्षेप में, हुआवेई
- मानता है कि वे बेंचमार्क संख्याओं में हेरफेर कर रहे हैं
- चीनी फोन बाजार में बाकी सभी को स्वीकार करता है
- # 2 के कारण रुकने की कोई योजना नहीं है।
कोई कैसे हो सकता है विश्वास इस तरह के सामान के बाद चीनी फोन बाजार? किसी भी मामले में, हुआवेई ने एक बयान दिया कि कंपनी ' सुनिश्चित करें कि भविष्य के बेंचमार्क डेटा को स्वतंत्र रूप से तीसरे पक्ष द्वारा सत्यापित किया गया है '।
हुआवेई ने XDA को दिया पूरा जवाब:
'हुआवेई हमेशा उच्च बेंचमार्क स्कोर का पीछा करने के बजाय उपयोगकर्ता अनुभव को प्राथमिकता देता है - विशेष रूप से चूंकि स्मार्टफोन बेंचमार्क और उपयोगकर्ता अनुभवों के बीच सीधा संबंध नहीं है। हुआवेई स्मार्टफोन सीपीयू, जीपीयू और एनपीयू सहित हार्डवेयर के प्रदर्शन को अनुकूलित करने के लिए एआई जैसी उन्नत तकनीकों का उपयोग करते हैं।
जब कोई फ़ोटोग्राफ़ी ऐप लॉन्च करता है या ग्राफ़िकल-इंटेंसिव गेम खेलता है, तो Huawei के बुद्धिमान सॉफ़्टवेयर हार्डवेयर की पूर्ण क्षमताओं को लागू करते हुए एक चिकनी और स्थिर उपयोगकर्ता अनुभव बनाते हैं, साथ ही साथ डिवाइस के तापमान और शक्ति दक्षता का प्रबंधन भी करते हैं। उन अनुप्रयोगों के लिए जो वेब ब्राउज़ करने जैसी शक्ति के रूप में गहन नहीं हैं, यह केवल आवश्यक प्रदर्शन देने के लिए आवश्यक संसाधनों का आवंटन करेगा।
सामान्य बेंचमार्किंग परिदृश्यों में, एक बार जब Huawei का सॉफ्टवेयर एक बेंचमार्किंग एप्लिकेशन को पहचानता है, तो यह समझदारी से 'प्रदर्शन मोड' को स्वीकार करता है और इष्टतम प्रदर्शन प्रदान करता है। हुआवेई उपयोगकर्ताओं को 'प्रदर्शन मोड' तक पहुंच प्रदान करने की योजना बना रही है, ताकि जब उन्हें ज़रूरत हो तो वे अपने डिवाइस की अधिकतम शक्ति का उपयोग कर सकें।
हुआवेई - उद्योग के नेता के रूप में - सर्वोत्तम बेंचमार्किंग मानकों को खोजने के लिए भागीदारों के साथ काम करने को तैयार है जो उपयोगकर्ता अनुभव का सही मूल्यांकन कर सकते हैं। ”
किसी भी स्थिति में, सच बेंचमार्क द्वारा भाग गया आनंदटेक हुआवेई P20, P20 प्रो और ऑनर प्ले का परीक्षण किया - और सभी उपकरणों ने समान रूप से प्रदर्शन किया, क्योंकि वे सभी एक ही HiSilicon Kirin 970 SoC साझा करते हैं - लेकिन प्रत्येक डिवाइस का वास्तविक प्रदर्शन थर्मल सीमा द्वारा सीमित है, जैसा कि प्रत्येक डिवाइस में है विभिन्न चेसिस और शीतलन डिजाइन। Huawei P20 प्रो में सबसे अच्छा थर्मल्स हैं, इसलिए यह एक सच्चे प्रदर्शन राज्य में बेहतर प्रदर्शन करता है।
के संपादक आनंदटेक , आंद्रेई फ्रुमुसनु, कहने के लिए निम्नलिखित था:
'पूर्व में हमने देखा है कि वेंडर वास्तव में SoC आवृत्तियों को बढ़ाते हैं, या उन्हें अपने अधिकतम राज्यों में लॉक करते हैं, जो सामान्य रूप से जेनेरिक अनुप्रयोगों के लिए उपलब्ध है, उससे आगे का प्रदर्शन बढ़ाते हैं। इसके बजाय Huawei जो कर रहा है वह दूसरी दिशा से आकर बेंचमार्क स्कोर को बढ़ा रहा है - बेंचमार्किंग एप्लिकेशन एकमात्र उपयोग के मामले हैं जहां SoC वास्तव में अपनी विज्ञापित गति के लिए प्रदर्शन करता है। इस बीच हर दूसरी वास्तविक दुनिया का अनुप्रयोग हार्डवेयर की थर्मल सीमाओं के कारण उस अवस्था से नीचे एक महत्वपूर्ण डिग्री पर पहुंच जाता है। अनियंत्रित प्रदर्शन के साथ हम जो देखते हैं, वह शायद एक अप्रतिबंधित SoC का 'सही' रूप है, हालांकि यह वास्तव में उपयोगकर्ताओं के अनुभव की तुलना में पूरी तरह से अकादमिक है। '
उनके रेखांकन प्रदर्शित करते हैं कि Huawei के नए फोन पहले से ही अपने वास्तविक प्रदर्शन स्थिति में 3.5-4.4W तक पहुंच गए हैं, जबकि 3.5W TDP अधिकतम राशि है जिसे निरंतर रखा जा सकता है। दूसरी ओर, फोन सार्वजनिक रूप से उपलब्ध बेंचमार्क प्रदर्शन करते समय टीडीपी के साथ ओवरड्राइव में चला जाता है, जिसमें बिजली के आंकड़े 6W से ऊपर जाते हैं और 8.5W तक बढ़ते हैं। जैसा कि आनंदटेक ने नोट किया है, ये आंकड़े डिवाइस पर एक ओवरहीटिंग अधिसूचना को जल्दी से ट्रिगर करते हैं, जो सॉफ्टवेयर उम्मीदों के साथ थर्मल सीमा के बेमेल को दर्शाता है।
इस स्थिति से जो लिया जा सकता है वह यह है कि फोन के तापमान पर निर्भर करते हुए सही प्रदर्शन के आंकड़े स्थिर नहीं होते हैं। Huawei GPU को अपने चरम GPU आवृत्ति स्थिति तक पहुंचने से रोकता नहीं है। डिफ़ॉल्ट व्यवहार वास्तव में एक 'कठोर थर्मल थ्रॉटलिंग तंत्र [...] है जो SoC के तापमान के स्तर और समग्र बिजली की खपत को कम करने का प्रयास करेगा।'
फोन का सामान्य मोड जीपीयू बेंचमार्क के दौरान समान बिजली की खपत के आंकड़े तक पहुंच सकता है क्योंकि अप्रकाशित वेरिएंट द्वारा पोस्ट किए गए हैं। हालांकि, ये संख्या जल्दी से काफी कम हो जाती है, और आनंदटेक ने नोट किया कि फोन कुछ मामलों में 2.2W तक नीचे गिर जाता है, जिसमें प्रदर्शन को कम करने का प्रभाव होता है।
प्रकाशन बताता है कि बेंचमार्क धोखा व्यवहार केवल इस वर्ष के उपकरणों में पेश किया गया है। Huawei Mate 9 और Huawei P10 जैसे फोन प्रभावित नहीं हैं, और ऐसा लगता है कि केवल EMUI 8.0 और नए डिवाइस ही प्रभावित हैं। आनंदटेक को हुआवेई द्वारा यह भी बताया गया कि यह 'विशुद्ध रूप से एक सॉफ्टवेयर कार्यान्वयन' था, जिसने प्रकाशन के निष्कर्षों की पुष्टि की।
आनंदटेक ने प्रभावित किरिन 970-संचालित फोन के लिए GPU के प्रदर्शन के सही आंकड़े पोस्ट किए, और निष्कर्ष यह है कि हुआवेई है GPU प्रदर्शन और दक्षता दोनों में अपने प्रतिद्वंद्वियों से काफी पीछे है ।
प्रकाशन ने किरिन 970 और किरिन 960-संचालित हुआवेई उपकरणों के लिए बिजली तुलना ग्राफ भी पोस्ट किए। ग्राफ़ दिखाते हैं कि Huawei के बिजली थ्रॉटलिंग समायोजन वास्तव में उपयोगकर्ता के अनुभव के लिए बेहतर हैं क्योंकि वे उच्च बिजली की खपत की समस्या को कम करते हैं। Kirin 960 के आनंदटेक के परीक्षण से पता चला कि इसमें 'भयानक जीपीयू पावर विशेषताएं' थीं, जबकि किरिन 970-संचालित उपकरणों में बिजली की खपत और तापमान को कम करने के लिए एक नया सख्त थ्रॉटलिंग तंत्र है।
आनंदटेक ने यह भी उल्लेख किया कि नई थ्रॉटलिंग नीति इस तथ्य पर विचार करती है कि किरिन 960 और किरिन 970 शो पावर ड्रॉ दोनों ही उनके संबंधित फॉर्म कारकों के लिए स्थायी स्तर से बहुत ऊपर हैं।
हालांकि Huawei ने एक नए थ्रॉटलिंग तंत्र की शुरुआत करके कुछ गलत नहीं किया है, लेकिन वे निश्चित रूप से एक श्वेतसूची के माध्यम से लोकप्रिय बेंचमार्क अनुप्रयोगों के बहिष्कार द्वारा धोखा सीमा में पार कर गए हैं, जिसे इस मामले में बेंचमार्क पिटाई के रूप में जाना जाता है।
उल जिसने फ्यूचरमार्क का अधिग्रहण किया, PCMark और 3DMark के पीछे की कंपनी ने Huawei P20, Huawei P20 Pro, Huawei Nova 3 और 3DMark से Honor Play को डिलीवर किया है।
कंपनी ने Huawei P20 Pro, Huawei Nova 3 और Honor Play पर बेंचमार्क चीटिंग को वेरिफाई किया है। आनंदटेक के परीक्षण और रिपोर्टिंग के आधार पर, इसने Huawei P20 के मानक को भी चित्रित किया है। उपयोगकर्ता अब प्रभावित फोन के बेंचमार्क परिणामों को नहीं देख पाएंगे क्योंकि कंपनी धोखा बेंचमार्क स्कोर की मेजबानी नहीं करना चाहती है।
कंपनी ने पाया कि सार्वजनिक 3DMark ऐप से स्कोर निजी ऐप (जो जनता के लिए उपलब्ध नहीं है) के स्कोर से 47% अधिक थे, इस तथ्य के बावजूद कि परीक्षण समान हैं।
घोषणा में, उल ने कहा कि भविष्य में अधिक पारदर्शी दृष्टिकोण अपनाने के लिए हुआवेई को प्रतिबद्ध देखकर खुशी हुई। UL का दृष्टिकोण यह है कि उपयोगकर्ता द्वारा निर्धारित वैकल्पिक प्रदर्शन मोड को इसके वर्तमान नियमों के तहत अनुमति दी जाती है जब तक कि वे डिफ़ॉल्ट रूप से अक्षम हो जाते हैं। कंपनी कहती है: 'किसी उपकरण को मानदंड चलाना चाहिए जैसे कि वह कोई अन्य अनुप्रयोग हो।'
अंत में, सार्वजनिक रूप से उपलब्ध बेंचमार्क का उपयोग करने वाले सभी Huawei GPU प्रदर्शन बेंचमार्क को वास्तविक प्रदर्शन के प्रतिनिधित्व के रूप में नहीं लिया जाना चाहिए।
Huawei बेंचमार्क परीक्षण के लिए सर्वोत्तम प्रथाओं पर चर्चा करने के लिए उल में पहुंचा, और एक बयान जारी किया:
'हुआवेई और उल (3DMark के निर्माता) ने इस सप्ताह बेंचमार्किंग प्रथाओं पर व्यापक चर्चा की है, और एक साथ काम करने के अगले चरणों पर एक सकारात्मक समझौते पर पहुंच गए हैं।
चर्चा में, हुआवेई ने बताया कि उसके स्मार्टफोन एक कृत्रिम बुद्धिमान संसाधन शेड्यूलिंग तंत्र का उपयोग करते हैं। क्योंकि अलग-अलग परिदृश्यों में अलग-अलग संसाधन की आवश्यकता होती है, नवीनतम Huawei हैंडसेट एक तरह से संसाधन आवंटन का अनुकूलन करने के लिए कृत्रिम बुद्धिमत्ता जैसी नवीन तकनीकों का लाभ उठाते हैं, ताकि हार्डवेयर सभी परिदृश्यों में उपयोगकर्ता की मांगों को पूरा करते हुए अपनी क्षमताओं को पूर्ण सीमा तक प्रदर्शित कर सके।
उल, हुआवेई के दृष्टिकोण के इरादे को समझता है, लेकिन डिवाइस द्वारा एक बेंचमार्किंग एप्लिकेशन का पता चलने पर डिफ़ॉल्ट रूप से 'प्रदर्शन मोड' का उपयोग करने के लिए मजबूर किया जाता है। उल नियमों को बेंचमार्क चलाने के लिए एक उपकरण की आवश्यकता होती है जैसे कि यह कोई अन्य अनुप्रयोग था।
Huawei उपभोक्ताओं को यह चुनने का अधिकार देता है कि उन्हें अपने उपकरणों के साथ क्या करना है। इसलिए, हुआवेई उपयोगकर्ताओं को ईएमयूआई 9.0 में 'प्रदर्शन मोड' के लिए खुली पहुंच प्रदान करेगा, ताकि उपयोगकर्ता अपने डिवाइस की अधिकतम शक्ति का उपयोग करने के लिए चुन सकें।
हुआवेई और यूएल ने सामान्य रूप से वर्तमान सामान्य बेंचमार्क परीक्षण विधियों पर भी चर्चा की है। यूएल और हुआवेई बेंचमार्किंग मानकों को विकसित करने के लिए एक उद्योग आंदोलन में भाग लेना चाहते हैं जो निर्माताओं, प्रेस और उपभोक्ताओं की जरूरतों को पूरा करते हैं।
वर्तमान बेंचमार्किंग परिणामों के आसपास भ्रम को रोकने के लिए, चर्चा के बाद, उल और हुआवेई ने अस्थायी रूप से Huawei उपकरणों की एक श्रृंखला के बेंचमार्क स्कोर को हटा दिया है, और Huawei के सभी उपयोगकर्ताओं को प्रदर्शन मोड में Huawei हैंडसेट के उपयोग के बाद उन्हें फिर से बहाल करेगा। '
टैग हुवाई
