Google Releases Gemini 2.5 Computer Use — AI That Navigates Web Interfaces Like Humans

మనుషుల మాదిరిగానే వెబ్ బ్రౌజర్‌లను నియంత్రించగల జెమిని 2.5 కంప్యూటర్ యూజ్ AI మోడల్‌ను గూగుల్ విడుదల చేసింది. ఇది ఒక AI మోడల్, ఇది వాస్తవానికి బటన్‌లను క్లిక్ చేయగలదు, ఫారమ్‌లను పూరించగలదు. ఒక వ్యక్తి చేసినట్లుగా వెబ్‌సైట్‌ల ద్వారా స్క్రోల్ చేయగలదు. సాఫ్ట్‌వేర్‌తో సంకర్షణ చెందడానికి నిర్మాణాత్మక APIలపై ఆధారపడటానికి బదులుగా.. ఈ మోడల్ మానవుల కోసం రూపొందించిన ఇంటర్‌ఫేస్‌లను నావిగేట్ చేయడానికి దృశ్య అవగాహనను ఉపయోగిస్తుంది.

జెమిని 2.5 ప్రో యొక్క దృశ్య అవగాహన సామర్థ్యాలపై నిర్మించబడిన ఈ మోడల్ నిరంతర లూప్‌లో పనిచేస్తుంది. ఇది ప్రస్తుత వాతావరణం యొక్క స్క్రీన్‌షాట్‌లను స్వీకరిస్తుంది, వినియోగదారు అభ్యర్థనను చర్య చరిత్రతో పాటు విశ్లేషిస్తుంది. UI చర్యలను సూచించే ఫంక్షన్ కాల్‌లుగా ప్రతిస్పందనలను ఉత్పత్తి చేస్తుంది. బ్రౌజర్‌లను తెరవడం, వచనాన్ని టైప్ చేయడం, అంశాలను లాగడం, వదలడం URLలను నావిగేట్ చేయడం వంటి 13 చర్యలకు సిస్టమ్ మద్దతు ఇస్తుంది. ప్రతి చర్య అమలు అయిన తర్వాత, టాస్క్ పూర్తయ్యే వరకు లూప్‌ను పునఃప్రారంభించడానికి మోడల్ కొత్త స్క్రీన్‌షాట్‌ను అందుకుంటుంది.

ఇదిబ్రౌజర్‌‌ ద్వారా ఇంటర్నెట్‌‌ను ఉపయోగించగలదు. ఫారమ్‌‌లను నింపడం, సబ్​మిట్ చేయడం లాంటి పనులను చేయగలదు. క్లిక్ చేయడం, టైపింగ్ చేయడం, పేజీలను స్క్రోల్ చేయడం, కీబోర్డ్ కాంబినేషన్​లను ఉపయోగించడం లాంటి పనులనూ చేస్తుంది. ఇందుకోసం ఇది మొదట స్క్రీన్‌‌షాట్​ను తీసుకుంటుంది. దాంట్లోని విజువల్స్​ను అర్థం చేసుకొని, యూజర్ కోరిన పనిని పూర్తి చేయడానికి ఏది సరైనదో నిర్ణయించుకుంటుంది. ఆ తర్వాతే మౌస్​ క్లిక్​లు, కీబోర్డ్ ఇన్​పుట్​లను జనరేట్ చేస్తుంది. ప్రస్తుతానికి ఇది డెవలపర్ల కోసం మాత్రమే అందుబాటులో ఉంది.

బహుళ వెబ్‌సైట్‌లలో పెట్ స్పా అపాయింట్‌మెంట్‌లను నిర్వహించడం నుండి డిజిటల్ స్టిక్కీ నోట్‌లను నిర్వహించడం వరకు వినియోగ కేసుల ద్వారా గూగుల్ ఈ మోడల్‌ను ప్రదర్శించింది. ఈ మోడల్ వెబ్ బ్రౌజర్‌లు మరియు ఆండ్రాయిడ్ మొబైల్ ఇంటర్‌ఫేస్‌లలో ప్రత్యేక బలాన్ని చూపిస్తుంది, అయినప్పటికీ ఇది డెస్క్‌టాప్ ఆపరేటింగ్ సిస్టమ్ నియంత్రణ కోసం ఇంకా ఆప్టిమైజ్ చేయబడలేదు. జెమిని 2.5 కంప్యూటర్ యూజ్ అనేక వెబ్, మొబైల్ నియంత్రణ బెంచ్‌మార్క్‌లలో క్లాడ్ మరియు చాట్‌జిపిటి వంటి ప్రత్యర్థుల కంటే మెరుగ్గా పనిచేస్తుందని… అదే సమయంలో తక్కువ జాప్యాన్ని అందిస్తుందని గూగుల్ పేర్కొంది.