L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona MilanoNews24 | Le notizie da Milano in tempo reale

Potrebbero interessarti

Milano – Scandalo Vigili urbani: arresti illegali e soldi sequestrati, 5 agenti in manette. Tutto parte dalla denuncia di un pusher..

Milano – Scandalo Vigili urbani: arresti illegali e soldi sequestrati, 5 agenti in manette. Tutto parte dalla denuncia di un pusher..

A Milano cinque agenti della Polizia locale sono stati arrestati con accuse molto gravi: arresto illegale, peculato e falsificazione di atti pubblici. L’indagine è partita dalla denuncia di un giovane spacciatore marocchino di 29 anni, che aveva raccontato la misteriosa sparizione di circa 1.400 euro incassati poco prima del suo arresto per la vendita di […]

07/08/2026

Milano – Aperture straordinarie del Castello Sforzesco: prezzi scontati e orario alargato. Ecco l’offerta speciale di Agosto

Milano – Aperture straordinarie del Castello Sforzesco: prezzi scontati e orario alargato. Ecco l’offerta speciale di Agosto

Milano – Aperture straordinarie del Castello Sforzesco: orario allargato e prezzi scontati. Più tempo per visitare d’estate il Castello Sforzesco. Da sabato 1° agosto, e per tutto il mese, il Castello Sforzesco resterà aperto ogni giorno fino alle 19:30, con un’estensione di due ore rispetto al consueto orario di apertura. Milano aderisce così alle aperture […]

06/08/2026

Google Earth rimuove in meno di 24 ore la funzione AI – Troppe immagini false di disastri e incidenti

Google Earth rimuove in meno di 24 ore la funzione AI – Troppe immagini false di disastri e incidenti

È durata appena 24 ore la nuova funzione di intelligenza artificiale introdotta in Google Earth e poi sospesa dall’azienda a causa delle numerose critiche ricevute. Lo strumento permetteva agli utenti di creare immagini generate dall’IA e inserirle direttamente nelle mappe satellitari della piattaforma. La possibilità di modificare scenari reali ha però sollevato immediatamente preoccupazioni per […]

06/08/2026

Eurofighter italiani in azione sul Baltico – Primo intervento della missione NATO

Eurofighter italiani in azione sul Baltico – Primo intervento della missione NATO

Primo intervento operativo per gli Eurofighter italiani impegnati nella missione NATO Baltic Air Policing. Due caccia F-2000 dell’Aeronautica Militare, appartenenti alla Task Force Air “Baltic Thunder III”, sono decollati dalla base di Šiauliai, in Lituania, dopo l’ordine ricevuto dal Combined Air Operations Centre (CAOC) della NATO di Uedem, in Germania, per monitorare due velivoli militari […]

06/08/2026

E’ morto Francesco Guccini – Addio ad un pezzo di storia della musica

E’ morto Francesco Guccini – Addio ad un pezzo di storia della musica

Addio a Francesco Guccini. Il grande cantautore  è morto all’età di 86 anni nella sua casa di Pavana, sull’Appennino tosco-emiliano, circondato dall’affetto della moglie Raffaella, della figlia Teresa e dei familiari. La famiglia ha annunciato che i funerali si terranno in forma privata, nel pieno rispetto delle sue volontà, chiedendo riservatezza in questo momento di […]

06/08/2026

Milano e il caldo estremo: ecco quando finalmente potrebbe finire. Le previsioni

Milano e il caldo estremo: ecco quando finalmente potrebbe finire. Le previsioni

L’ondata di calore che sta interessando Milano è destinata a proseguire ancora per diversi giorni. Secondo le più recenti previsioni meteorologiche, l’anticiclone africano continuerà a dominare lo scenario atmosferico anche durante la settimana di Ferragosto, mantenendo temperature ben al di sopra delle medie stagionali. Nel prossimo fine settimana potrebbe verificarsi una breve attenuazione del caldo […]

06/08/2026

Milano- Allarme bomba in sei centri commerciali della città: “Voglio molte vittime, salterete in aria”. Evacuati migliaia di clienti

Milano- Allarme bomba in sei centri commerciali della città: “Voglio molte vittime, salterete in aria”. Evacuati migliaia di clienti

Nel pomeriggio di mercoledì 5 agosto sei grandi centri commerciali dell’area milanese sono stati evacuati dopo la segnalazione di un presunto ordigno esplosivo. L’allarme è scattato in seguito all’arrivo di una mail inviata ai responsabili delle strutture, nella quale l’autore sosteneva di aver collocato una bomba e manifestava l’intenzione di provocare un elevato numero di […]

06/08/2026

Ora Vannacci punta Milano: “Presto il nostro candidato sindaco, con i militari ‘rastrelleremo’ Rogoredo”. Cosa ha detto

Ora Vannacci punta Milano: “Presto il nostro candidato sindaco, con i militari ‘rastrelleremo’ Rogoredo”. Cosa ha detto

Roberto Vannacci annuncia un’accelerazione in vista delle elezioni amministrative del 2027 a Milano. Durante una conferenza stampa alla Camera, l’europarlamentare ha spiegato che “Nei prossimi due-tre giorni diremo il nome del nostro candidato al Comune di Milano. Poi ci saranno le suppletive in Calabria e ci stiamo pensando”, confermando che Futuro Nazionale presenterà un proprio […]

05/08/2026

Due scacchisti italiani possono entrare nella storia degli esports – Puntano ad un posto nella World Cup. Montepremi: oltre 1 milione di euro .

Due scacchisti italiani possono entrare nella storia degli esports – Puntano ad un posto nella World Cup. Montepremi: oltre 1 milione di euro .

Due grandi maestri italiani di scacchi sono pronti a tentare un’impresa storica entrando nel mondo degli esports internazionali. I due giocatori, già affermati nel panorama nazionale grazie ai risultati ottenuti in numerose competizioni, puntano ora alla qualificazione per la finale della Esports World Cup, considerata uno degli appuntamenti più importanti a livello mondiale nel settore […]

05/08/2026