L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona MilanoNews24 | Le notizie da Milano in tempo reale

Potrebbero interessarti

Confindustria sul piano Casa: “Bene il Governo. Senza case accessibili, le imprese non crescono. Bisogna combattere l’emergenza abitativa”

Confindustria sul piano Casa: “Bene il Governo. Senza case accessibili, le imprese non crescono. Bisogna combattere l’emergenza abitativa”

Per Emanuele Orsini, presidente di Confindustria,  il nuovo Piano Casa promosso dal Governo rappresenta un passo positivo per affrontare un problema sempre più urgente. La proposta prevede la costruzione di circa 100 mila abitazioni a prezzi accessibili nell’arco di dieci anni, grazie a un investimento pubblico di circa 10 miliardi di euro, affiancato dal contributo […]

03/05/2026

Competenze digitali, l’Italia resta sotto la media Europea – Mancano candidati per i posti più richiesti

Competenze digitali, l’Italia resta sotto la media Europea – Mancano candidati per i posti più richiesti

L’Italia continua a mostrare un ritardo nelle competenze digitali rispetto al resto d’Europa. Secondo un’analisi di ADAPT, solo il 54% degli italiani possiede abilità digitali di base, una percentuale inferiore alla media europea del 60%. Nonostante alcuni miglioramenti negli ultimi anni, il divario resta significativo e rappresenta un limite per la crescita del Paese. Uno […]

03/05/2026

Addio ad Alex Zanardi – Una vita da leggenda. Ha insegnato a non arrendersi mai

Addio ad Alex Zanardi – Una vita da leggenda. Ha insegnato a non arrendersi mai

Addio ad Alex Zanardi: una vita da leggenda. Ha insegnato a tutti a non arrendersi mai   La scomparsa di Alex Zanardi, a 59 anni, rappresenta una perdita enorme per lo sport italiano e internazionale. La sua vita è stata un esempio straordinario di coraggio e capacità di rinascere: dopo una prima carriera come pilota, arrivato […]

02/05/2026

A Milano apre un nuovo Supermercato: nuovi posti di lavoro – Tutte le INFO

A Milano apre un nuovo Supermercato: nuovi posti di lavoro – Tutte le INFO

A Milano è prevista l’apertura di un nuovo supermercato che porterà anche opportunità di lavoro. Il punto vendita sorgerà in via Ripamonti 181, negli spazi precedentemente occupati da un negozio Carrefour, già interessati da lavori di ristrutturazione. A gestire la nuova struttura sarà Iperal, realtà della grande distribuzione originaria della Valtellina e presente con numerosi […]

02/05/2026

Meloni si irrita sul caso Minetti: “Basta domande su di lei, agli italiani interessa il lavoro del governo”

Meloni si irrita sul caso Minetti: “Basta domande su di lei, agli italiani interessa il lavoro del governo”

Dopo il Consiglio dei ministri che ha approvato il Piano casa e la proroga del taglio delle accise, si è acceso un confronto teso tra la presidente del Consiglio Giorgia Meloni e un giornalista durante la conferenza stampa. Al centro dello scontro, le domande insistenti sul caso che coinvolge Nicole Minetti, tema su cui la […]

02/05/2026

Sinner impressionante – Domina il francese Fils e vola in finale a Madrid. E’ la sua 22° vittoria di fila

Sinner impressionante – Domina il francese Fils e vola in finale a Madrid. E’ la sua 22° vittoria di fila

Prestazione dominante per Jannik Sinner, che conquista la finale del Masters 1000 di Madrid battendo nettamente Arthur Fils con il punteggio di 6-2 6-4. Il numero uno al mondo ha mostrato un livello altissimo, soprattutto in risposta, controllando la partita dall’inizio alla fine e confermando uno stato di forma eccezionale. Al termine del match ha […]

01/05/2026

A Milano i cortei del 1° Maggio – Strade chiuse e divieti: ecco le modifiche alla viabilità

A Milano i cortei del 1° Maggio – Strade chiuse e divieti: ecco le modifiche alla viabilità

A Milano il Primo Maggio sarà caratterizzato da diverse manifestazioni che comporteranno modifiche rilevanti alla viabilità cittadina, con numerose strade chiuse al traffico per consentire lo svolgimento dei cortei. La prima iniziativa è prevista al mattino, con partenza alle 8.30 da corso Venezia. Il corteo attraverserà alcune delle vie più centrali della città, tra cui […]

01/05/2026

A Milano il miglior Master per manager d’Italia – Per il Politecnico un grande risultato anche a livello europeo e mondiale. La classifica

A Milano il miglior Master per manager d’Italia – Per il Politecnico un grande risultato anche a livello europeo e mondiale. La classifica

La Graduate School of Management del Politecnico di Milano si conferma come il punto di riferimento nazionale per la formazione manageriale: il suo Executive MBA è stato infatti classificato come il migliore in Italia secondo il ranking internazionale di QS Quacquarelli Symonds. Nella graduatoria, che analizza oltre 200 programmi di alto livello in 55 Paesi, […]

30/04/2026

A Milano arriva l’ “International Street Food Festival”, fra i più importanti nel mondo Food. Sapori da tutto il mondo: dall’Italia al Sudamerica. L’Evento

A Milano arriva l’ “International Street Food Festival”, fra i più importanti nel mondo Food. Sapori da tutto il mondo: dall’Italia al Sudamerica. L’Evento

Milano ospita l’International Street Food Festival, tra le rassegne più rilevanti dedicate al cibo di strada a livello nazionale e internazionale. L’appuntamento, inserito nel lungo ponte del Primo Maggio, si terrà dall’1 al 3 maggio 2026 nella cornice dell’Idroscalo, offrendo tre giornate all’insegna del gusto e della convivialità, con ingresso libero. L’evento rappresenta la 25ª […]

30/04/2026