L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona MilanoNews24 | Le notizie da Milano in tempo reale

Potrebbero interessarti

Milano – A fuoco pannelli voltaici: evacuato un condominio in via Volta

Milano – A fuoco pannelli voltaici: evacuato un condominio in via Volta

Momenti di apprensione nel pomeriggio di ieri, a Milano, dove un incendio ha interessato il tetto di un edificio situato al civico 16 di via Alessandro Volta. Le fiamme hanno coinvolto alcuni pannelli fotovoltaici, estendendosi su una superficie di circa 20 metri quadrati e rendendo necessario l’intervento dei Vigili del Fuoco. Per affrontare l’emergenza sono […]

02/11/2026

Stagione sciistica, i prezzi sono alle stelle – Un’altra raffica di rincari: “+40% negli ultimi 5 anni. Giornalieri a 90 euro”. Sempre meno italiani sulle piste

Stagione sciistica, i prezzi sono alle stelle – Un’altra raffica di rincari: “+40% negli ultimi 5 anni. Giornalieri a 90 euro”. Sempre meno italiani sulle piste

L’avvio della nuova stagione sciistica è ormai alle porte: le prime nevicate e le temperature in calo permettono già di preparare alcune piste con l’innevamento artificiale. La principale preoccupazione riguarda il continuo aumento dei costi. Nell’ultimo anno gli skipass giornalieri e stagionali hanno subito rincari tra il 2% e il 5%, mentre negli ultimi cinque […]

01/11/2026

A Milano arriva una ‘botta’ di freddo, minime fino a 5 gradi – Le previsioni

A Milano arriva una ‘botta’ di freddo, minime fino a 5 gradi – Le previsioni

Le prossime ore saranno caratterizzato da un progressivo abbassamento delle temperature e da una maggiore variabilità. A determinare il cambiamento sarà una corrente fredda proveniente dall’Europa nordorientale, che porterà condizioni più rigide soprattutto durante la notte. Sabato 31 ottobre il tempo resterà nel complesso favorevole. Nel corso della serata, tuttavia, le nubi inizieranno ad aumentare […]

31/10/2026

Economia: Lombardia, Piemonte e le altre regioni del Nord chiedono al Governo la proroga del Fondo di garanzia per le piccole e medie imprese

Economia: Lombardia, Piemonte e le altre regioni del Nord chiedono al Governo la proroga del Fondo di garanzia per le piccole e medie imprese

Economia: Lombardia, Piemonte e le altre regioni del Nord chiedono al Governo la proroga del Fondo di garanzia per le piccole e medie imprese Cinque Regioni, un’unica voce per sostenere uno strumento a supporto del credito che ha funzionato. Emilia-Romagna, Liguria, Lombardia, Piemonte e Veneto hanno scritto ai ministri dell’Economia e Finanze, Giancarlo Giorgetti, e […]

31/10/2026

La trasformazione di Instagram – Non sarà più un social network, ma sempre più una piattaforma: parte la sfida a Netflix  e You Tube

La trasformazione di Instagram – Non sarà più un social network, ma sempre più una piattaforma: parte la sfida a Netflix e You Tube

Instagram sta cambiando profondamente la propria identità, trasformandosi da social network dedicato alla condivisione di foto e momenti personali in una piattaforma sempre più orientata alla visione di contenuti video. Con l’introduzione della nuova funzione Features, il servizio punta a consentire la pubblicazione di filmati della durata massima di 90 minuti, avvicinandosi a concorrenti come […]

31/10/2026

Milano, Sesto e Brianza sempre più vicine in bicicletta – Inaugurata la nuova Linea 2 del Biciplan: il percorso

Milano, Sesto e Brianza sempre più vicine in bicicletta – Inaugurata la nuova Linea 2 del Biciplan: il percorso

La rete delle piste ciclabili nell’area metropolitana milanese si arricchisce di un nuovo collegamento strategico. A Cinisello Balsamo è stata inaugurata la Linea 2 del Biciplan Cambio, un’infrastruttura realizzata grazie ai finanziamenti del Pnrr che mette in comunicazione Milano con Sesto San Giovanni, Cinisello Balsamo, Bresso e il territorio della Brianza. Il percorso si sviluppa […]

30/10/2026

Dal 2028 si potranno personalizzare le targhe anche in Italia: creatività libera – Ecco i costi (e i limiti)

Dal 2028 si potranno personalizzare le targhe anche in Italia: creatività libera – Ecco i costi (e i limiti)

Dal 2028 anche in Italia potrebbe diventare possibile scegliere una targa personalizzata per auto e moto. L’annuncio è stato dato dalla presidente del Consiglio Giorgia Meloni durante la presentazione della Manovra, sottolineando con ironia la fantasia degli italiani, che “potrebbe farsi valere”. L’introduzione di questa possibilità era già contemplata dalla riforma del Codice della Strada […]

30/10/2026

Imprese, Cochrane (Hoover Insitution): “L’Europa ha dimenticato come si cresce. Vanno tutti in USA per diventare grandi: servono meno regole”

Imprese, Cochrane (Hoover Insitution): “L’Europa ha dimenticato come si cresce. Vanno tutti in USA per diventare grandi: servono meno regole”

L’Europa fatica a sostenere la crescita economica e a trasformare le idee innovative in aziende competitive a livello internazionale. È questa l’analisi di John Cochrane, economista della Hoover Institution ed ex docente all’Università di Chicago, che in un’intervista a La Stampa riflette sulle difficoltà del sistema economico europeo, sui rischi legati al debito pubblico e […]

30/10/2026

Sorpresa a Milano – Cesare Cremonini fa il commesso in un negozio di dischi, stupore fra i clienti: “Sosteniamo queste attività”

Sorpresa a Milano – Cesare Cremonini fa il commesso in un negozio di dischi, stupore fra i clienti: “Sosteniamo queste attività”

Una scena insolita ha sorpreso i clienti di un negozio di dischi a Milano, mercoledì 28 ottobre. Dietro il bancone di “Dischi volanti”, al numero 47 di via Ripa di Porta Ticinese, si trovava infatti il cantautore Cesare Cremonini, impegnato a vestire i panni di un commesso. Tra scaffali colmi di vinili, l’artista ha servito […]

29/10/2026