L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona MilanoNews24 | Le notizie da Milano in tempo reale

Potrebbero interessarti

Milano – Ancora blackout: nel Milanese in migliaia senza luce e acqua per oltre 12 ore. Cosa è successo

Milano – Ancora blackout: nel Milanese in migliaia senza luce e acqua per oltre 12 ore. Cosa è successo

Giornata difficile per i residenti di San Giuliano Milanese, colpiti da un lungo blackout che ha lasciato senza elettricità circa 20mila utenti e provocato disagi anche nell’approvvigionamento idrico per molte famiglie. L’emergenza, durata oltre dodici ore, è stata causata da una serie di problemi alla rete elettrica aggravati dall’ondata di caldo che sta interessando il […]

21/06/2026

In Ucraina Droni “Terminator” – Per la prima volta una macchina ha deciso da sola di uccidere

In Ucraina Droni “Terminator” – Per la prima volta una macchina ha deciso da sola di uccidere

 Idroni autonomi entrano in guerra: l’IA decide da sola chi colpire. La guerra in Ucraina potrebbe aver segnato un passaggio storico e controverso nell’evoluzione delle tecnologie militari. Secondo quanto dichiarato da Alexander Kokhanovskyy, dirigente di un’azienda specializzata nella produzione di droni, alcuni velivoli dotati di intelligenza artificiale avrebbero operato completamente senza supervisione umana, individuando e […]

21/06/2026

Milano – Caldo rovente e ancora in aumento: “Rischio termometro a 40 gradi”: ecco le previsioni

Milano – Caldo rovente e ancora in aumento: “Rischio termometro a 40 gradi”: ecco le previsioni

A Milano continua la fase di caldo intenso destinata a protrarsi per diversi giorni. Con l’arrivo dell’estate astronomica, l’anticiclone di origine africana si è consolidato sull’Italia settentrionale, portando sulla Lombardia aria molto calda proveniente dalle zone desertiche del Nord Africa. Secondo gli esperti meteorologici, questa situazione garantirà tempo stabile e soleggiato per gran parte della […]

21/06/2026

Milano – Nuovi avvistamenti a sorpresa nel Parco di Cesano Boscone: dopo la volpe arriva anche il tasso. Ecco perché è una buona notizia

Milano – Nuovi avvistamenti a sorpresa nel Parco di Cesano Boscone: dopo la volpe arriva anche il tasso. Ecco perché è una buona notizia

Nel Parco Natura di Cesano Boscone, alle porte di Milano, è stato registrato un nuovo e significativo avvistamento faunistico: oltre alla presenza ormai consolidata delle volpi, è comparso anche il tasso. L’area verde, che si estende per circa 186 mila metri quadrati e comprende una vasta porzione boschiva, conferma così il proprio valore come habitat […]

20/06/2026

L’Italia è all’ultimo posto in Europa per ingegneri e scienziati- Senza capitale umano la crescite è impossibile: i dati

L’Italia è all’ultimo posto in Europa per ingegneri e scienziati- Senza capitale umano la crescite è impossibile: i dati

L’Italia si colloca all’ultimo posto nell’Unione Europea per presenza di scienziati e ingegneri nel mercato del lavoro, una condizione che evidenzia un ritardo strutturale nello sviluppo del capitale umano. In un’economia sempre più basata su innovazione e tecnologia, la scarsità di professionisti STEM rappresenta un limite significativo alla crescita di lungo periodo. Nel Paese, meno […]

20/06/2026

A Milano caldo infernale – Scatta l’Allerta, domani Bollino rosso e 38 gradi. Ecco quanto durerà

A Milano caldo infernale – Scatta l’Allerta, domani Bollino rosso e 38 gradi. Ecco quanto durerà

Milano si prepara ad affrontare un fine settimana caratterizzato da temperature eccezionalmente elevate. Per domenica 21 giugno il Ministero della Salute ha emesso il livello massimo di allerta, contrassegnato dal bollino rosso, segnalando condizioni climatiche che potrebbero avere effetti significativi sulla salute della popolazione, soprattutto delle persone più fragili. Nel capoluogo lombardo la temperatura percepita […]

20/06/2026

Milano – Il prolungamento della Metro M5 è realtà: sbloccati i finanziamenti. Ecco le nuove 11 fermate

Milano – Il prolungamento della Metro M5 è realtà: sbloccati i finanziamenti. Ecco le nuove 11 fermate

Il progetto di estensione della linea metropolitana M5 verso Monza compie un passo decisivo. Nella giornata del 18 giugno il Comune di Milano ha infatti approvato l’aggiornamento del piano economico dell’intervento, che prevede un investimento complessivo di circa 1,89 miliardi di euro. A questa cifra si aggiungono ulteriori 588 milioni di euro dovuti all’aumento dei […]

19/06/2026

A Milano tornano i Saldi estivi – Annunciate le date INFO

A Milano tornano i Saldi estivi – Annunciate le date INFO

A Milano è stata ufficializzata la data di avvio dei saldi estivi. Quando inizieranno gli sconti? Ecco la data. Partiranno sabato 4 luglio e segneranno l’inizio del periodo di sconti di fine stagione nei negozi della città. Da quel giorno, gli esercizi commerciali potranno applicare riduzioni di prezzo su abbigliamento, accessori e altri articoli, attirando […]

19/06/2026

La Cina cancella più di 12mila corsi di laurea, ormai vecchi. Saranno sostituiti da migliaia di corsi su Intelligenza artificiale e ‘materie’ del futuro: il piano

La Cina cancella più di 12mila corsi di laurea, ormai vecchi. Saranno sostituiti da migliaia di corsi su Intelligenza artificiale e ‘materie’ del futuro: il piano

La Cina ha avviato negli ultimi anni una profonda riorganizzazione del sistema universitario, con l’obiettivo di adattare la formazione accademica alle esigenze economiche e tecnologiche del futuro. Tra il 2021 e il 2025 è stata portata a termine una riforma su larga scala che ha portato alla soppressione di circa 12.200 corsi di laurea considerati […]

19/06/2026