COMPTOIR
register

Composé par ————— —— 10081 vues

Nvidia lance un logiciel de broadcasting qui s'appuie sur les tensor cores des RTX

Nvidia a donc trouvé une seconde application grand public à l'usage de l'IA. Certes le DLSS en fut sa première incarnation, mais voilà que le caméléon lance ses outils (un kit de développement donc) pour tous les streameurs. Étant donné que 750 millions de personnes matent une grosse poignée de streamers (joke), et qu'ils se sont donnés rendez-vous à la TwitchCon, Nvidia en a profité pour les aider à offrir leur contenu, du moins à améliorer leur diffusion et la gestion des effets "spéciaux". Il comprend trois composantes que voici :

 

• RTX Greenscreen : c'est une IA qui conserve la tête et le corps du streameur, et supprime tout le reste que la webcam peut capturer. C'est l’équivalent philosophique d'un écran vert.
• RTX AR : pareil, c'est une IA qui détecte la tête, suit les mouvements de celle-ci, et crée des effets fun, des effets sur la tronche, etc.
• RTX Style Filter : dernière IA qui permet de transformer le look du visage précédemment détecté avec des filtres (comme ceux que l'on peut appliquer dans FreeStyle dans le GFE)

 

Si vous suivez les aventures de notre Tomiche sur Twitch, vous aurez noté son intégration parfaite dans l'image qu'il diffuse. Cela est dû au fait qu'il utilise un gros rideau vert derrière. Le moteur de broadcasting RTX proposé du coup lui éviterait l'emploi de cet écran vert qui lui pompe de la place chez lui, et il pourrait se faire des effets. Par ailleurs, il est prévu que le SDK Codec Video du caméléon fasse ses débuts ce mois-ci pour Twitch, Discord. Elgato, fabricant de cartes d'acquisition, l'a incorporé dans sa dernière carte 4K60 Pro MK.2.

 

Évidemment ceci est encore au stade expérimental, c'est à dire en bêta, c'est censé se développer encore et encore, mais tout ceci a également un but. Vous avez compris que l'IA travaille en temps réel, et donc il faut du matos qui puisse le gérer. C'est à ça que vont servir les tensor cores, accélérateurs de calculs dédiés. Et donc qui dit tensor cores dit Geforce RTX ou Quadro RTX. Ainsi vous comprenez le fil directeur. Toutefois, au même titre que les rouges, toute plus-value de ce style peut attirer à juste titre des clients potentiels, et le cas échéant cela évite des achats supplémentaires qui peuvent décourager celui ou celle qui veut se lancer dans le streaming. La guerre des "à côté" !

 

 

Par ici la page explicative
Un poil avant ?

Intel annonce son SSD 665p avec une NAND QLC perfectionnée

Un peu plus tard ...

EPYC ou l'histoire d'un succès inespéré devenu réalité

Nouvelle application des tensor cores chez Nvidia : la diffusion de contenu en direct live, et donc la fin des écrans verts ?

temps de concentration afin de cerner l'ensemble des subtilités de ce billet un peu moins de 2 minutes

Sur le comptoir, au ~même sujet

 
 
 
 
 
 
 
 
 
 
 
 



Suivez-nous sur G.Actualités
Les 9 ragots
Les ragots sont actuellement
ouverts à tous, c'est open bar !
par Thibaut G., le Vendredi 27 Septembre 2019 à 19h05  
par Un ragoteur qui pipotronne en Île-de-France le Vendredi 27 Septembre 2019 à 13h43
Il parait selon les devs que les AI et RT cores sont très durs à gérer et qu'on perd beaucoup à ne pas les utiliser uniquement comme auxiliaires aux CUDA cores. En gros, les Tflops globaux donnés par Nvidia sont faux car jamais capables d'être utilisés à plein régime pour des raisons de cache et de latences. Ce qui fait que finalement, même dans les moteurs de rendus Raytrace, on passe par des API et des applis Nvidia pour obtenir un résultat, qui n'est jamais à la hauteur des Tflops attendus mais qui font quand même quelque chose qui impressionne la galerie.
Les prochains GPU NVidia vont utiliser une autre archi ou une archi RTX/AI totalement remaniée, c'est quasi-certain. Sur les RTX ils ont collé des cares spécialisés en vrac parce qu'ils savaient les faire mais n'ont rien optimisé... par contre leur partie CUDA est extrêmement effcicace. Dommage qu'ils n'aient pas mi ses CUDA cores à la place de leur demi-GPU de RT et AI cores.
ca a pas trainé Jemporte, tellement détectable et prévisible
par Ideal, le Vendredi 27 Septembre 2019 à 14h16  
Ghost in the Shell c'est la vie (cyberpunk 2013 et 2020 aussi bien-sûr)
par lord Varices le Vendredi 27 Septembre 2019 à 09h51
Tout d'un coup ces sytème d'IA et de reconnaissance faciale ça me fait repenser à Ghost in the Shell, dans la BD (ça date de 1989 la prépublication, mine de rien le gars avait quelques idée visionnaires). Dans certaine bulle Kusanagi converse en visioconf avec des collaborateurs. Tu vois le type sur l'écran en costumes alors qu'en fait il sont sortis du lit en train de se brosser les dents, un logiciel le mappe en temps réel pour qu'il aient une apparence convenable en visio. Comme quoi l'idée date pas d'hier. Pour la petite histoire Kusanagi a un hack et vois quand même l'image source.
par Un ragoteur qui pipotronne en Île-de-France, le Vendredi 27 Septembre 2019 à 13h43  
Il parait selon les devs que les AI et RT cores sont très durs à gérer et qu'on perd beaucoup à ne pas les utiliser uniquement comme auxiliaires aux CUDA cores. En gros, les Tflops globaux donnés par Nvidia sont faux car jamais capables d'être utilisés à plein régime pour des raisons de cache et de latences. Ce qui fait que finalement, même dans les moteurs de rendus Raytrace, on passe par des API et des applis Nvidia pour obtenir un résultat, qui n'est jamais à la hauteur des Tflops attendus mais qui font quand même quelque chose qui impressionne la galerie.
Les prochains GPU NVidia vont utiliser une autre archi ou une archi RTX/AI totalement remaniée, c'est quasi-certain. Sur les RTX ils ont collé des cares spécialisés en vrac parce qu'ils savaient les faire mais n'ont rien optimisé... par contre leur partie CUDA est extrêmement effcicace. Dommage qu'ils n'aient pas mi ses CUDA cores à la place de leur demi-GPU de RT et AI cores.
par Thomas N., le Vendredi 27 Septembre 2019 à 12h35  
Curieux de voir si le résultat de RTX Greenscreen diffère vraiment de ChromaCam (ce que j'espère, parce que la finition de ChromaCam est très moyenne).
Et RTX AR c'est en gros ce que fait Snap Camera (ou Face Masks chez Streamlabs).
par Une ragoteuse à forte poitrine de Normandie, le Vendredi 27 Septembre 2019 à 12h29  
Devrait penser de l'exploiter d'avantage dans le VR
par Deus, le Vendredi 27 Septembre 2019 à 12h14  
La premiere peut etre pas trop mal, les deux autres par contre, kikoo millenials / 20
par Un ragoteur qui pipotronne d'Occitanie, le Vendredi 27 Septembre 2019 à 12h09  
Je suis curieux de voir tourner ça chez un streamer en parallèle de l'utilisation d'un jeu avec DLSS+ray tracing, juste pour voir l'impact potentiel sur le jeu (ou le stream ?).
par Thibaut G., le Vendredi 27 Septembre 2019 à 10h03  
Jemporte déguisé dans 3, 2, 1 ?. 0 on va voir le sketch bientôt
par lord Varices, le Vendredi 27 Septembre 2019 à 09h51  
Tout d'un coup ces sytème d'IA et de reconnaissance faciale ça me fait repenser à Ghost in the Shell, dans la BD (ça date de 1989 la prépublication, mine de rien le gars avait quelques idée visionnaires). Dans certaine bulle Kusanagi converse en visioconf avec des collaborateurs. Tu vois le type sur l'écran en costumes alors qu'en fait il sont sortis du lit en train de se brosser les dents, un logiciel le mappe en temps réel pour qu'il aient une apparence convenable en visio. Comme quoi l'idée date pas d'hier. Pour la petite histoire Kusanagi a un hack et vois quand même l'image source.