Mujer dragon, bienvenida, yo soy Monobogi, soy un herrero enano, dime, cual es tu fascinación con los humanos?

QUE HERMOSO CANTAS AAAAAA
Bienvenida!! Espero que te lo pases super poggers!!!

El problema

Durante años, colaborar entre VTubers 3D ha requerido, de una manera u otra, enviar un stream con pantalla verde a través del internet al host, y que este le ponga un filtro de chroma key para poder usarlo en OBS. Esto conlleva una serie de problemas.

Una conexión no óptima degrada enormemente la calidad del video. Se requiere de un servicio externo (OBS Ninja, Discord). El host solo tiene acceso a un video que no puede rotar o posicionar para ajustarlo al layout de su stream/video. ¿Qué es VNyanNet?

10ff79ce-5608-44b6-bae8-85c6db88226d-image.png

Es una función que se introdujo hace poco en VNyan, que permite colaborar con otros VTubers en tiempo real. Funciona con un sistema de servidor dedicado: Una maquina corre el servidor y cada uno se puede conectar a el, igual que en los videojuegos online. En VNyanNet:

En el inicio de cada conexión, el modelo es enviado al host. Después de eso, lo único que se envía son los datos de movimiento, reduciendo enormemente el ancho de banda requerido, comparado con un video. Puedes hostear tu propio servidor en tu computadora, sin depender de ningún servicio externo. Todo ocurre dentro de VNyan, permitiendo al host usar todo el poder del software durante el collab. Posicionamiento, sincronización de eventos, efectos visuales, etc. ¿Qué se necesita? VNyan y VNyanNet Server Avatares en formato VRM. Se recomienda que estén en VSFAvatar, pero hacer la conversión no es una tarea simple. No he tenido muchos problemas usando solo VRMs, solo que se demoran un poquito en cargar al inicio. Una VPN que ofrezca acceso a la red de confianza cero (ZTNA), lo que permite a todos los vtubers y al servidor estar en la misma red (Puede que no sea necesario, más información abajo). Recomiendo Zerotier: es gratis, simple, compatible con todo, y es lo que me funciona a mi. Setup de red

Para que todos se puedan conectar al mismo servidor, tienen que todos tener acceso a este a través del internet. En algunos países, es tan simple como abrir unos puertos a la red la maquina donde está corriendo el servidor, pero en Chile, por ejemplo, los proveedores no permiten hacer esto, y se requieren otras soluciones.

Si no estas seguro si tu proveedor permite el port forwarding o si tiene IP estática, recomiendo usar la opción de una VPN. Hasta donde sé, en latinoamerica casi ningún proveedor ofrece esas funciones.

Esta es la parte más complicada, pero lo bueno es que se debe hacer solo una vez.

Usando una VPN (Recomendada)

Queremos usar una VPN que ofrezca ZTNA. Cuento corto, esta funcionalidad permite a todos los computadores en la misma red de la VPN hablar entre ellos como si estuvieran conectados al mismo router, bypasseando la necesidad de abrir puertos u otras cosas complicadas. Además, es muchísimo mas seguro que abrir puertos al internet.

Daré las instrucciones para conectarse con ZeroTier One (Otra alternativa es Tailscale, pero nunca lo he usado. Estas instrucciones son una traducción/resumen de estas:

Crea una cuenta de ZeroTier, y sigue las instrucciones para crear una organización. No necesitaras nada más que el plan gratis para esto. Esta será la red a la que todos se conectarán, incluyendo el servidor. En la barra lateral izquierda, ve a la sección de Networks, selecciona la red por defecto, y copa la ID de red.
977823d1-e1ad-48ee-ae82-df7cd9fb7cc4-image.png Descarga e instala ZeroTier en todas las computadores que se van a conectar, incluyendo el servidor. Una vez esté corriendo el software, en la bandeja del sistema debes poder ver el ícono de ZeroTier. Dale click, y luego en "Join new Network...". Pega la ID de la red, y click en unirse.
81addc6d-6f13-4f05-a2b5-ff6ae2ace45b-image.png Ahora, tienes que autorizar a cada una de las computadores que se han intentado conectar a la red. En la central de ZeroTier, te aparecerá una notificación que te dará la opción de autorizar cada computadora. También puedes ir a la lista de miembros de tu red, y autorizarlos uno a uno.
88c71e4e-d866-4847-85ab-112b40c3046d-image.png
6d6777ef-7e8d-4fd5-8336-eda731c26a12-image.png Ahora deberían estar conectados. A cada miembro, se le asignará una IP, listada en la columna de "Managed IP". Anoten la IP donde se correrá el servidor de VNyanNet, ya que todos deberán conectarse a esa.

Si se autorizaron todas las computadores, cada una tiene una IP asignada y todos tienen un "Visto por última vez" de un par de minutos , ya deberían todas estan en la misma red local definida por ZeroTier.

Abriendo puertos (Para proveedores con IP estáticas y que permiten el port forwarding)

El port forwarding permite a computadores fuera de tu red local conectarse al tuyo a través de ciertos puertos. Estos son los pasos que debes seguir:

Abrir los puertos en la configuración de firewall de tu sistema operativo (Tutorial para windows aquí) Hacer port forwarding a estos puertos en la configuración de tu router (Tutorial aquí, es muy verboso pero es el mejor que encontré en español)

Los puertos que debes abrir son:

UDP 2456 TCP 2457

Una vez hayas hecho esto, puedes ver si los puertos son accesibles aquí. Si no están marcados como accesibles, es posible que tu proveedor no permita el port forwarding, así que recomiendo probar el método anterior.

Con NodeCraft

Hace poco, NodeCraft, una compañía de hosteo de servidores de juegos, inició una colaboración con VNyan para hacer el hosteo de VNyanNet muy simple. Tengo entendido que es cosa de comprar un servidor y todo se configura por su cuenta. Puedes contratar los servicios aquí y ver las instrucciones aquí.
aabbfc5a-3c6e-4961-bbfd-09fa85b629b4-image.png

Configurando el servidor

En la carpeta de VNyanNet que descargaron y descomprimieron, pueden abrir VNyanNet.cfg y configurar una contraseña. Si usan una VPN, da un poco lo mismo, y si no, usen una contraseña segura, pues su servidor quedará abierto a TODO el internet. Luego le dan click al .exe, y su servidor ya estará corriendo!

Conectandose

En VNyan, deben seguir estos paso:

El anfitrión debe ir a la sección de VNyanNet, y poner la IP y contraseña del servidor. Como es el anfitrión, debe crear un nuevo Lobby, y ponerle una contraseña que compartirá con los demás. Darle a "Connect" y si todo sale bien, en la sección de Lobby Details aparecerá la ID del lobby. También debes compartir eso con los demás.
478e50c9-1087-4e64-bba6-7f3a3f221658-image.png Todos los invitados, en la sección de VNyanNet, deben poner los mismos detalles del servidor, la ID del lobby, la contraseña del lobby que puso el anfitrión, y darle a conectar. Si todo sale bien, tanto el anfitrión como los invitados verán a todos sus modelos en la misma posición, y la lista de clientes coenctados en la sección de VNyanNet
c1491974-bb5b-4dd6-abcd-388812437775-image.png. Configurar la posición de cada invitado se hace a través en un prop que representa su posición, escala y rotación. En la sección de props, dale a "Load from file", y cargar los props llamados VNetPositionSlotX.vnprop ubicados en <Carpeta de instalación de VNyan>/Items/Props, donde X es el número que representa al invitado que quieres posicionar. En la ventana de Props, donde dice "Linked Bone", pongan "World" para que la posición sea relativa al mundo y a nada más, y en "Transform Mode", elijan "Move" para que aparezcan las flechas para reposicionar facilmente. Repitan para cada persona.
187f43cf-e2e0-4bd8-ae68-a98dab3b99ae-image.png Para que se reflejen estos cambios en todos los invitados, los invitados pueden activar "Host controls guest positions" en la ventana de VNyanNet.

Con esto, el setup para colaborar con VNyanNet ya está listo! Cada invitado puede activar redeems, bailes, toggles, etc. en su modelo y se verá instantáneamente reflejado en el host!

Aquí hay una versión video en inglés de esta sección:

Interacciones

Puedes usar los nodos de Send VNyanNet RPC y VNyanNet RPC para enviar y recibir eventos, respectivamente, entre los invitados y el anfitrión, usando los nodos de VNyan. Las posibilidades son infinitas!

Troubleshooting

Si algo no queda claro o tienen algún problema que no este cubierto aquí, siéntanse libres de preguntar! Ese es el punto de los foros :D

Estoy usando ZeroTier, pero no puedo conectarme!

Primero, el creador de la red tiene que verificar que tu computadora esté

Autorizada (Si no lo está, debe autorizarla). Tenga un "Last Seen" de unos pocos minutos (Si es más tiempo, tu computadora está probablemente. desconectada).

También, debes asegurarte de que tu estatus en la red sea "OK"
407469c1-97ab-423a-8af3-be20c89257e5-image.png

Si el estatus es diferente, significa que tu computadora está desconectada. Puedes darle a Disconnect, y luego a Reconnect para ver si se arregla el problema, si no debes reiniciar el servicio de ZeroTier en Windows (Solo he visto esto suceder en Windows). Para hacer eso:

Windows key -> buscar "Servicios" -> Abrir el primer resultado que no sea web o publicidad (Windows siendo Windows)
2- Bscar bien abajo en la ventana "ZeroTier Service". Click derecho, y darle a "reiniciar". Esperar un poco y volver a ver si el estatus de la red está en OK.

Si esto no funciona, no tengo más ideas más allá de reiniciar el computador.

Fuentes https://github.com/Suvidriel/VNyanDoc/wiki/VNyanNet https://docs.zerotier.com/quickstart/

@Umikolove dijo en VNyan Megathread - Preguntas y tips!:

Wooooo * 0 * se ve muy genial el programa :D sí que tiene opciones, es chachi * ^ *
Me sonaba el nombre pero no sabia mucho del programa :3 Está muy completo :D
Aunque me han surgido algunas dudas el ver el video owo
¿Es de pago? si es así ¿Cuánto vale? owo
¿Es incompatible con algun sistema operativo? ;W; (me pasa mucho ;W;)
¿Se puede usar solo con webcam, a pesar de no tener tracking de cuerpo completo, ni tracking facial así complejo?
¿Por casualidad te añade el poder moverte un poco el cuerpo y eso solo con la webcam? Q.Q

(La verdad es que suelen haber muchos programas incompatibles con mi ordenador y lloro ;W;)

Me gusta mucho usarlo! Creo que tmb debería hacer uno de la otra opción (Warudo), aunque no tengo tanta confianza con ese pograma. Tus preguntas:

Es gratis Se que funciona en linux con wine, y en windows nativamente. En Mac OS no estoy segura la verdad, ¿Alguien más sabrá? ¡Si se puede! También tiene funcionalidad de tracking de manos e incluso de ARKit para los modelos que lo soportan, pero la calidad puede variar. Sip, hay hartas configuraciones para ajustar el como el cuerpo responde a la webcam, e incluso puedes imitar el estilo de movimiento de Live2D, si es que lo prefieres.

Sometimes, cloth has to follow the body only when being squished by it. Rigging it directly to a bone would make it unnaturally follow it when the cloth is not actually being squished!

Tutorial What you need Basic Blender knowledge: Modifying meshes, and managing of blendshapes The VRM addon for Blender Steps In Blender Import your model into Blender, and, for your own sanity, properly separate the piece of cloth you want to be squished from the rest of the clothes.
d898cf09-18dd-4bb5-aa46-96bb68c9398e-image.png Rotate the bone to its humanly possible limit. In this case, any rotation of the neck bone in the X axis greater than 5° caused clipping, but I increased the rotation to something that looks like a reasonable limit for neck rotation. Take note of all the angles you work with, in this case, 5° and 22°.
6cf2dbf8-4b68-45a9-bbba-10ca167a01ba-image.png Select your mesh, and create a new blendshape. Name it something descriptive, in this case, it's Neck Forward. Modify this blendshape such that the cloth no longer clips in the set bone position.
9f6f5dc7-a3a4-4d7c-af8b-e508748a168d-image.png (Optional) In this case, when rotating the neck in the Y axis, the cloth looks very unnatural. Since it's a common movement, you can create two additional blendshapes for each side that will activate along with the first one, blending and making the cloth follow the chin a bit better. I called these blendshapes Neck Left and Neck Right.
63a9f602-e191-46f1-a008-a7abed8ceb6f-image.png
3ed47cfe-32bd-40c0-b509-7199f1535814-image.png
c35c6581-74c0-4fd4-a619-436926d2d696-image.png Now put the bones in the rest position, reset the blendshapes, and register the new blendshapes in the VRM blendshape proxy so VNyan can read them.
84aec080-2c70-4654-94ae-dee5012b3708-image.png Export the model In VNyan

We now have to setup VNyan to check the neck rotation every frame, and if it's beyond the 5° rotation on the X axis, start activating the blendshape, blending it until the 20° limit, when Neck Corrective Down should be at its maximum.
10c93063-f340-4f84-9d6c-1049771049a1-image.png
Here's a quick breakdown of the node setup:

This part just sets up a loop for vnyan to run every frame
52f8f060-b872-40c2-9ea4-0854bcd789f4-image.png Next, it gets the value for the X rotation
600d9a7d-484d-47a9-9290-3193bbed164f-image.png And checks that it is between the 5° and 22° range. If it passes, it sets the new blendshape value.
984b0df0-03ab-46b7-b836-9c15967ec30c-image.png The value for the blendshape is determined via a linear interpolation that maps de 5°-22° range to the 0-100 range. If your range goes from a to b, you have to substract b to make it go from 0 to a-b, and then multiply it by 100/(a-b), making the range go from 0 to 100. Here, a=5 and b=22
1cc783e6-4b4c-4b1e-b40a-4c171393c950-image.png (Optional) You can use the ordered execution node to make it also check the Y axis and apply the other two blendshapes as needed. You can just define the angle limits by what angles you used in blender while setting up the blendshapes. Don't take this screenshot too seriously, I didn't properly note the angles I used so I just guessed numbers, but it gives a general idea of the process of checking another angle along with the first one.
4102e0ae-a06b-4002-9f10-c9279cdb9050-image.png
And so, every frame the blendshape values are updated smoothly between 0 and 100 depending on the neck rotation, squishing the cloth as needed!
b7b93bf5-ee21-4e9d-bce1-5fc7a6971c1b-image.png Notes You can do this for a bunch of bones, use the three axis of rotation, and mix and match conditions to suit your desires. It may even start to look like a Live2D setup. Be careful though, you roughly duplicate the amount of blendshapes needed by each degree of freedom! Two bones can need up to 64 blendshapes, one for each possible range of positions! This can probably be done in Warudo too! Files The node setup for a single axis No sample file or model today, this is my friend's model (Go take a look at her work if you can understand spanish!)

thumbnail.png
When I figured out how to do this I was OVERJOYED because I was under the impression that the only way to get the eyebrows over hair effect for a 3D model was using a shader like Poiyomi in unity, but that would require me to trap the model in a somewhat restrictive format like VSFAvatar. But turns out, MToon is a lot more versatile than expected!
I used this unity tutorial as a base, but did it in Blender with the added benefit of keeping the outlines!

Tutorial

This tutorial requires you to have some knowledge about using blender, and a vrm model to work with! We will be using Kana Fuyuko's Test-Chan. This works only on VRM 0.x models, I haven't tried this on 1.0 models.

Importing your model into blender

Start by downloading and installing the blender VRM addon, this will add the .vrm option in the blender import window. Import your .vrm model into blender
1865068c-add3-4d59-ac7d-b7fb2878fc24-imagen.png

Preparing the materials

Start by identifying the eyebrow material, usually freshly exported VRM model have a longer identifier like "N00_000_00_FaceBrow_00_FACE"
97ae6a37-be3c-4091-ba55-8ffb8656cc9e-imagen.png
In this material, you will set the settings in the VRM Material panel under the material selection box like in this screenshot:
3420b115-f3d9-4d78-a59c-efe29c708ebd-imagen.png
Alpha mode must be set to transparent so it can interact with other transparent materials, ZWrite Mode must be disabled or it will not work, and same with Double Sided.

Now identify the material(s) associated to the strands you want the eyebrows to be seen through, you can do this by selecting the hair faces in edit mode and see what materials light up. In this case, there's only one hair material called "Hair".

You will now create a new material, give it a good name like "Hair Stencil", assign it to these strands, and check the "Enable VRM MToon Material" box to convert it into an MToon Material, and try to copy all the settings from the Hair material manually so it looks the same, save for the Alpha mode, ZWrite mode and Double Sided settings.
176537fd-6bf1-408a-a47f-02b6f1136362-imagen.png
I don't just duplicate the Hair material because I've encountered an outline related bug when you duplicate VRM materials, and I'm not sure if it's fixed yet.

Hair stencil and Render Queue

Now that the front strands and the eyebrows are set to transparent, the renderer will determine which one goes first using a render queue, with materials with a lower render queue value being rendered first, and materials with a higher render queue value are rendered on top of them, so we want the eyebrows to have a higher render queue value than the front hair.

The RenderQueue Offset slider you saw in the previous screenshot IS NOT the one we will be modifying, as it is meant for MToon 1.0 as far as I know. Scroll down, and check the "Show MToon 0.0 Options" checkbox, revealing the Render Queue slider:
3161074c-95d0-48f9-9917-0e7f7a9eeec4-imagen.png
This slider goes from 2951 to 3000, so we will leave the Hair Stencil material at 2955 and the eyebrow material at 2960.

Keeping the outline

If you were to export the model now, this would happen:
a06fc3b0-3c4f-4517-811c-295969e384e3-imagen.png
This is because MToon outlines don't follow the material settings, so they just render as opaque strands with inverted normals. We will fixing by converting the outlines into an actual 3D object and putting and MToon shader on it!

First, separate the front strands, and create a duplicate of them, naming it something like "Front Outline". Now if you go to the modifier tab with that mesh selected, you will see some geometry nodes modifiers. We will convert these into geometry!
3231a653-62ba-4812-ac11-691fa2d6db23-imagen.png
Go to the Geometry Nodes workspace, select the modifier for the hair stencil, create a copy of the outline node tree, and change the name to something descriptive like "Outline Factory".
5f17e81b-80e7-4695-bdcd-56d2bac9374b-imagen.png

74d1d123-f43e-4889-a935-594045657071-imagen.png

c8c3a523-2478-4841-84a1-3819468b0207-imagen.png
Now in the node tree, move the output close to the Separate Components node, and connect its mesh output to Geometry input of the Group Output node
88a51bc1-6e98-48c1-b503-62106d064863-imagen.png

706c1fa9-8513-4db6-a22f-a52342db9878-imagen.png
This hijacks the outline creation pipeline before it converts the previously created outline geometry into an instance. I am not very knowledgeable in geometry nodes, but afaik converting geometry into an instance makes the created geometry lose all vertex weights and not be able to become actual geometry if the geometry node modifier is applied, so we skip that step.

Now we apply the modifier, and we are left with a mesh of outlines!
4d1df2c6-6006-4898-bb50-238e37134e97-imagen.png
Now we will disable the outlines for the Hair Stencil material, select the Hair Outline mesh and create a material for it. Convert it to MToon, set the settings like in the screenshot, and assign it to the the whole mesh:
b4e03266-f27b-4d83-bf46-a3a940a03e2f-imagen.png
You can copy and paste the color from the outline settings in the rest of the hair. Now we will set the Render Queue value for this material to 2954 so the hair and eyebrows render on top of it.
d0485892-27c3-451a-b10d-8642e8b24ec1-imagen.png

If you export the model now, you will see the effect work with outlines
e051946e-0a0e-4420-a1b7-10eb1d5ce406-imagen.png

You can see some issues with the lashes, so you have to change the render queue values of those materials so they render before the outline (Have a value below 1954). After doing that, this is the result
ae528fbb-dc4b-4453-8c37-4556e74c6232-imagen.png

The cost of happiness

This looks great! It has a couple of downsides though. You may have noticed that all the outlines that usually render on the front of the hair are gone (because the outlines render after the hair), and this is more or less inevitable.

Another inevitable issue occurs when you turn to the side too much:
Peek 2024-06-22 18-04.gif
This happens because the order at which faces are rendered cannot change dynamically, so when there two overlapping faces with their normals facing you, the engine may render the one that's further back instead of the one in front of it, causing this weird effect. It can be mitigated by texturing with that in mind, changing the hair shape or some other fancy thing but afaik you can never get totally rid of it, not even with other kinds of shaders.

Here's a good explanation of this issue on the minute 3:30:

Conclusion

And that's how you get outlines and eyebrow transparency on a VRM model without unity or need to use other shaders. You can also do this for eyelashes, irises or anything you can think of, but it gets increasingly more cumbersome as you juggle more materials.

I really hope this was useful and don't hesitate to ask questions, after all, this is a forum!

If you want to check out the result or take a look at the .blend I did, you can download the files here.

Hola, me llamo Danshiveru y hago lives en twitch todos los dias entre 16PM y 12PM (Hora de Argentina).
Hablo Español, Portugues y inglés, puedes verme en:

Graciaaaas <3

Bienvenido Nyvek, mucho gusto :3

Holi gentecita hermosa >u</ Mucho gusto en conoceros, soy Umiko Love, podéis llamarme Umiko :3 o como gustéis XD
Soy un intento de vtuber española /catalana que aún no ha debutado, pero espero hacerlo próximamente... (aunque quizás espere a tener un mejor ordenador ya que el mio esta en las últimas creo ;V;) pero me gustaría que fuera pronto -w-

Me gusta mucho dibujar, escribir, y crear historias. Quisiera hacer muchas cosas y tengo varios proyectos, pero debo ir poco a poco -w-

Mi contenido serían videos más bien, ya que no sé si sabría llevar un stream o directo tampoco XD, y no me quiero agobiar con ello. Creo que me da más calma hacer videos, lo veo más posible y que quizás sería lo mejor para mi :3
Me gustaría animar una de mis historias y hacerla una serie, hacer memes animados, dibujar, dance covers, hacer un utau y esas cosas X3.
Me hace mucha ilusión este proyecto, y sé que me voy a demorar bastante -w-u porque me gustaría hacerlo todo yo :3 pero creo que valdrá mucho la pena :D

Muchas gracias por leer, es un placer para mí estar aquí y conoceros. ^w^
Chaui <3 nos leemos >u</

Dejo aqui mis redes:
Mi canal de Youtube :3

He probado la app con un Nokia 5.1 plus, si bien hacer lo de los Blendshapes fue lo más atadoso, me ha funcionado bien, igual hay varios Blendshapes que no cacha, aun con iluminación directa, pero que queda bonito el avatar, queda bonito.
El único problema que me ha presentado eso si... en VSeeFace ya no me deja calibrar las expresiones automáticas, aunque tampoco he averiguado como solucionar esto.

Holiwis mucho gusto :D es muy genial lo que haces! * ^ *

Mucho gusto gente, me presento soy Ginger, soy un chico de México, que hago contenido Twitch, me gusta jugar lo que me gusta y mas que nada amo los videojuegos retro, cuando toco batería y toco con mi banda The Lag, es cuando hago stream en RL, el resto es con el avatar.

soy chico, no trans ni trap.

Espero que les guste mi contenido, espero podernos conocer mejor y les dejo un enlace con mis canales y redes sociales. https://linktr.ee/GingerJM0

¡Hola!
Para 3D yo ocupo VSeeFace porque es el único que me soporta el formato OSC (el estándar de comunicación entre programas de tracking) y que además soporta shaders custom (la mayoría solo acepta VRM).

Para el tracking de cara uso la app de iOS "Waidayo" y para las manos ocupo Leap Motion... pero este último me está dando problemas de tracking y un bug super loco... https://twitter.com/i/status/1403177659115450373

¿Saben si Luppet permite usar modelos con shaders distintos? ¿O alguno que sea parecido/compatible con VSeeFace?

Mucho gusto y bienvenida :D (voy bien atrasada sorry ;V;)

@v_risalab ya veo, a ver si en un futuro logro comprender bien el manejo de la página (^_^)

Mucho gusto :3 y bienvenida :D (voy tarde sorry ;V;)

@hanachi gracias!

Se ve muy genial :D pero no sé bien como usar Unity ;V; ... ¿Seria compatible con blender el shader?