Auf diesem Blog gibt es schon einige Artikel zum Thema Smart Cameras (z.B. Smarte Kameras im Meetingraum oder Smarte Kameras für Zoom Rooms) in Meetingräumen. Rückblickend gesehen dokumentieren diese Artikel den Entwicklungspfad. Mal gab es Innovationen auf der Hardware-Seite bei den OEMs, also den Herstellern der MTRS, dann wieder auf der Client-Seite (in der Teams Rooms App) und parallel dazu auch immer auf der Cloud-Seite. Es wurde viel über AI und Machine Learning gesprochen und wie hybride Meetings besser im Sinne von realistischer werden können.
Wollte man es etwas weniger nett formulieren, dann würde ich sagen: Es gibt aktuell einen echten Wildwuchs an Features, Bezeichnungen und Funktionen. Vieles davon ist im Grunde genommen das Gleiche, muss aber aus Marketing-Gründen anders heißen, weil es von verschiedenen Herstellern kommt. Dies führte zu manchen Frustrationen und auch Fehlinterpretationen wie dieses Beispiel zeigt: Microsoft loses face as Teams Intelligent Cameras becomes a third-party feature. Der Autor beschwert sich in diesem Artikel lautstark darüber, dass seiner Meinung nach Microsoft das Thema den OEM-Herstellern überlässt, anstatt es selbst zu machen. Nun ja, wie der heutige Beitrag zeigt, stimmt das so nicht mehr.
Microsoft Intelliframe für Microsoft Teams Rooms
Unter diesem neuen Namen (ja, noch einer mehr!) bündelt Microsoft nun alle „smarten Funktionen“ im Bereich Video für MTRs (Microsoft Teams Rooms).
Intelliframe Funktionen
Intelliframe ist ein Oberbegriff und führt damit gleich einmal zu Verwirrung. Es ist nicht eine einzelne Funktion, weder von Microsoft selbst noch von einzelnen OEM-Herstellern! Es ist vielmehr ein Oberbegriff für ALLE Funktionen im MTR Ecosystem, die das Videoerlebnis durch KI und ML verbessern sollen.
Nachfolgend ein paar Beispiele für Smart Camera Features:
Speaker Tracking
Beim Speaker Tracking erkennt das System, wer gerade spricht und setzt den Sprecher zentral ins Bild. Die Kamera „verfolgt“ ihn auch bei Bewegung wie ein guter menschlicher Kameramann. Vielleicht schon bald auch per „Smart Director“, also einem KI-Regisseur, der zwischen mehreren Kameras umschaltet und so den besten Shot einfängt.
Group Framing
Hier zoomt die Kamera automatisch auf jenen Bereich, in dem Teilnehmer sitzen. Anders gesagt: Anstatt den ganzen Raum mit z.B. nur zwei Personen am Ende des Tisches im Super-Weitwinkel zu zeigen, werden die Menschen bildfüllend gezeigt und der Rest des Raum ausgeblendet.
Conversation Mode
Bei diesem Feature erkennt das System, dass zwei Personen in einem Dialog sind. Anstatt nun hektisch zwischen den beiden hin und her zu schalten, wird der Bildausschnitt so gewählt, dass beide Sprecher gleichzeitig zu sehen sind ODER es werden zwei Einzelbilder der Sprecher zu einem Bild zusammengefügt.
Multi-Stream
Dies ist ein echter Gamechanger! Bei Meetings mit Desktop-Clients und MTRs gibt es bekanntlich ein optisches Ungleichgewicht. Während die Einzelteilnehmer jeweils eine eigene Kachel haben und diese das Gesicht bildfüllend zeigt, werden alle Teilnehmer aus dem Meetingraum in eine einzige Kachel gezwängt. MS Teams betrachtet den MTR als einen Teilnehmer. Die Köpfe der Teilnehmer im Meetingraum schrumpfen so auf Miniformat, werden also zu Teilnehmern zweiter Klasse.
Bei Multi-Stream sendet der MTR nun nicht nur das Gesamtbild, sondern *zusätzlich* auch individuelle Videostreams; aktuell für bis zu vier Teilnehmer. Diese sind dann gleichwertig zu den Einzelteilnehmern via Desktop-Client in der Konferenz. Im nachfolgenden VIDEO ist Intelliframe für Microsoft Teams Rooms klar zu erkennen:
Und wo passiert das alles? Wer ist dafür zuständig?
Diese Frage stellten sich nicht nur viele Anwender, sondern war auch Grund lebhafter Diskussionen zwischen den OEMs und Microsoft. Im Rahmen der Ignite 2022 sorgte Microsoft nun für Klarheit.
Ab sofort gibt es DREI Optionen beim Thema Intelliframe für Microsoft Teams Rooms, wie bzw. wer diese smarten Videofunktionen nun konkret umsetzt.
Variante 1 – Das Microsoft-inside Package
Analog zu den Intelligent Speakern (Link) läuft hier echter Microsoft Code auf der OEM-Hardware. Der Hersteller lizenziert also Software von Microsoft und integriert diesen in sein Gerät. Klingt unglaublich ist aber so.
Der erste Vertreter ist Yealink mit seiner neuen SmartVision 60. (Anmerkung: Zu diesem Gerät gibt es noch so Manches zu erzählen, Blogpost folgt. )
Durch den direkten Zugriff auf die Hardware im Gerät kann Microsoft hochinnovative Features realisieren. Nur ein Beispiel davon ist die videobasierte Teilnehmer-Erkennung. Ähnlich wie bei der Sprecher-Erkennung durch Intelligent Speaker sucht hier die Kamera bekannte Gesichter im Videobild und ordnet diese den entsprechenden M365 Konten zu.
Ein weiterer Vorteil für den Anwender ist, dass sich die Geräte unterschiedlicher Hersteller wahrscheinlich sehr ähnlich verhalten werden. Kein Wunder, wenn überall die gleiche Microsoft Software läuft.
Variante 2 – Die OEM Lösung
Bei diesem Modell sind die OEMs selbst für die Smart Features der Kameras zuständig und können diese nach eigenen Wünschen gestalten. Hier wird ein echter Markt entstehen und unterschiedliche Konzepte konkurrieren. Während ein Hersteller vielleicht sehr viel Rechen-Power in seine Hardware einbaut (Beispiel Huddly IQ – viel mehr als nur eine Webcam), werden andere nur Basisfunktionen, dafür eben preiswert, bereitstellen. Hier ist auch weiterhin ein Wildwuchs an Begriffen und Namen für mehr oder weniger ähnliche Funktionen zu erwarten und natürlich auch Qualitätsunterschiede.
Ob hier trotzdem bzw. zusätzlich einzelne Funktionen aus der Microsoft Cloud kommen, ist offiziell nicht bekannt. Dies ist aber durchaus denkbar.
Hier zeigt POLY, was es in seinen Geräten an Smartness eingebaut hat:
Variante 3 – Die Microsoft Cloud soll es richten
Bei diesem Modell gibt es keine SmartFeatures auf der Raum-Seite, also im MTR-System. Stattdessen werden diese mittels KI in der Microsoft Azure Cloud realisiert. Damit stehen zumindest einige der Funktionen auch einfachen MTR-Kameras ohne eigene Intelligenz zur Verfügung.
Klingt doch super, weil kein Investment vor Ort nötig; alles passiert automatisch in der Cloud.
An dieser Stelle erlaube ich mir ein großes ABER auszusprechen!
Bei allem Marketing-Hype darf nämlich nicht übersehen werden, dass dies aus technischer Hinsicht bestenfalls ein Kompromiss sein kann.
- Das Videosignal, welches in die Cloud geschickt wird, ist stark komprimiert. Nur ein Bruchteil der Bildinhalte des Sensors verlassen das Raumsystem. Anders gesagt: Die Cloud-KI „sieht“ nur sehr unscharf. Geschätzt weniger als EIN Prozent (!) des ursprünglichen Bildinhaltes!
- Dies gilt sowohl für die Menge an Daten, Stichwort Auflösung, als auch für die Qualität.
Eine im MTR eingebaute KI hat hingegen direkten Zugriff auf bis zu 60 Bilder pro Sekunde eines Multi-Megapixel-Sensors. Die Cloud-KI bekommt aber nur den vergleichsweise sehr bescheidenen Videostream von wenigen Mbit/s. - Viele OEMs bieten Systeme mit mehreren Kameras an, haben ePTZ und Ähnliches. Was davon kann die Cloud-Intelligenz noch „sehen“, wenn der Nutzer per manuellem Zoom einen Bildausschnitt gewählt hat und nur diesen verschickt?
Trotzdem könnte man argumentieren, dass eine Cloud-seitige KI immer noch besser ist als eben gar keine Intelligenz. Ich persönlich rechne eher nicht damit, dass diese dritte Option mittelfristig eine gute Lösung darstellt. So gerne Microsoft seine Cloud-Dienste anbietet, so viel smarter ist es doch, entsprechende Software direkt auf den Kundengeräten laufen zu lassen. Edge-Computing ist das Zauberwort und hat selten so gut gepasst wie im Beispiel Microsoft Intelliframe für Microsoft Teams Rooms.
Handlungsempfehlung
Nutzern kann man daher nur empfehlen, auch weiterhin selbst für die bestmögliche Qualität zu sorgen. Dafür sind für die Räume jeweils optimal ausgewählte und perfekt installierte MTRs die beste Grundlage. So wie nicht alle Räume gleich sind, so kann man auch nicht für alle Raumtypen die gleichen MTRs verwenden. Daran ist leider Nichts zu ändern, auch wenn das viele IT-Verantwortliche auf der Suche nach Standardisierung gerne so sehen würden. Natürlich heißt das aber nicht, dass es einen Wildwuchs an unterschiedlichen Geräten geben muss.
Genau hier setzen meine Dienstleistungen und Consulting-Services an. Darüber spreche ich gerne mit Ihnen. Ich freue mich auf Ihre Kontaktaufnahme, Ihre Kommentare oder einen Anruf.