Zusammenfassung: Einer der teuersten Fehler bei Edge AI ist, die KI zu optimieren, bevor die Kamera optimiert ist. Kein Modell kann Bildinformationen zurückholen, die die Kamera nie erfasst hat, deshalb kommt die Bild-Pipeline zuerst.
Wohin der Aufwand meist geht
Engineering-Teams diskutieren wochenlang über KI-Modelle, Quantisierung, Frameworks und Benchmarks. Dabei können einige der grössten Genauigkeitsgewinne aus der Bild-Pipeline kommen.
Was das Modell nicht reparieren kann
Leidet das Kamerabild unter einem dieser Punkte, hat jedes KI-Modell weniger nützliche Information zur Verfügung:
- Schlechte Beleuchtung.
- Falscher Fokus.
- Bewegungsunschärfe.
- Bildrauschen.
- Falsche Belichtung.
- Ein nicht abgestimmter ISP.
Kein KI-Modell kann Bildinformationen zurückholen, die die Kamera nie erfasst hat.
Die Bild-Pipeline, Schritt für Schritt
Jedes Bild, das ein Modell sieht, ist das Ergebnis einer Kette von Entscheidungen. Jedes Glied kann Information hinzufügen oder zerstören:
- Die Beleuchtung bestimmt Kontrast, Schatten und Spiegelungen. In der industriellen Bildverarbeitung zählt kontrollierte Beleuchtung oft mehr als jeder andere einzelne Faktor.
- Die Optik bestimmt Bildfeld, Schärfebereich, Verzeichnung und wie viel Licht den Sensor erreicht.
- Der Sensor bestimmt Auflösung, Pixelgrösse, Dynamikumfang und das Verhalten bei wenig Licht. Ein Global Shutter vermeidet die Verzerrung, die ein Rolling Shutter bei bewegten Objekten zeigt.
- Belichtung und Verstärkung wägen Bewegungsunschärfe gegen Rauschen ab. Kurze Belichtungen frieren Bewegung ein, brauchen aber mehr Licht oder mehr Verstärkung.
- Der ISP macht aus Rohdaten des Sensors ein Bild: Demosaicing, Weissabgleich, Rauschunterdrückung, Schärfung und Tonwertanpassung. Einstellungen für das menschliche Auge sind nicht immer die besten für ein Modell.
- Die Vorverarbeitung skaliert, beschneidet und normalisiert das Bild für das Modell. Sie muss dem entsprechen, was das Modell im Training gesehen hat.
Symptome und wo Sie ansetzen sollten
| Symptom | Wahrscheinliche Ursache | Wo es zu beheben ist |
|---|---|---|
| Genauigkeit sinkt zu bestimmten Tageszeiten | Wechselndes Umgebungslicht | Kontrollierte Beleuchtung, Belichtungseinstellungen |
| Kleine Details werden übersehen | Auflösung, Fokus oder Optik | Objektiv, Arbeitsabstand, Sensorwahl |
| Bewegte Objekte werden falsch klassifiziert | Bewegungsunschärfe oder Rolling Shutter | Kürzere Belichtung, Global Shutter, mehr Licht |
| Körnige Bilder bei wenig Licht | Hohe Verstärkung und Rauschen | Mehr Licht, grössere Pixel, ISP-Rauscheinstellungen |
| Gute Ergebnisse im Labor, schlechte im Feld | Trainingsbilder unterscheiden sich von Bildern aus dem Feld | Daten mit Serienkamera und Serieneinstellungen sammeln |
Beginnen Sie bei den Pixeln
In vielen Embedded-Vision-Projekten kommen deutliche Genauigkeitsgewinne aus:
- Besserer Beleuchtung.
- Besserer Optik.
- Kamera-Tuning.
- Besserer Bildvorverarbeitung.
Erst dann lohnt sich die Frage, wie sich das KI-Modell verbessern lässt. Grossartige KI beginnt mit grossartigen Pixeln.
Checkliste vor dem Tuning des Modells
- Die Rohbilder ansehen, die das Modell auf dem Gerät bekommt, nicht nur den Trainingsdatensatz.
- Beleuchtung und Belichtung für die reale Umgebung festlegen.
- Fokus und Schärfentiefe über den gesamten Arbeitsabstand prüfen.
- Den ISP für die Aufgabe abstimmen, nicht nur dafür, wie das Bild für Menschen aussieht.
- Sicherstellen, dass die Vorverarbeitung auf dem Gerät der im Training entspricht.
- Trainings- und Validierungsdaten mit Serienkamera und Serieneinstellungen sammeln.
Was Sie testen sollten
- Die Genauigkeit über die gesamte Bandbreite realer Beleuchtung, einschliesslich des schlechtesten Falls.
- Ergebnisse bei bewegten Objekten mit realer Geschwindigkeit.
- Stabilität über lange Laufzeiten und bei wechselnder Temperatur.
- Die Wirkung jeder Änderung an der Bildgebung auf die Genauigkeit, eine Änderung nach der anderen gemessen.
Warum sich Kameraarbeit früh auszahlt
Bildprobleme sind am günstigsten zu beheben, bevor die Hardware eingefroren wird. Beleuchtung, Objektivwahl, Arbeitsabstand und Sensorauswahl sind mechanische und elektrische Entscheidungen. Sind Gehäuse und Board gebaut, bedeutet eine Änderung neue Teile, neue Werkzeuge und neue Tests. Modelländerungen dagegen können nach dem Launch per Software-Update weitergehen. Das ist ein starker Grund, zuerst die Kamera richtig zu machen und das Modell später weiter zu verbessern.
Eine gute Bildgebung macht die Aufgabe des Modells ausserdem kleiner. Sind die Bilder konsistent, erreicht oft ein kleineres und schnelleres Modell die Zielgenauigkeit, was Energie, Kosten und Latenz auf dem Gerät zugutekommt.
Die richtigen Trainingsdaten sammeln
- Für die Lerndaten des Modells Serienkamera, Serienobjektiv und Serien-ISP-Einstellungen verwenden.
- Die reale Bandbreite der Bedingungen erfassen: Beleuchtung, Entfernung, Winkel, Bewegung und Schmutz auf dem Objektiv.
- Die Bild-Pipeline während der Datenerfassung unverändert lassen und jede Änderung dokumentieren.
- Einen Validierungsdatensatz aus dem Feld zurückhalten, nicht nur aus dem Labor.
Wenn sich die Kamera oder ihre Einstellungen später ändern, prüfen Sie die Genauigkeit erneut mit neuen Bildern, bevor Sie das Update ausliefern.
FAQ
Kann ein grösseres Modell schlechte Bilder ausgleichen?
Nur bis zu einem gewissen Punkt. Ist die Information nicht im Bild, kann kein Modell sie zurückholen, und ein grösseres Modell kostet ausserdem Rechenleistung und Energie.
Soll der ISP das Bild gut aussehen lassen?
Er soll das Bild für die Aufgabe nützlich machen. Starke Schärfung oder Rauschunterdrückung kann für Menschen gut aussehen und trotzdem Details entfernen, die ein Modell braucht.
Wann ist Arbeit am Modell der richtige nächste Schritt?
Wenn die Bilder konsistent und gut belichtet sind, zu den Trainingsdaten passen und die Genauigkeit trotzdem unter dem Ziel liegt.
Brauchen wir eine bessere Kamera oder nur bessere Einstellungen?
Beginnen Sie mit Einstellungen und Beleuchtung, weil sie günstiger zu ändern sind. Sind die Bilder danach immer noch zu verrauscht, unscharf oder detailarm, ist der Sensor oder das Objektiv die Grenze, und eine Hardwareänderung ist gerechtfertigt.
Woran erkennen wir, dass eine Änderung an der Bildgebung geholfen hat?
Ändern Sie immer nur eine Sache und messen Sie die Genauigkeit auf demselben Validierungsdatensatz aus dem Feld. Verbesserungen, die für Menschen gut aussehen, helfen dem Modell nicht immer, und umgekehrt.
Wie sieht ein guter Testaufbau aus?
Bilden Sie die reale Szene so genau wie möglich nach: dieselbe Beleuchtung, dieselben Entfernungen, Bewegungen und Objekte, und die Kamera so montiert wie im Produkt. Nehmen Sie mit diesem Aufbau einen Referenzsatz aus Bildern und Ergebnissen auf und wiederholen Sie ihn nach jeder Änderung an Kamera, ISP-Einstellungen, Vorverarbeitung oder Modell. Eine feste Referenz zeigt klar, welche Änderung die Genauigkeit verbessert oder verschlechtert hat.
Nehmen Sie bewusst schwierige Fälle auf: Spiegelungen, Schatten, verschmutzte oder zerkratzte Objekte und die Ränder des Bildfelds. Genau diese Bedingungen führen zu Beschwerden aus dem Feld und werden leicht übersehen, wenn nur saubere Beispiele getestet werden.
Wie wir helfen
Wir integrieren Kameras, ISP und Bild-Pipelines auf Embedded-Hardware, bevor wir das Modell abstimmen, und unsere Industrial Vision Box gibt Vision-Produkten eine funktionierende Basis für Kamera und Inferenz. Siehe unsere Leistung Edge AI und Computer Vision und den Accelerator Industrial Vision Box. Wenn Ihre Genauigkeit stagniert, sprechen Sie mit einem Ingenieur.
