Skip to content

NXP i.MX 8M Plus: ISPs mit Kalibrierung optimal nutzen

Martin Klahr
Von

Moderne Embedded-Prozessoren wie die i.MX 8M-Serie von NXP sind mit Image Signal Prozessoren – kurz ISPs – ausgestattet. Sie werden oft auch als Image Prozessoren oder Image Processing Units (IPUs) bezeichnet und sind speziell für die schnelle und effiziente Aufbereitung von Kameradaten konzipiert.

Optimal genutzt werden die Bildverarbeitungs-Einheiten, wenn die Vorverarbeitung der Sensordaten auf die Endanwendung und das individuelle optische System angepasst werden.

phytec-BV-Mood-2

Dafür bietet PHYTEC als NXP Platinum Partner und eines der ersten Unternehmen überhaupt einen ISP-Kalibrierungsservice für seine Projektkunden mit i.MX 8M Plus an. In diesem Blog-Beitrag zeigen wir Ihnen, welche Vorteile das bietet und wie Sie damit schnell und effizient zum individuell abgestimmten Vision-System kommen.

Embedded Vision mit dem i.MX 8M Plus

Die beiden IPSs der i.MX 8M Plus Prozessoren können umfangreiche Vorverarbeitungen übernehmen – von der Bayer-Konvertierung (auch Demosaicing genannt) zum Errechnen von vollständigen RGB-Farbinformationen für jedes Pixel aus den Daten von Einchip-Farbsensoren (siehe Bild 1) über Black-Level-Kalibrierung und Rauschreduzierung bis hin zu Belichtungssteuerung, Weißabgleich und Farbkalibrierung.

bayerkonvertierung

Bild 1: Bayer-Konvertierung von Sensor-Rohdaten

Defekte Sensorpixel und optische Abbildungsfehler wie zum Beispiel Randabschattungen und Verzerrungen können ebenfalls mit Hilfe der ISPs korrigiert werden. Das ermöglicht ebenso effiziente wie kostengünstige Embedded Designs: Die Features der Prozessoren werden optimal ausgenutzt und die Bildverarbeitung in den ISPs ist optimal auf den Hauptprozessor abgestimmt.

Damit bleibt dessen Rechenleistung frei für die Endanwendung – anders als bei Systemen, die Bild-Vorverarbeitungen per Software auf dem Prozessor durchführen. Zudem können für die Bilderfassung kleinere und kostengünstigere Embedded Kameras ohne eigene Chips für die Aufbereitung der Rohdaten eingesetzt werden. Separate ISPs sind in der Regel außerdem teurer und müssen aufwendig in das Design integriert werden.

XXL-Reichweite für Embedded Vision Systeme

PHYTEC Ratgeber

Kontrolle über Kameradaten-Vorverarbeitung

Welche Vorverarbeitung der Rohdaten gewünscht ist und welche nicht, hängt stark von der Applikation des Embedded-Vision-Systems ab: Personen und Gegenstände zählen und identifizieren, Codes lesen, Bewegungen analysieren oder Objekte vermessen – jede dieser Anwendungen stellt andere Anforderungen an die Aufbereitung der Daten.

Die Korrektur von Linsenverzerrungen etwa macht Vermessungen unter Umständen schwierig, weil sie räumliche Ungenauigkeiten zur Folge haben kann; und ein automatischer Weißabgleich für „natürliche“ Farbwiedergabe ist gleichermaßen ungeeignet für korrekte Farbmessungen oder zum Erkennen von Farb-Abweichungen in optischen Inspektionssystemen.

Umgekehrt können Linsenverzerrungen erhebliche Schwierigkeiten für KI-Systeme bedeuten; in dieser Anwendung ist der Einsatz des ISPs zum Dewarping empfehlenswert.

PHYTEC bietet Know-how und Tools für die ISP-Kalibrierung

Damit die Vorverarbeitung optimal auf die Anwendung angepasst ist und Ergebnisse nicht verfälscht werden, ist es wichtig, dass Entwickler die Algorithmen kennen und ggf. beeinflussen können, mit denen die Kameradaten aufbereitet werden. Dazu benötigen sie das entsprechende Know-how sowie Zugang zu den ISPs des Prozessorboards.

PHYTEC vereinfacht den Prozess mit umfassenden Vorleistungen: Alle Prozessorboards und System on Modules werden mit einem von PHYTEC entwickelten Linux-Betriebssystem ausgeliefert, in dem die Nutzung der ISPs und einige Board-Level-Kameras bereits vorkonfiguriert sind.

Entwickler haben über das gängige Video-for-Linux-Interface (V4L2) Zugang und Kontrollmöglichkeiten für die Bildaufbereitung und müssen sich nicht mehr um das Zusammenspiel des Sensors mit dem Image Prozessor kümmern. Eine Basiskalibrierung für einige phyCAM-Kameramodule ist ebenfalls bereits in den Board-Support-Packages implementiert.

kalibrierung_dewarping_vorhernachher

Bild 2 Dewarping: Sensor-Rohbild (links) und ISP-entzerrtes Bild (rechts)

ISP-Kalibrierung als Service

Außerdem bietet PHYTEC seinen Projektkunden beim Einsatz der i.MX8M Plus Prozessoren die Kalibrierung der ISP-Vorverarbeitung auf das anwendungsspezifische optische System aus Kamera, Objektiv und weiteren Parametern der Anwendung an.

Damit können Funktionen wie die Korrektur von Linsenverzerrung (siehe Bild 2) und Randabschattungen sowie Rauschreduzierung, Farbkalibrierung und Weißabgleich optimal an die individuelle Endanwendung angepasst werden. Diese Kalibrierung der i.MX8M Plus ISPs erfordert neben dem entsprechenden Know-how eine Reihe spezieller Tools.

Als einer der ersten Entwickler und Hersteller von Embedded Systemen und NXP Platinum Partner hat PHYTEC Zugang zu den erforderlichen Tools für die Kalibrierung der ISPs des i.MX8M Plus.

Wir bieten die Basiskalibrierung individueller Kombinationen von Kameras und Objektiven zum Festpreis an – in unserem eigenen Labor für optische Messungen durchgeführt und basierend auf über 25 Jahren Erfahrung und zahlreichen erfolgreichen Embedded Vision Projekten.

Perfekt abgestimmte optische Einheiten – zum Festpreis

Damit ist die individuelle Kalibrierung der ISP-Feature künftig für alle Projekte verfügbar und wirtschaftlich – nicht mehr nur für umfangreiche Projekte mit hohen Stückzahlen und entsprechendem Budget für die Entwicklung. Zum Festpreis erhalten Kunden die Basiskalibrierung ihrer individuellen Kamera-Objektiv-Kombinationen aus dem PHYTEC-Sortiment sowie die Korrektur von Linsenverzerrungen und Randabschattung.

Optional kann ein Festwert-Tuning von Helligkeit, Kontrast, Sättigung und HUE durchgeführt werden. Dabei werden die spezifischen Anforderungen des Projektes berücksichtigt. Künftig wird der Service neben der i.MX8M Plus-Serie auch für weitere Prozessoren mit integrierten Image Signal Processing Units angeboten werden.

Schneller Entwicklungseinstieg mit PHYTEC Kits

Der ISP-Kalibrierungsservice für Embedded-Vision-Anwendungen ist eine von zahlreichen Vorleistungen von PHYTEC für die schnelle und effiziente Elektronikentwicklung. Dazu gehören außerdem Entwicklungskits wie das phyBOARD-Pollux Imaging Kit, die alle Komponenten inkl. Kamera und Objektiv sowie ein entsprechendes Betriebssystem für umfassende Evaluierungen und den Aufbau von Funktionsmustern enthalten. Das ermöglicht Kunden den direkten Einstieg in die Entwicklung und eine schnelle Weiterqualifizierung zur Serienreife.

Auch zu weiteren Varianten der NXP i.MX8-Prozessorfamilie sowie für zahlreiche weitere Prozessoren bietet PHYTEC entsprechende Kits. Wir unterstützen unsere Kunden vom Start-up über individuelle Entwicklungen vom Prototyp bis zur Serienelektronik sowie mit umfassenden Services im gesamten Lebenszyklus.

PHYTEC Ratgeber

XXL-Reichweite für Embedded Vision Systeme

Martin Klahr
Von

XXL-Reichweite für Embedded Vision Systeme

Wie sich die kurze Kabellänge des MIPI CSI-2 Standards überwinden lässt, sodass Prozessorboard und Kamerasensor mit mehr als 15 cm Abstand zueinander montiert werden können.