RK3576-camera sensorcompatibiliteitsgids: wat u moet bevestigen vóór het hardwareontwerp

Bij de keuze van camera sensors en het hardwareontwerp voor het RK3576-platform moeten diverse cruciale beslissingen worden genomen voordat het schema-ontwerp begint. Deze beslissingen beïnvloeden rechtstreeks de beeldkwaliteit en de haalbaarheid van het hardwareontwerp.

RK3576 CSI/PHY- en ISP-beperkingen

Het RK3576 biedt een flexibele camera-interfacearchitectuur, maar de configuratie moet vanaf het begin worden gepland op basis van de projectvereisten.

Interface-ondersteuning: De SoC ondersteunt zowel MIPI CSI-2 als DVP-camera-interfaces, waarbij MIPI CSI-2 momenteel het grootste voordeel biedt voor nieuwe ontwerpen.

De RK3576 beschikt over één C/D-PHY-interface met maximaal vier lanes, plus twee D-PHY-interfaces. De beschikbare PHY-bronnen kunnen worden geconfigureerd als twee 4-lane D-PHY-poorten of als vier 2-lane D-PHY-poorten. Dit maakt meervoudige-camera-ontwerpen mogelijk, inclusief de veelgebruikte multi-view-systemen in toepassingen op het gebied van beveiliging en robotica.

Notities:

• Voor een ontwerp met meerdere camera’s moet de PHY- en lane-bronnen vroeg worden toegewezen. Een enkele sensor kan niet over twee PHY’s heen reiken.
• Eén RK3576 CSI-poort is configureerbaar als C-PHY of D-PHY. In D-PHY-modus ondersteunt deze tot 4,5 Gbps per lane; in C-PHY-modus ondersteunt deze tot 2,5 Gsps per trio. De overige D-PHY-kanalen ondersteunen tot 2,5 Gbps per lane. Een praktisch hardwareontwerp dient ongeveer 20% bandbreedte als reserve te behouden. Wanneer de effectieve datarate de interfacegrens benadert of overschrijdt, neemt de kans op beschadigde frames, verloren frames en andere beeldfouten toe.
• De SoC ondersteunt ook een parallelle DVP-camera-interface voor oudere, lager-resolutie sensoren. Aangezien DVP- en MIPI-functies sommige pinnen delen, moet de pin-toewijzing vroeg genoeg worden vastgelegd om bronconflicten te voorkomen.

RK3576 ISP-specificaties en verwerkingslimieten

• De RK3576 integreert één hardware-ISP-engine die beeldverwerking ondersteunt tot 16 MP en een HDR-dynamisch bereik tot 120 dB. In een meercamera-systeem betekent het doorsturen van meerdere RAW-streams via de ISP echter dat de gecombineerde resolutie en effectieve beeldfrequentie beperkt worden door zowel de ISP-capaciteit als de MIPI CSI-2 ontvangstbandbreedte. Als de sensoren YUV direct uitvoeren en de ISP omzeilen, verschuiven de belangrijkste beperkingen naar de MIPI-interfacebandbreedte en de geheugenbandbreedte.

Voorbeeld van een meercamera-configuratie: 1 × 8 MP (4K bij 30 fps) + 2 × 2 MP (1080p bij 30 fps).

• Meercamera-toepassingen vereisen ook vroegtijdig besluitvorming over frame-synchronisatie. Meervoudige weergave-opname en stereo-afstandsbepaling kunnen hardware-VSYNC-synchronisatie vereisen. Controleer of hardware-synchronisatie wordt ingeschakeld en of de SoC voldoende externe triggerpins heeft voor het geplande aantal camera’s.

Sensorselectielijst

• Uitgangsinterface en -modus: Bevestig MIPI CSI-2 of DVP, evenals het aantal MIPI-lanes (1, 2 of 4 lanes).
• Gegevensformaat: Op het RK3576-platform ondersteunt de VICAP-ingang RAW-, RGB888- en geselecteerde YUV-formaten. De ingebouwde ISP verwerkt RAW-gegevens en converteert deze naar YUV voor de downstream-pijplijn. RGB- en YUV-streams die direct worden vastgelegd, gaan niet via de ISP.
• Resolutie en beeldfrequentie: Controleer de vereisten van elke afzonderlijke sensor en valideer vervolgens de gecombineerde bedrijfsmodus wanneer meerdere camera’s gelijktijdig draaien. De totale belasting moet binnen de real-time-verwerkingslimiet van de ISP blijven.
• Compatibiliteit van voedingsspanningen: Een typische sensor gebruikt drie voedingsspanningen: AVDD voor de analoge schakelingen, DVDD voor de digitale kern en DOVDD voor het I/O-spanningsniveau. De RK3576 MIPI PHY gebruikt een vaste 1,8 V-voeding, dus wordt over het algemeen een 1,8 V-sensor-DOVDD verkozen. Indien het DOVDD-niveau van de sensor niet overeenkomt met het I2C I/O-spanningsniveau van de host, kan een niveauschakelaar worden toegevoegd aan de laag-snelheidsbesturingsbus. Plaats geen externe niveauschakelaar op de hoog-snelheids MIPI-differentiële signalen. De hardware moet de door de sensorfabrikant gespecificeerde inschakel- en uitschakelvolgorde volgen. De software-initialisatie is afhankelijk van die volgorde; onjuiste timing kan voorkomen dat de sensor wordt geïnitialiseerd of een beeld genereert. De piekstroom op AVDD, DVDD en DOVDD moet ook worden berekend, zodat elke ingebouwde LDO voldoende capaciteit en ontwerpmarge heeft.
• Besturingsbus: Bevestig het I2C-adres van de sensor. Bij een meercamera-systeem moet worden bepaald hoe dubbele adressen worden aangepakt, hetzij door de adressen in software te wijzigen (indien ondersteund), hetzij door een externe I2C-schakelaar te gebruiken.
• Klokinput: De RK3576 biedt meerdere onafhankelijk configureerbare MCLK-uitgangen voor sensoren. Elke klok wordt gegenereerd uit een interne SoC-klokbron en via een gemultiplexte GPIO naar de sensor geleid; elke uitgang kan afzonderlijk worden ingeschakeld en geconfigureerd. Het typische softwareconfigureerbare bereik voor één MCLK is 6 tot 48 MHz. Indien een sensor een klok buiten dit bereik vereist, dient een specifieke externe oscillator te worden gebruikt. Bij meercamera-ontwerpen moet ook worden gecontroleerd op conflicten door pin-multiplexing.
• Voeding en thermisch ontwerp: Sensoren met hoge resolutie en hoge beeldfrequentie verbruiken meer stroom. Evalueer de stroombelasting op bordniveau en het thermische pad van het product voordat het hardwareontwerp definitief wordt gemaakt.
• Lens-, IR-cutfilter- en verlichtingsbesturing: Controleer of er voldoende GPIO-bronnen beschikbaar zijn voor elke vereiste actuator en driver.
• HDR-moduscompatibiliteit: De RK3576 ondersteunt DOL HDR, gestaggerde HDR en multi-frame HDR. Controleer vóór het selecteren van een sensor of het HDR-gegevensformaat en de timing compatibel zijn met de RK3576 ISP en VICAP.

Begin, indien mogelijk, met een sensor die reeds is gevalideerd door de platformgemeenschap of de modulesuppliers. Dit kan het risico op driverontwikkeling en systeemopstart aanzienlijk verminderen.

Sensoren die wij reeds hebben geïntegreerd, omvatten de Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4,1 MP) en IMX662 (2 MP), evenals de onsemi AR0234 (2,3 MP) en de OMNIVISION OG02C1B (2 MP). Als uw project een andere beeldsensor vereist, neem dan contact op met [email protected] om aangepaste integratie en afstemming te bespreken.

Belangrijke punten voor PCB-ontwerp

• MIPI CSI-routering: Regel de differentiële impedantie op 100 ohm ±10%. Houd het lengteverschil tussen de P- en N-lijnen binnen elk differentieel paar onder de 5 mil en houd het lijn-naar-lijn-verschil binnen dezelfde CSI-poort onder de 200 mil. Routeer MIPI-signalen weg van snelle klokken, DDR en stroomrijke voedingssporen. Routeer ze niet over onderbrekingen in het referentievlak. Houd de sporen zo kort mogelijk — bij voorkeur onder de 15 cm; hoe langer de route, des te lager de maximale gegevenssnelheid die betrouwbaar kan worden gehandhaafd.
• MCLK is een snelle, enkelvoudige klok. Handhaaf voldoende afstand tot de MIPI-differentiële paren en vermijd lange parallelle routes om kruisverstoring te beperken.
• Houd snelle MIPI-routes weg van sterke ruisbronnen zoals schakelende voedingen en DDR-bussen, en zorg voor adequate afscherming en aarding waar de layout dit vereist.
• Vermoeidheidsfiltering: Plaats 0,1 µF- en 1 µF-ontkoppelingcondensatoren dicht bij elke sensorvoedingspin. Een ferrietkern kan op AVDD worden toegevoegd om de analoge voedingsspoor te isoleren van digitale schakelcircuits ruis.
• Hoge-resolutiesensoren die met hoge beeldfrequenties werken, kunnen aanzienlijk veel vermogen dissiperen. Een stijgende temperatuur kan het beeldruisniveau verhogen en kleurverschuivingen veroorzaken; daarom dient de thermische oplossing tijdens het hardwareontwerp te worden beoordeeld, niet pas na de eerste opstart.
• Pinmultiplexbeoordeling: Controleer alle MIPI-, DVP-, I2C-, MCLK- en GPIO-toewijzingen op conflicten met gedeelde functies.

Software en beeldverwerkingspijplijn

• Hardwareversnelling: De RK3576 bevat een RGA 2D-grafisch versneller voor bewerkingen zoals beeldformaatconversie (bijvoorbeeld YUV naar RGB), schalen en draaien. Het gebruik van RGA in plaats van CPU-gebaseerde verwerking kan de CPU-belasting aanzienlijk verminderen en is essentieel voor het behoud van stabiele hoge-beeldfrequentiebewerking, zoals 1080p bij 30 fps.
• NPU-gegevensstroomplanning: Wanneer een AI-model wordt uitgevoerd op de geïntegreerde 6 TOPS NPU van de RK3576, is een typisch pad: cameracaptuur, ISP-verwerking, RGA-formaatconversie en schaling, NPU-inferentie en weergave-uitvoer. De latentie op elk stadium moet tijdens het systeemontwerp worden geëvalueerd om te waarborgen dat het volledige product voldoet aan zijn real-time doel.

De volgende referentieconfiguraties illustreren hoe de beschikbare camera-interfaces kunnen worden toegewezen aan verschillende veelvoorkomende toepassingen.