LLM:itä (Large Language Models) käytetään sensoreina luokitteluvirhe: probabilistisen synteesizerin avulla, jossa vaaditaan deterministista rajalaitetta

Tämä ei ole't kehittäjätM SK1 virhe. Useimmat valtavirtaiset esimerkit ja opastukset johtavat yksinkertaisimman demon kanssa : MSC4saattakaa se malliinMST5 Se tekee liikkeelle pääsystä helpommanMSV6 mutta se hämärtää ratkaisevan rajanMsv7 tajuus vs synteesiM Sv8 Teollisuuden kannustinnot eivätMv9 auta kumpaakinMvs10 tokenMVS11hinnalliset järjestelmät palkitsevat luonnollisesti putket, jotka tekevät enemmän työtä LLM: n sisälläMvn12

Tässä artikkelissa käsitellään Vähennetty RAG - rakenteellinen malli, jossa deterministiset putket syövät todennäköisiä komponentteja, ei päinvastoin . asianmukaisessa RAG-järjestelmässä

• Pipelinet (sensorit
• LLM:t toimitaan vain vähennetyn, ,:n rakenteellisen outputin avulla
• En koskaan lähetetään raaka-aineita suoraan LLM:ille

Esimerkki: OCR:ssä (Optical Character Recognition) pipelineM SK3 Vision LLM on luokkaa | 3, | ei luokkaan |1. | Vain tekstin jälkeen se toimii | МSK6 | vastaavuusheuristiikka ja paikallinen OCR epäonnistuu | rajasääntö - rakenteellinen este, joka estää epäasianmukaisen työkalun käytön riippumatta havaitusta mukavuudesta

Osa 1: Ongelma ( Miksi LLM:t epäonnistuvat sensorina)

Sama virhe, Erilaiset toimintatavat

Tässä on samanlaisia rakenteellisia epäonnistumisia eri aloilla:

• OCR (Optical Character Recognition: Raw videoraameiden lähettäminen suoraan Vision LLM:ille sen sijaan, että käytettäisiin tekstiä -likeliness heuristics plus local OCR models
• Kuvaanalyysi: Pyydämme LLM:iltä, että " kuvataan tämä kuva M SK2 rakenteellisten signaalien extrahoinnin sijasta
• Videonkäsittely: Running LLMs frame-byM SK2frame instead of detecting shotsMSC3 extracting keyframes , and deduplicating visual content
• Audioanalyysi: Pyydämme LLM-laitoksia päättämään puhujan identiteetistä tai audion laadusta raaka-aaltomuodoista sen sijaan, että ne käyttäisivät signaalinkäsittelyä

flowchart TD
    subgraph Wrong["❌ Common Anti-Pattern"]
        Raw[Raw Data<br/>Pixels, Waveforms, Frames] -->|Direct feed| LLM1[Vision/Audio LLM<br/>$$$, variance, hallucination]
        LLM1 --> Unreliable[Unreliable Output<br/>High cost, non-deterministic]
    end

    style Wrong fill:none,stroke:#dc2626,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style LLM1 fill:none,stroke:#dc2626,stroke-width:2px
    style Unreliable fill:none,stroke:#dc2626,stroke-width:2px

Symptomit

Nämä rakenteelliset virheet aiheuttavat ennakoitavia epäonnistumisia:

1. Hallucinaatio: LLM on liikkeeseenlaskut. epävarmuuden vallitessa ne täyttävät tyhjiöt uskottavilla täytäntöönpanoilla Tämä on keskeinen ongelma.

2. Ei---deterministinen epäonnistuminen: lämpötilan ja tokenin budjettijohdon erotM SK1 Yhteinen input → erilaiset outputs. Virheet korjataan tilastolliseksi analyysiksi

3. Resurssijätteet: Maksatteko tokena ', (, API ja ) tai käyttekö paikallisia malleja?

Kysymys on:', "t kustannus, -", "it", ', "tarkoituksenmukaisuus", .. OCR-tulokset, jotka haittaavat paikallisesti LLM:n hallucinaatiota, ovat yhtä murheellisia kuin kallis API-puhelu, joka tekee saman asian.

Miksi tämä tapahtuu: Sensorit vsM SK1 Synthesaattorit

Luokitusvirhe on olemassa, koska Sensori ja synteesizer ovat perustavanlaatuisia välineitä:

Sensori on rajallinen väline:

• Vähentää maailmanlaajuisuutta
• Siirtää tosiasiat luottamuksellisten tulosten kanssa
• Tunnee, ominaiset epäonnistumistapat
• Halpa, nopea, toistuvaM SK2 deterministinen

LLM on korkea -vaihtoehtoinen synteesizerM SK1

• Laajentaa vapauden tasoja (todisteet → prosoiM SK2 rakenteellisesti → epä rakenteellisesti
• Ei ole olemassa vakaata käsitettä "ei mitään havaittuaM SK1 ( se tuottaa aina tokkeita)
• Tuotto vaihtelee kontekstin mukaan.
• Kustannusten mittaus lineaarisesti input-kokonaisuuden mukaan
• Ei---deterministinen malli

flowchart LR
    subgraph Sensor["Sensor (Boundary Device)"]
        World[Physical World<br/>∞ dimensions] -->|Reduce| Signal[Structured Signal<br/>Bounded dimensions]
        Signal -->|Confidence| Facts[Facts<br/>± certainty]
    end

    subgraph LLM["LLM (Synthesizer)"]
        Input[Structured Input] -->|Synthesize| Prose[Unstructured Output<br/>High entropy]
        Prose -->|No confidence| Tokens[Token stream<br/>No 'nothing' state]
    end

    style Sensor fill:none,stroke:#16a34a,stroke-width:2px
    style LLM fill:none,stroke:#b45309,stroke-width:2px
    style World fill:none,stroke:#6b7280,stroke-width:2px
    style Signal fill:none,stroke:#2563eb,stroke-width:2px
    style Facts fill:none,stroke:#059669,stroke-width:2px
    style Input fill:none,stroke:#6b7280,stroke-width:2px
    style Prose fill:none,stroke:#d97706,stroke-width:2px
    style Tokens fill:none,stroke:#dc2626,stroke-width:2px

Siksi StyloFlow käsitellään signaaleja muuttumattomina tosiseikkoihin, ei syyttäjinäM SK1 mallit voivat ehdottaa. päättäväinen politiikka päättää, mikä säilyy

Osa 2: Periaate (Sensorit ensinM SK2yhdistys viimeisenä)

Mitä herrat saavat oikein (Ei romancea)

Aivot eivät aloita järkeilyllä. Ne aloittavat rajoitus.

Retina ei ole korteksissa. Tarvitaan raskasta ennakkokäsittelyä, ennen kuin mikään näyttää kognitiiviselta

• Rajan havaitseminen (on,-keskuksessa,M SK2 pois, -keskeisten ganglionsolujen,)
• Liikkumisen havaitseminen (suuntainen valikoivuus V:ssä
• Kontrastien suppression (lateral inhibition
• Noise gating -järjestelmä (

Kun sensorilliset rajoitukset heikentyvät, halucinaatiot kasvavat Alhainen valo, puuttuvat reunatM SK1 epämääräiset merkit . Tämä ei ole vertauskuva - se on sama epäonnistumistapa kuin LLM-hallucinaatiot epävarmuuden vallitessa

Luonnolliset putket eri lajeissa

Tämä ongelma – -–ratkaisumalli ilmenee kaikissa eläinten havainnollisissa järjestelmissä –, – ei ainoastaan ihmisen näkemyksessä –M SK2

Batin ekolokaatio (auditori

• Ongelma: Raaka-ultraääniset heijastukset sisältävät miljoonia tietoja sekunnissa
• Ratkaisu: Doppler-siirroille tarkoitetut specialisoitut kochlearkäsittelyfiltrit
• Tulos: Structured signals (distanceMSC2 velocityM SK3 texture) before cortical processing
• Tekninen rinnakkaisuus: Audiosignaalikäsittely → ominaisuuksia SSK2 diarointi → LLM-synteesi

Honeybee-visioona (liikenteen havaitseminen

• Ongelma: Lennon aikana nopeasti muuttuva näkökenttä
• Ratkaisu: Laminan optinen virtalaskenta (ensimmäinen neuronivyöhyke
• Tulos: törmäyksen välttäminen toimii liikkuvien vektoreiden osaltaM SK1 ei raaka-pixelien osalta
• Tekninen rinnakkaisuus: OpenCV-liikenteen havaitseminen → seuranta → semantiikkaanalyysi

flowchart LR
    subgraph Bat["Bat Echolocation"]
        Echo[Ultrasonic Echo<br/>∞ waveform data] --> Cochlea[Cochlear Filters<br/>Doppler, delay, amplitude]
        Cochlea --> BatBrain[Auditory Cortex<br/>Distance, texture facts]
    end

    subgraph Bee["Honeybee Vision"]
        Motion[Visual Field<br/>Rapid motion] --> Lamina[Lamina<br/>Optical flow computation]
        Lamina --> BeeBrain[Central Brain<br/>Motion vectors, not pixels]
    end

    style Bat fill:none,stroke:#7c3aed,stroke-width:2px
    style Bee fill:none,stroke:#d97706,stroke-width:2px
    style Echo fill:none,stroke:#6b7280,stroke-width:2px
    style Cochlea fill:none,stroke:#a855f7,stroke-width:2px
    style BatBrain fill:none,stroke:#6366f1,stroke-width:2px
    style Motion fill:none,stroke:#6b7280,stroke-width:2px
    style Lamina fill:none,stroke:#f59e0b,stroke-width:2px
    style BeeBrain fill:none,stroke:#d97706,stroke-width:2px

Yhteinen malli:

1. Raakat sensoritiedot (ongelma, : liian paljon
2. Rajan ennaltakäsittely (selosuusM SK1 erikoiskäyttöiset laitteistot /vetovarat vähentävät~,filtrit,,rakenteet
3. Kognitiivinen käsittely (toimia tosiasioiden perusteella , ei raaka-ainesignaalien perusteellaM SK2

Tämä ei ole "luovutus luontostaM SK1 Tietokäsittelyn lähentyvä kehitys fyysisten rajoitteiden vallitessa.

Tekninen kartoitus on tiukka:

flowchart TD
    subgraph Brain["Biological Vision Pipeline"]
        Photons[Photons] --> Retina[Retina<br/>Edge detection, contrast]
        Retina --> V1[V1 Cortex<br/>Orientation, motion]
        V1 --> IT[Inferotemporal Cortex<br/>Object recognition]
        IT --> PFC[Prefrontal Cortex<br/>Reasoning, synthesis]
    end

    subgraph Engineering["Engineering Vision Pipeline"]
        Pixels[Raw Pixels] --> OpenCV[OpenCV + Heuristics<br/>Sharpness, text-likeliness]
        OpenCV --> Local[Local Models<br/>Florence-2, EAST/CRAFT OCR]
        Local --> Structured[Structured Signals<br/>Bounding boxes, confidence]
        Structured --> LLM[LLM Synthesis<br/>Only when needed]
    end

    Brain -.->|Maps to| Engineering

    style Brain fill:none,stroke:#7c3aed,stroke-width:2px
    style Engineering fill:none,stroke:#2563eb,stroke-width:2px
    style Photons fill:none,stroke:#6b7280,stroke-width:2px
    style Retina fill:none,stroke:#16a34a,stroke-width:2px
    style V1 fill:none,stroke:#059669,stroke-width:2px
    style IT fill:none,stroke:#0891b2,stroke-width:2px
    style PFC fill:none,stroke:#6366f1,stroke-width:2px
    style Pixels fill:none,stroke:#6b7280,stroke-width:2px
    style OpenCV fill:none,stroke:#16a34a,stroke-width:2px
    style Local fill:none,stroke:#059669,stroke-width:2px
    style Structured fill:none,stroke:#0891b2,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px

Aivot eivät ymmärrä "understand"pixelejä . Ne eivät koskaan näe niitäM SK3

Korkea aivo toimii niillä signaaleilla, jotka ovat vähennettyjä, ja jotka on siirretty filtrointiinM SK1 ja joita on rakennettu aiemmilla kerroksilla . Tämä ei ole rajoituksia - vaan se tekee älykkyydestä käsiteltävänä olevaaMSC4

Tekniset seuraukset (TyöjärjestyksetM SK1

Tämä ei ole filosofinen lähestymistapa, vaan järjestelmän suunnittelu.

1. Vapauttaminen on pysäytettävä: LLM:t ovat tasolla 3, eivät tasolla

2. Luottamuksen kynnysarvojen on oltava selviä: " Teksti, joka havaitaan todennäköisyydellä

3. Routin on oltava deterministinen: Samat signaalit → sama etenemislähdeM SK2 No prompt variance

4. Tokentalous on este, ei kustannustehokkuus: Jos kaasuputken kustannuksia mitataan raaka-aineen kokon perusteella, , olette käyttämässä väärää välinettä.

5. Tosiasiat tarvitsevat todistusta: Jos te voitteM SK1t viitata bounding boxiin , kehykseen M SK3 tai aaltomuodolliseen alueeseen , se ei ole

Todiste: Filmtripin optimointi

Siinä VideoSummarizerin putki, tekstiM SK1onnilliset filmit vähentävät token hintaa ~30x, kun taas parantaminen OCR:n todennäköisyys. LLM näkee signaalin | ( | ekstrahoitujen tekstialueiden |), | ei näytön |

Tämä ei ole optimointia. Se on otsakekorjausta.

Osa 3: Käytännön malli

Yleismalli: Reduced RAG on MapM SK1Reduce Probabilistic Systems -järjestelmässä

Tämä on Vähennetty RAG rakenteellinen malli. Ydinperiaate putket syövät todennäköisiä komponentteja.

Reduced RAG is Map-Reduce applied to probabilistic systemsM SK1

• Luettelovaihe (deterministinenM SK1paralelinen,jaettuMSC3Sensorit ja paikalliset mallit vievät rakenteellisia tosiasioita raaka-aineista
• Vähennysvaihe (todennäköinenM SK1johdannainen , keskitetty): LLM synteesisi ekstrahoituja tosiseikkoja

Perinteinen RAG saa tämän taaksepäin - se hakee asiakirjoja ja toivoo, että LLM vie tosiasiat pois . vähennetty RAG esitetään ensin tosiasiat (mapM SK1 sallii sitten LLM:n synteesin (reduce).

Muodot toistuvat kaikissa multimodaalisissa järjestelmissä:

1. Map: Sensorit vähentävät (deterministinen heuristiikkafilteri ja rakenteelliset raaka-arvotiedot -rajojen välinen rinnakkainasettelu
2. Map: Paikalliset mallit (erityismallit tuottavat tosiasioita luottamuksellisten tulosten kanssa.
3. Map: Toimintalinjat (deterministiset kynnysarvot määräävät, että : säilyy tai laajenee.
4. Vähentää: LLM-synteesi (toimi vain kerättyjen tosiasioiden perusteellaM SK1 ei koskaan raaka-aineita

flowchart TD
    subgraph Map["MAP PHASE (Parallel, Deterministic)"]
        Raw[Raw Data<br/>10,000 frames] --> Split{Split}

        Split --> S1[Sensors<br/>Frame 1-1000]
        Split --> S2[Sensors<br/>Frame 1001-2000]
        Split --> S3[Sensors<br/>Frame 2001-3000]
        Split --> SDots[...]

        S1 --> L1[Local Models<br/>Batch 1]
        S2 --> L2[Local Models<br/>Batch 2]
        S3 --> L3[Local Models<br/>Batch 3]
        SDots --> LDots[...]

        L1 --> F1[Facts: 120]
        L2 --> F2[Facts: 98]
        L3 --> F3[Facts: 156]
        LDots --> FDots[...]

        F1 --> Collect[Collect Facts]
        F2 --> Collect
        F3 --> Collect
        FDots --> Collect

        Collect --> Facts[(Facts Database<br/>500 total facts)]
    end

    subgraph Reduce["REDUCE PHASE (Sequential, Probabilistic)"]
        Query[User Query] --> Retrieve[Retrieve Relevant Facts<br/>Filter: 50 facts]
        Facts --> Retrieve
        Retrieve --> LLM[LLM Synthesis<br/>Reason over 50 facts]
        LLM --> Answer[Grounded Answer]
    end

    style Map fill:none,stroke:#16a34a,stroke-width:3px
    style Reduce fill:none,stroke:#6366f1,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style Split fill:none,stroke:#16a34a,stroke-width:2px
    style S1 fill:none,stroke:#16a34a,stroke-width:2px
    style S2 fill:none,stroke:#16a34a,stroke-width:2px
    style S3 fill:none,stroke:#16a34a,stroke-width:2px
    style SDots fill:none,stroke:#16a34a,stroke-width:1px,stroke-dasharray: 5 5
    style L1 fill:none,stroke:#059669,stroke-width:2px
    style L2 fill:none,stroke:#059669,stroke-width:2px
    style L3 fill:none,stroke:#059669,stroke-width:2px
    style LDots fill:none,stroke:#059669,stroke-width:1px,stroke-dasharray: 5 5
    style F1 fill:none,stroke:#0891b2,stroke-width:2px
    style F2 fill:none,stroke:#0891b2,stroke-width:2px
    style F3 fill:none,stroke:#0891b2,stroke-width:2px
    style FDots fill:none,stroke:#0891b2,stroke-width:1px,stroke-dasharray: 5 5
    style Collect fill:none,stroke:#16a34a,stroke-width:2px
    style Facts fill:none,stroke:#0891b2,stroke-width:3px
    style Query fill:none,stroke:#6b7280,stroke-width:2px
    style Retrieve fill:none,stroke:#7c3aed,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px
    style Answer fill:none,stroke:#16a34a,stroke-width:2px

Asiakirja-ensimmäinen RAG vs.vähennetty RAGM SK2

Konkreettiset täytäntöönpanot

Kolme tuotantojärjestelmää panee tämän mallin täytäntöön

• ImageSummarizer: Heuristiikka → FlorenceM SK2 OCR SSK3 Visioon liittyvä LLM ( vain laskeminen
• AudioSummarizer: Akustiset ominaisuudet → Diarointi SSK2 LLM (kysymyksen aika vain
• VideoSummarizer: Ampuma-iskujen havaitseminen

Miksi tämä toimii?

Here are real numbers from VideoSummarizer on 10-minute video

Oikea rakenne on tarkempi. On myös niin, että 180x halvempi - mutta se' on oikean asian tekemisen sivuvaikutusM SK3 ei tavoiteMSC4 Vaikka vapaat paikalliset LLM-liitännät olisivatkin olemassa, kehyslähestymistapa olisi edelleen väärä, koska se tuottaa epäluottamuksenmukaista tulostaMST8

Päätös

Jos AI-järjestelmänne alkaa LLM:llä, olette jo menettäneet sen valvonnan.

Älykkyys ei aloita johdonmukaisuudella. Se alkaa rajoittamallaM SK1

Sensorit vähentävät epävarmuutta

Synteesi on viimeinen askel.

Keskeiset ehdot

• Vähennetty RAG: kartaM SK1vähennys todennäköisten järjestelmien osalta. karta (deterministinen ekstraktointiMSC4 →vähjennyksen vähentäminen SSK6LLM-synteesiMST7
• Luokitusvirhe: Se, että jotakin pidetään olennaisesti toisenlaisena kuin se on
• Raja-asetus: Vähentää korkeitaM SK1dimensionaalisia raaka-tietoja alhaisiin -dimensionaaleihin rakennettuihin signaaleihin tunnettuun tarkkuuteen
• Escalaatiotaso: Fallback to LLM only when deterministic methods fail
• Diarointi: Puhemiehen erottelu audiossa (kumpi puhui, kun

Related Articles

• Vähennetty RAG: KaartiM SK1vähennys Probabilististen järjestelmien osalta
• VideoSummarizer: Reduced RAG for Video
• ImageSummarizer: Konstrained Fuzzy Image Intelligence
• AudioSummarizer: Rikoskuvakuvakuvaus
• StyloFlow:Signaali