Schön, dass du da bist!
#aboutme
Suche & Menü
Der Einstieg orientiert sich an den tatsächlichen Schwerpunkten von hnz.io: KI, Medien und Politik, Tools, Web, Bewegtbild und die anderen Themenbereiche aus der Taxonomie.
Die wichtigsten Themenbereiche, in denen die Inhalte tatsächlich liegen.
Beiträge über KI, LLMs, Prompting und den praktischen Einsatz künstlicher Intelligenz.
Medien, Politik, Kommunikation und der oeffentliche Diskurs in digitalen und klassischen Raeumen.
Tools, Software, Automatisierung und all die Systeme, die Arbeit im Alltag einfacher machen.
Alles rund um Websites, Publishing, CMS, Blogging und den technischen Unterbau des Webs.
Alles zu Social Media, Plattformen, Netzwerken und der Logik digitaler Oeffentlichkeit im Alltag.
Kultur, Gesellschaft und essayistische Beobachtungen zu Gestaltung, Musik, Ehrenamt, Gemeinschaft und anderen kulturellen Phänomenen.
Persönliche Texte, Reiseberichte, Städtetouren, Wanderungen, Rezepte und alles, was im Alltag und unterwegs passiert.
Alles, was mit Filmen, Serien, Shows und bewegten Bildern zu tun hat, von Genres bis zu Franchises.
Ich mach' was mit Kommunikation und Marketing, bin Podcaster auf Entzug, bleibe immer Hundepapa im Herzen und Tabler mit Leidenschaft. Hier landet alles, was mir Spaß macht: Texte, Fotos, Experimente. Göttingen ist mein Zuhause, das Netz mein Spielplatz.
mastodon bluesky pixelfed instagram facebook
arxiv.orgLarge language models (LLMs) frequently generate hallucinations -- plausible but factually incorrect outputs -- undermining their reliability. While prior work has examined hallucinations from macroscopic perspectives such as training data and objectives, the underlying neuron-level mechanisms remain largely unexplored. In this paper, we conduct a systematic investigation into hallucination-associated neurons (H-Neurons) in LLMs from three perspectives: identification, behavioral impact, and origins. Regarding their identification, we demonstrate that a remarkably sparse subset of neurons (less than $0.1\%$ of total neurons) can reliably predict hallucination occurrences, with strong generalization across diverse scenarios. In terms of behavioral impact, controlled interventions reveal that these neurons are causally linked to over-compliance behaviors. Concerning their origins, we trace these neurons back to the pre-trained base models and find that these neurons remain predictive for hallucination detection, indicating they emerge during pre-training. Our findings bridge macroscopic behavioral patterns with microscopic neural mechanisms, offering insights for developing more reliable LLMs.Weiterlesen
@hnz.io
Kommentar schreiben