Menschliche Stichprobe - Native gegen LLM-Arm (blind)¶

Zu jeder Frage stehen zwei Antworten (A, B) und die Wissensbasis, aus der sie sprechen duerfen. Welche Antwort von welchem System stammt, ist nicht angegeben.

Bitte je Antwort bewerten (Skala 1 = schlecht bis 5 = sehr gut): natuerlichkeit (klingt wie gutes, fluessiges Deutsch), verstaendlichkeit (klar, leicht lesbar); erfunden j/n (sagt die Antwort etwas, das nicht in der Wissensbasis steht?); dazu besser A / B / gleich. Eintragen in menschliche_stichprobe_bogen.csv, dann auswerten mit python tools/native_vergleich.py stichprobe-auswerten.

S001 - Ist der Fisch ein Tier?¶

Wissensbasis:

Fisch ist ein Tier (belegt, nicht abschliessend geprueft)

A: Ja, der Fisch ist ein Tier; das ist belegt, denn „Fisch" ist als „Tier" eingeordnet. Dies bleibt allerdings ein Fragmentkandidat und gilt nicht als freigegebene Wahrheit.

B: Ja, genau: Meines Wissens ist ein Fisch ein Tier.

S002 - Was ist der Unterschied zwischen Wal und Elefant?¶

Wissensbasis:

Wal ist ein Säugetier (belegt, nicht abschliessend geprueft)
Elefant ist ein Säugetier (vorlaeufig)
Wal hat eigenschaft groß (belegt, nicht abschliessend geprueft)
Wal hat eigenschaft selten (belegt, nicht abschliessend geprueft)

A: Nach meinem aktuellen, noch nicht abschließend geprüften Wissen sind ein Wal und ein Elefant beide Säugetiere. Soweit ich weiß, ist ein Wal groß und selten.

B: Nach aktueller Evidenzlage teilen Wal und Elefant die Kategorie „Säugetier“. Dieser Vergleich ist jedoch nur eine Kandidatenstruktur und keine freigegebene Wahrheit.

S003 - Welche Eigenschaften hat das Haus?¶

Wissensbasis:

Haus hat eigenschaft alt (belegt, nicht abschliessend geprueft)
Haus hat eigenschaft groß (belegt, nicht abschliessend geprueft)

A: Nach meinem bisherigen Wissen ist ein Haus alt und groß.

B: Nach aktueller Evidenzlage werden dem Haus die Eigenschaften „alt" und „groß" zugeordnet. Diese Zuordnung ist jedoch nur ein Eigenschaftskandidat und keine freigegebene Wahrheit.

S004 - Erzähl mir etwas über Fluss¶

Wissensbasis:

Fluss ist ein Gewässer (gesichert)
Fluss hat eigenschaft lang (gesichert)
Fluss hat eigenschaft tief (gesichert)

A: Ein Fluss gehört zu den Gewässern und ist lang und tief.

B: Den vorhandenen Strukturhinweisen zufolge wird „Fluss“ mit „Gewässer“ in Verbindung gebracht, wobei diese Verbindung nur ein Kandidat und keine freigegebene Wahrheit ist. Als bekannte Eigenschaften werden „lang“ und „tief“ genannt. Auch diese Zusammenfassung gilt lediglich als Kandidat und nicht als freigegebene Wahrheit.

S005 - Erzähl mir etwas über See¶

Wissensbasis:

See ist ein Gewässer (belegt, nicht abschliessend geprueft)
See hat eigenschaft tief (belegt, nicht abschliessend geprueft)
See hat eigenschaft kalt (belegt, nicht abschliessend geprueft)

A: In den vorhandenen Strukturhinweisen wird „See“ mit „Gewässer“ verbunden, wobei diese Verbindung nur ein Kandidat und keine freigegebene Wahrheit ist. Als bekannte Eigenschaften werden „kalt“ und „tief“ genannt. Auch diese Zusammenfassung gilt lediglich als Kandidat und nicht als freigegebene Wahrheit.

B: Nach meinem bisherigen Wissen ist ein See ein Gewässer, das tief und kalt ist.

S006 - Was ist der Unterschied zwischen Löwe und Adler?¶

Wissensbasis:

Löwe ist ein Säugetier (belegt, nicht abschliessend geprueft)
Adler ist ein Vogel (belegt, nicht abschliessend geprueft)
Löwe hat eigenschaft stark (belegt, nicht abschliessend geprueft)
Löwe hat eigenschaft gefährlich (belegt, nicht abschliessend geprueft)
Adler hat eigenschaft schnell (belegt, nicht abschliessend geprueft)
Adler hat eigenschaft selten (belegt, nicht abschliessend geprueft)

A: Nach der aktuellen Evidenzlage ist für „Löwe" und „Adler" kein gemeinsamer Kategorie-Kandidat belegt. Das ist allerdings kein Beleg für einen Unterschied und gilt auch nicht als freigegebene Wahrheit.

B: Meines Wissens ist ein Löwe ein Säugetier und ist stark und gefährlich. Hingegen ist ein Adler ein Vogel und ist schnell und selten.

S007 - Was ist der Unterschied zwischen Pferd und Vogel?¶

Wissensbasis:

Pferd ist ein Tier (belegt, nicht abschliessend geprueft)
Vogel ist ein Tier (belegt, nicht abschliessend geprueft)
Pferd hat eigenschaft stark (belegt, nicht abschliessend geprueft)
Pferd hat eigenschaft schnell (belegt, nicht abschliessend geprueft)

A: Nach meinem bisherigen Wissen sind ein Pferd und ein Vogel beide Tiere. Ein Pferd ist stark und schnell.

B: Nach aktueller Evidenzlage haben Pferd und Vogel als gemeinsame Kategorie nur "Tier" als Kandidaten. Dieser Vergleich ist jedoch lediglich eine Kandidatenstruktur und keine freigegebene Wahrheit.

S008 - Zu welcher Kategorie gehört Wal?¶

Wissensbasis:

Wal ist ein Säugetier (belegt, nicht abschliessend geprueft)

A: Soweit ich weiß, ist ein Wal ein Säugetier.

B: Der Wal wird der Kategorie „Säugetier" zugeordnet. Diese Zuordnung gilt allerdings nur als Kategoriekandidat und nicht als freigegebene Wahrheit.

S009 - Erzähl mir etwas über Kamera¶

Wissensbasis:

Kamera ist ein Gerät (belegt, nicht abschliessend geprueft)
Kamera hat eigenschaft digital (belegt, nicht abschliessend geprueft)
Kamera hat eigenschaft leicht (belegt, nicht abschliessend geprueft)
Kamera besteht aus Kunststoff (belegt, nicht abschliessend geprueft)
Kamera herkunft von lateinisch camera (belegt, nicht abschliessend geprueft)

A: Meines Wissens ist eine Kamera ein Gerät, ist digital und leicht und besteht aus Kunststoff. Zur Herkunft des Wortes „Kamera“: von lateinisch camera.

B: In den vorliegenden Strukturhinweisen wird „Kamera“ mit „Gerät“ verbunden, wobei diese Verbindung nur ein Kandidat und keine freigegebene Wahrheit ist. Als bekannte Eigenschaften werden „digital“ und „leicht“ genannt. Auch diese Zusammenfassung gilt lediglich als Kandidat und nicht als freigegebene Wahrheit.

S010 - Was ist ein Pferd?¶

Wissensbasis:

Pferd ist ein Tier (belegt, nicht abschliessend geprueft)

A: „Pferd" wird strukturell mit „Tier" in Verbindung gebracht. Diese Zuordnung gilt jedoch nur als Kandidat und nicht als gesicherte Wahrheit.

B: Soweit ich weiß, ist ein Pferd ein Tier.

S011 - Ist der Tisch ein Möbelstück?¶

Wissensbasis:

Tisch ist ein Möbelstück (belegt, nicht abschliessend geprueft)

A: Ja, der Tisch ist ein Möbelstück; das ist belegt. Es bleibt jedoch ein Fragmentkandidat und gilt nicht als freigegebene Wahrheit.

B: Ja, nach meinem bisherigen Wissen ist ein Tisch ein Möbelstück.

S012 - Ist der Löwe ein Gerät?¶

Wissensbasis:

Löwe ist ein Säugetier (belegt, nicht abschliessend geprueft)
(kein Beleg vorhanden: negation_not_supported Löwe)

A: Ob ein Löwe ein Gerät ist, kann ich nicht belegen. Ein fehlender Beleg heißt aber nicht, dass es falsch ist. Belegt ist dagegen, dass ein Löwe ein Säugetier ist.

B: Ob der Löwe ein Gerät ist, lässt sich nicht belegen, daher behaupte ich dazu nichts. Belegt ist nur, dass der Löwe zur Kategorie Säugetier gehört. Ein fehlender Beleg bedeutet dabei nicht automatisch ein Nein.

S013 - Was ist ein Hund?¶

Wissensbasis:

Hund ist ein Tier (gesichert)

A: Ein Hund gehört zu den Tieren.

B: Nach aktueller Evidenzlage wird „Hund“ mit „Tier“ verbunden. Diese Verbindung gilt jedoch nur als Kandidat und ist keine freigegebene Wahrheit.

S014 - Woraus besteht das Telefon?¶

Wissensbasis:

Telefon besteht aus Kunststoff (gesichert)

A: Das Telefon besteht laut der geprüften Angabe aus Kunststoff. Diese Angabe gilt jedoch nur als Bestandteilkandidat und ist keine freigegebene Wahrheit.

B: Ein Telefon besteht aus Kunststoff.

S015 - Ist das Haus ein Gebäude?¶

Wissensbasis:

Haus ist ein Gebäude (belegt, nicht abschliessend geprueft)

A: Ja, meines Wissens ist ein Haus ein Gebäude.

B: Ja, ein Haus ist ein Gebäude; das ist belegt. Es bleibt jedoch ein Fragmentkandidat und gilt noch nicht als freigegebene Wahrheit.

S016 - Ist das Schiff ein Fahrzeug?¶

Wissensbasis:

Schiff ist ein Fahrzeug (belegt, nicht abschliessend geprueft)

A: Ja, genau: Meines Wissens ist ein Schiff ein Fahrzeug.

B: Ja, das Schiff ist ein Fahrzeug. Das ist belegt, denn "Schiff" ist als "Fahrzeug" eingetragen (ist_ein). Es bleibt allerdings ein Fragmentkandidat und gilt nicht als freigegebene Wahrheit.

S017 - Zu welcher Kategorie gehört Adler?¶

Wissensbasis:

Adler ist ein Vogel (belegt, nicht abschliessend geprueft)

A: Der Adler wird der Kategorie „Vogel" zugeordnet. Diese Zuordnung gilt jedoch nur als Kategoriekandidat und nicht als freigegebene Wahrheit.

B: Meines Wissens ist ein Adler ein Vogel.

S018 - Wozu dient die Firewall?¶

Wissensbasis:

Firewall dient zu Schutz (belegt, nicht abschliessend geprueft)

A: Als Zweck der Firewall ist der Schutz belegt. Diese Angabe gilt jedoch nur als Kandidat und ist noch keine freigegebene Wahrheit.

B: Soweit ich weiß, dient eine Firewall dem Schutz.

S019 - Ist die Katze ein Fahrzeug?¶

Wissensbasis:

Katze ist ein Tier (belegt, nicht abschliessend geprueft)
(kein Beleg vorhanden: negation_not_supported Katze)

A: Ob die Katze ein Fahrzeug ist, lässt sich nicht belegen, daher kann ich dazu nichts bestätigen. Belegt ist lediglich, dass die Katze zur Kategorie Tier gehört. Ein fehlender Beleg ist dabei kein Nein, ich behaupte also nichts, was nicht gestützt ist.

B: Ob eine Katze ein Fahrzeug ist, kann ich nicht belegen. Ein fehlender Beleg heißt aber nicht, dass es falsch ist. Belegt ist aber, dass eine Katze ein Tier ist.

S020 - Was ist der Unterschied zwischen Telefon und Kamera?¶

Wissensbasis:

Telefon ist ein Gerät (gesichert)
Kamera ist ein Gerät (belegt, nicht abschliessend geprueft)
Telefon hat eigenschaft elektrisch (gesichert)
Telefon hat eigenschaft digital (gesichert)
Kamera hat eigenschaft digital (belegt, nicht abschliessend geprueft)
Kamera hat eigenschaft leicht (belegt, nicht abschliessend geprueft)

A: Meines Wissens sind ein Telefon und eine Kamera beide Geräte. Ein Telefon und eine Kamera sind beide digital. Ein Telefon ist elektrisch. Soweit ich weiß, ist eine Kamera leicht.

B: Nach aktueller Evidenzlage gehören "Telefon" und "Kamera" beide zur Kategorie "Gerät". Dieser Vergleich ist jedoch nur eine Kandidatenstruktur und keine freigegebene Wahrheit.

S021 - Erzähl mir etwas über Meer¶

Wissensbasis:

Meer ist ein Gewässer (belegt, nicht abschliessend geprueft)
Meer hat eigenschaft groß (belegt, nicht abschliessend geprueft)
Meer hat eigenschaft tief (belegt, nicht abschliessend geprueft)

A: Nach meinem bisherigen Wissen ist ein Meer ein Gewässer und ist groß und tief.

B: Nach der vorhandenen Struktur gilt das Meer als Gewässer und ist zugleich groß und tief. Diese Angabe ist allerdings nur ein Fragmentkandidat und keine freigegebene Wahrheit.

S022 - Wozu dient der Server?¶

Wissensbasis:

Server dient zu Speicherung (belegt, nicht abschliessend geprueft)

A: Der Server dient laut der belegten Angabe der Speicherung. Diese Angabe gilt jedoch nur als Kandidat und ist noch keine freigegebene Wahrheit.

B: Meines Wissens dient ein Server der Speicherung.

S023 - Welche Eigenschaften hat die Uhr?¶

Wissensbasis:

Uhr hat eigenschaft klein (belegt, nicht abschliessend geprueft)
Uhr hat eigenschaft wichtig (belegt, nicht abschliessend geprueft)

A: Nach meinem bisherigen Wissen ist eine Uhr klein und wichtig.

B: Nach aktueller Evidenzlage werden der Uhr die Eigenschaften „klein" und „wichtig" zugeordnet. Diese Zuordnung ist jedoch nur ein Eigenschaftskandidat und keine freigegebene Wahrheit.

S024 - Zu welcher Kategorie gehört Blume?¶

Wissensbasis:

Blume ist ein Pflanze (belegt, nicht abschliessend geprueft)

A: Soweit ich weiß, ist eine Blume eine Pflanze.

B: Blume wird der Kategorie „Pflanze“ zugeordnet. Diese Zuordnung ist jedoch nur ein Kategoriekandidat und keine freigegebene Wahrheit.

S025 - Zu welcher Kategorie gehört Ente?¶

Wissensbasis:

Ente ist ein Vogel (gesichert)

A: Eine Ente ist ein Vogel.

B: Die Ente wird der Kategorie „Vogel“ zugeordnet. Diese Zuordnung gilt jedoch nur als Kategoriekandidat und nicht als freigegebene Wahrheit.

S026 - Was ist ein See?¶

Wissensbasis:

See ist ein Gewässer (belegt, nicht abschliessend geprueft)
See hat eigenschaft kalt (belegt, nicht abschliessend geprueft)
See hat eigenschaft tief (belegt, nicht abschliessend geprueft)

A: Nach der vorhandenen Struktur wird ein See als Gewässer geführt und gilt zugleich als kalt und tief. Diese Angabe ist allerdings nur ein Fragmentkandidat und keine freigegebene Wahrheit.

B: Soweit ich weiß, ist ein See ein Gewässer und ist kalt und tief.

S027 - Wozu dient die Biene?¶

Wissensbasis:

Biene dient zu Nahrung (gesichert)

A: Als Zweck der Biene ist „Nahrung“ belegt. Diese Angabe gilt jedoch nur als Kandidat und nicht als freigegebene Wahrheit.

B: Eine Biene dient der Nahrung.

S028 - Was ist ein Meer?¶

Wissensbasis:

Meer ist ein Gewässer (belegt, nicht abschliessend geprueft)
Meer hat eigenschaft groß (belegt, nicht abschliessend geprueft)
Meer hat eigenschaft tief (belegt, nicht abschliessend geprueft)

A: Nach meinem bisherigen Wissen handelt es sich beim Meer um ein Gewässer. Das Meer ist groß und tief.

B: Nach der vorliegenden Struktur wird ein Meer als Gewässer geführt, das zugleich groß und tief ist. Diese Angabe gilt jedoch nur als Fragmentkandidat und nicht als freigegebene Wahrheit.

S029 - Wozu dient das Schiff?¶

Wissensbasis:

Schiff dient zu Transport (belegt, nicht abschliessend geprueft)

A: Meines Wissens dient ein Schiff dem Transport.

B: Als Zweck von „Schiff" ist Transport belegt. Diese Angabe gilt jedoch nur als Kandidat und nicht als freigegebene Wahrheit.