الرموز والسياق وميزانية المعلومات

samples = ["a b", "مرحبا"]
for text in samples:
    print(len(text.split()), len(text.encode("utf-8")))
print("words and bytes are not model-token counts")

2 3
1 10
words and bytes are not model-token counts

للعينة الإنجليزية كلمتان وثلاثة بايتات وللعربية كلمة وعشرة بايتات، لا عدد رموز نموذج.

budget = 100
instructions = 20
output_reserve = 30
overhead = 10
available = budget - instructions - output_reserve - overhead
print(available)
for evidence_size in [40, 41]:
    print(evidence_size <= available)
print("fictional budget units only")

40
True
False
fictional budget units only

تبقى 40 وحدة خيالية فيلائم 40 لا 41، وليست رموز نموذج أوحدا معلنا.