stacking diacritics

[Etienne de Boissezon]

désolé je retranscrit pas mon msg en francais, mais vous comprendrez mon
anglais a 2 francs :) :

I'm trying to adapt linux and openoffice for handling caracters from
west africa (lyele from gurunsi ethnics)...
I have to handle various latin cars, and some ipa cars, all with
multiple diacritics (like: IPA open o + tilde + acute)
Openoffice won't render well multiple diacritics (the tilde and the
acute won't be stacked as defined in unicode 4 specs, but written in the
same place). Neither do other apps like mozilla... Is that a feature
that will be handled in the future?

I figure linux mandrake is only unicode 2.2 compliant... is that true?

Of course I can design my own diacritics glyphs, but where to put them
in unicode? there are 5 unused spaces in diacritics, should it be ok?

But when I design a font with fontographer, and put my special diacritic
(non spacing mark tilde + acute) in this space, openoffice won't render
it well (like spacing mark)... Well, open office is quite buggy when I
use my own font... any idea of the mistake I made creating the font?


merci

[Jean-Marc Desperrier]

Post by Etienne de Boissezon
Openoffice won't render well multiple diacritics (the tilde and the
acute won't be stacked as defined in unicode 4 specs, but written in the
same place). Neither do other apps like mozilla... Is that a feature
that will be handled in the future?

La manière de faire cela est d'avoir une police OpenType qui définit le
bon placement des accents, et un moteur d'affichage qui le gère.
Pour cela, il faut que tout soit bon au niveau de l'appli + du serveur X
IMHO. Je crois que ce n'est pas facile aujourd'hui sous Linux.

Pour Mozilla, tu as essayé une version XFT ? CTL ? Compilée sur mesure
avec le patch Pango de Jungshink ;-) ?
(http://bugzilla.mozilla.org/show_bug.cgi?id=215219)

Post by Etienne de Boissezon
Of course I can design my own diacritics glyphs, but where to put them
in unicode? there are 5 unused spaces in diacritics, should it be ok?

Tu perds toute compatiblité en faisant cela :-(
Il faut peut-être mieux adapter la police pour que chaque accent ait une
hauteur différente, même si ce sera assez moche ?

Dans l'état actuel des chose, et si le support est définitivement pas
assez avancé pour être utilisée par OpenOffice, autant mieux utiliser un
éditeur unicode spécialisé qui le fasse correctement plutôt que OpenOffice.
Ca peut paraître bizarre, mais si tu y arrive finalement avec Mozilla,
le composer marche pas si mal que cela comme éditeur de texte pur, ou
pourquoi pas écrire en HTML ?

Je pense que Pablo ou Antoine pourront te renseigner plus précisément
sur openoffice.

[Antoine Leca]

Post by Jean-Marc Desperrier
Je pense que Pablo ou Antoine pourront te renseigner plus précisément
sur openoffice.

Pablo, peut-être, mais moi, je ne peux pas aider au-delà de ce que tu as
écrit !


Seule remarque, Étienne mentionne une compatibilité Unicode 2.2. D'abord,
une telle version n'a jamais existée. Ensuite, l'histoire des diacritiques
empilés, c'était déjà présent dans la version 1.0 d'Unicode. Et le fait de
le représenter correctement n'est nullement une obligation, ni dans la
version 1 ni dans la version 4 (la conformité à Unicode est quelque chose de
très... facile à obtenir; donc cela ne signifie pas grand chose).


Antoine

[Pablo Saratxaga]

Kaixo!
Li Fri, 16 Apr 2004 13:02:23 +0200,

Post by Jean-Marc Desperrier
Je pense que Pablo ou Antoine pourront te renseigner plus précisément
sur openoffice.

AL> Pablo, peut-être, mais moi, je ne peux pas aider au-delà de ce que tu as
AL> écrit !

Je ne sais pas vraimment ce qu'il en est pour OOo actuellement;
j'espère qu'ils utiliseront à terme pango, ce qui permettra d'avoir une
seule place où corriger les bugs.


AL> Seule remarque, Étienne mentionne une compatibilité Unicode 2.2. D'abord,
AL> une telle version n'a jamais existée. Ensuite, l'histoire des diacritiques
AL> empilés, c'était déjà présent dans la version 1.0 d'Unicode. Et le fait de
AL> le représenter correctement n'est nullement une obligation, ni dans la
AL> version 1 ni dans la version 4 (la conformité à Unicode est quelque chose de
AL> très... facile à obtenir; donc cela ne signifie pas grand chose).

Unicode definit juste la presentation desirable (l'empilement) suivant l'ordre
des caractères encodés; mais pas la façon d'y arriver.

C'est une des choses qui devraient être supportées dans une future
version de pango.

Il faudrait aussi verifier que la police de caractères en question soit
capable d'afficher correctemment les diacritiques empilés.

[De Boissezon Etienne]

salut a tous

merci, vous avez bien orienté mes recherches... De plus grace a vous
j'ai exécuté mon premier source python, mais c'est une autre histoire

Donc tout se passe au niveau du moteur de rendu, qui semble etre
uniscribe sous windows, et pango et autres sous linux (d'ailleurs, quoi
d'autre?)

J'ai pas testé, mais sous office 2003, avec une police opentype (ou
graphite) comme celles fournies par la SIL, ca devrait marcher (il me
faudrait surtout des "open O + tilde + acute" par exemple)... Vous avez
ca sous la main pour tester?

J'ai testé avec pango et python, mais il n'empile pas correctement les
diacritiques... Mais peut etre la fonte arialUNI (celle qui fait 26M)
n'est pas completement opentype ou graphite? J'ai pas encore réussi à
tester avec la fonte de la SIL.

Comme soft pour editer mes fontes, j'ai repéré fontlab... vous
connaissez? d'autres suggestions?

C'est quoi IMHO? XFT ? CTL ?

autant mieux utiliser un éditeur unicode spécialisé qui le fasse

correctement plutôt que OpenOffice.
Ca existe?????

Je précise que je suis au fond de la brousse avec une connection
internet à 2 euros de l'heure...


merci

Etienne

Kaixo!
Li Fri, 16 Apr 2004 13:02:23 +0200,

Post by Jean-Marc Desperrier
Je pense que Pablo ou Antoine pourront te renseigner plus précisément
sur openoffice.

AL> Pablo, peut-être, mais moi, je ne peux pas aider au-delà de ce que tu as
AL> écrit !
Je ne sais pas vraimment ce qu'il en est pour OOo actuellement;
j'espère qu'ils utiliseront à terme pango, ce qui permettra d'avoir une
seule place où corriger les bugs.
AL> Seule remarque, Étienne mentionne une compatibilité Unicode 2.2. D'abord,
AL> une telle version n'a jamais existée. Ensuite, l'histoire des diacritiques
AL> empilés, c'était déjà présent dans la version 1.0 d'Unicode. Et le fait de
AL> le représenter correctement n'est nullement une obligation, ni dans la
AL> version 1 ni dans la version 4 (la conformité à Unicode est quelque chose de
AL> très... facile à obtenir; donc cela ne signifie pas grand chose).
Unicode definit juste la presentation desirable (l'empilement) suivant l'ordre
des caractères encodés; mais pas la façon d'y arriver.
C'est une des choses qui devraient être supportées dans une future
version de pango.
Il faudrait aussi verifier que la police de caractères en question soit
capable d'afficher correctemment les diacritiques empilés.

[Jean-Marc Desperrier]

Post by De Boissezon Etienne
merci, vous avez bien orienté mes recherches...

Fait attention que l'usage sur les news est de ne garder que le plus
utile du message auquel on répond, éventuellement rien si on ne répond
pas particulièrement à quelquechose, puis d'écrire en-dessous.

Post by De Boissezon Etienne
Donc tout se passe au niveau du moteur de rendu, qui semble etre
uniscribe sous windows, et pango et autres sous linux (d'ailleurs, quoi
d'autre?)

Je crois que autre ce sont les moteurs intégrés aux applis. Il y a aussi
graphite de SIL, AAT sous Mac OS X.

Post by De Boissezon Etienne
J'ai testé avec pango et python, mais il n'empile pas correctement les
diacritiques... Mais peut etre la fonte arialUNI (celle qui fait 26M)
n'est pas completement opentype ou graphite? J'ai pas encore réussi à
tester avec la fonte de la SIL.

Non, arial unicode ne contient pas toutes les dernières avancées de
techniques de police. Elle contient beaucoup de caractère, ce qui
explique sa taile, mais est assez peu optimisée pour des caractères
particuliers.

Il semble qu'il vaut mieux que tu essaie avec la fonte Doulos de SIL
pour avoir ce qu'il existe de plus complet pour le type de support dont
tu as besoin. Le zip ne fait que 674 Ko, puisque la police ne contient
pas l'ensemble des caractères asiatiques comme arial unicode :
http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=DoulosSIL_Technical

Post by De Boissezon Etienne
Comme soft pour editer mes fontes, j'ai repéré fontlab... vous
connaissez? d'autres suggestions?

J'ai entendu beaucoup de bien de FontForge (ex PfaEdit) :
http://fontforge.sourceforge.net/

Post by De Boissezon Etienne
C'est quoi IMHO? XFT ? CTL ?

IMHO : In My Humble Opinion, à mon humble avis.

XFT : Une méthode amélioré de rendu sur Unix/Linux qui permet en
particulier de lisser les police

CTL : Complex Text Layout. Désigne les méthodes à utiliser pour afficher
correctement les languages qu'il est impossible de rendre correctement
simplement en disposant les caractères à la suite les uns des autres.
Cela peut être à cause d'une direction d'écriture différente, de
caractère qui change de forme suivant le contexte, de caractère qui
doivent s'afficher en réalité devant celui qu'on a rencontré avant, ou
de cas encore plus complexe comme pour le birman.

Post by De Boissezon Etienne

autant mieux utiliser un éditeur unicode spécialisé qui le fasse

correctement plutôt que OpenOffice.
Ca existe?????

SIL propose WorldPad qui gère toutes les technologies qu'ils proposent
dont Graphite. Evidemment c'est un éditeur et pas un traitement de
texte, donc il y a beaucoup moins de possibilités de mise en forme.

Si tu pars dans la direction SIL, il existe une version de Mozilla
compilée avec le support Graphite.
C'est moins standard que de le faire par d'autres méthodes, mais
l'important est surtout que la manière de coder les caractères est
standardisé, même si après on a du utiliser une application un peu
particulière pour avoir un bon support.

[Antoine Leca]

Post by Jean-Marc Desperrier
Je crois que autre ce sont les moteurs intégrés aux applis.

En particulier CoolType, de Adobe.

Post by Jean-Marc Desperrier
Il y a aussi graphite de SIL, AAT sous Mac OS X.

J'allais le dire !
AAT/ATSUI fonctionne aussi (surtout ?) avec MacOS.

Post by Jean-Marc Desperrier

Post by De Boissezon Etienne
J'ai testé avec pango et python, mais il n'empile pas correctement
les diacritiques... Mais peut etre la fonte arialUNI (celle qui fait
26M)

Version ?
C'est bien possible qu'elle n'ait pas les choses qu'il faut. Je pense que
l'important est la table 'mkmk' (cf.
<URL:http://www.microsoft.com/typography/otfntdev/standot> pour la
spécification officielle et <URL:fontforge.sf.net> pour les outils qui vont
bien.)


Antoine

[Pablo Saratxaga]

Kaixo!
Li Sun, 18 Apr 2004 18:42:00 +0200,
De Boissezon Etienne <***@free.fr> scrijheut:

DBE> Donc tout se passe au niveau du moteur de rendu, qui semble etre
DBE> uniscribe sous windows, et pango et autres sous linux (d'ailleurs, quoi
DBE> d'autre?)

libQt a son propre moteur de rendu; donc pour tout ce qui est Qt et KDE.
pango est utilisé par Gtk2 (donc Gnome2), mais en est independent, il
peut donc être utilisé par d'autres programmes non-gtk; ce n'est pas
encore très utilisé en dehors de gtk, mais ça viendra sûrement (car ça
simplifie énormement de choses de centraliser cette partie que de devoir
reimplementer la roue à chaque fois, d'autant plus que c'est un champ
complexe, et que ça signifierait implementer des solutions incomplètes
et bugées à chaque fois).
Mozilla a aussi son propre moteur de rendu (bugué et incomplet par
rapport a pango, notamment pour l'affichage des diacritiques arabes)

il y en a sans doute d'autres, mais qui sont plus que marginaux dans le
contexte des logiciels libres.
Autrement dit, i lvaut mieux se tourner vers pango si on a besoin
d'ajouter un support pour le rendu dans son programme.

DBE> J'ai pas testé, mais sous office 2003, avec une police opentype (ou
DBE> graphite) comme celles fournies par la SIL, ca devrait marcher (il me
DBE> faudrait surtout des "open O + tilde + acute" par exemple)... Vous avez
DBE> ca sous la main pour tester?

Il n'est pas necessaire d'avoir un glyphe spécifique, ce qu'il faut
c'est un "open O" avec les infos d'où placer les diacritiques,
un "tilde" avec l'info d'où s'attacher au caractère, mais aussi l'info
d'où placer un eventuel diacritique supplementaire, et un "acute"
avec l'info d'où s'accrocher au caractère précédent; et puis que le
moteur de rendu positionne correctemment ces trois éléments les uns par
rapport aux autres.

En passant: il est prévu que pango supporte aussi les fontes graphite en
plus d'Open Type (même si ça en est encore nulle part actuellement,
c'est la volonté affichée)

DBE> J'ai testé avec pango et python, mais il n'empile pas correctement les
DBE> diacritiques...

En effet, c'est encore dans la liste de choses à faire.

DBE>autant mieux utiliser un éditeur unicode spécialisé qui le fasse
DBE> correctement plutôt que OpenOffice.
DBE> Ca existe?????

"yudit" est excellent.
C'est un édiuteur de texte, ce qui signifie une seule taille de
caractères, un seul style, etc. donc pas de fioritures, rien que du
texte brut; mais le rendu des caractères est le plus abouti que je
connaisse actuellement, et il supporte aussi les caractères en dehors du
plan de base d'unicode.

Je viens de tester avec yudit de taper U0254, U0303, U0301 et ça marche
plus ou moins; l'accent aigu s'affiche à droite du tilde; par contre
si j'utilise la lettre "a" ça s'affiche correctemment, notamment si je
change l'ordre des accents ça se reflète à l'écran (alors que ça ne se
voit pas avec l'o ouvert).

[Jean-Marc Desperrier]

Post by Pablo Saratxaga
Mozilla a aussi son propre moteur de rendu (bugué et incomplet par
rapport a pango, notamment pour l'affichage des diacritiques arabes)

Il ne fait pas forcément tout moins bien que Pango, cf :
http://bugzilla.mozilla.org/show_bug.cgi?id=214715

Bon, ça se discute en fait, puisque l'intérêt de gérer des polices
Microsoft non-standard sous Pango est peut-être limité.

Post by Pablo Saratxaga
DBE> J'ai testé avec pango et python, mais il n'empile pas correctement les
DBE> diacritiques...
En effet, c'est encore dans la liste de choses à faire.
[...].
Je viens de tester avec yudit de taper U0254, U0303, U0301 et ça marche
plus ou moins; l'accent aigu s'affiche à droite du tilde;

D'après le bug Pango http://bugzilla.gnome.org/show_bug.cgi?id=101079 ,
effectivement cela marche avec yudit et Code2000.

Il y a aussi une demo de graphite avec cela.