Comme nous l’avons vu dans le billet précédent, la base de connaissances qui servira à entrainer l’IA est composée de petits fichiers, en Markdown (extension.md), qui font chacun référence à un article, un livre, une image, une vidéo… nous y reviendrons. Mais comment organiser ces fichiers, afin de faciliter le travail d’apprentissage de l’IA et surtout d’éviter les mauvaises interprétations, qui engendreront par la suite des hallucinations ?
C’est ici que la norme OKF v0.1 apporte un début de méthodologie. La base de connaissances est un répertoire, sur un espace de stockage, local ou en infonuagique. Dans mon cas, soyons simples, un simple répertoire sur mon disque, répliqué automatiquement dans un cloud européen.
La norme OKF nous dit que ce répertoire peut contenir autant de sous-répertoires et de hiérarchies que vous le souhaitez ; l’objectif est d’organiser votre contenu par thème.
Dans le répertoire principal, un fichier index.md reprend les informations de base de votre « bundle », terme utilisé par OKF pour désigner votre base de connaissances. Il semble que la norme permette également d’inclure un fichier index.md de manière optionnelle dans chaque répertoire, afin de faciliter la découverte de l’ensemble de l’arborescence.
Ce fichier index.md indique la version d’OKF utilisée, et l’arborescence des répertoires. Ainsi, l’entrainement de l’IA peut le lire et s’assurer de parcourir chaque répertoire. D’où l’idée d’ajouter d’autres fichiers index.md dans les répertoires principaux, permettant de découvrir peu à peu l’ensemble de la hiérarchie des fichiers.
Rien de très compliqué donc :
– Un ensemble de répertoires organisés pour répartir le contenu par thème
– Un ou plusieurs fichiers index.md pour faciliter le parcours de la base lors de la phase d’entrainement
Et cela suffit pour commencer la collecte, l’enrichissement et la conservation de votre contenu d’apprentissage.
