• keepthepace@slrpnk.net
    link
    fedilink
    Français
    arrow-up
    24
    ·
    edit-2
    11 months ago

    Alors pour info je bosse dans le machine learning depuis quelques années et à temps quasi-plein depuis le début de l’année sur les modèles de langages, ce qu’on appelle désormais “IA” de plus en plus couramment. C’est un domaine qui va extrêmement vite et ce qui était vrai il y a 6 mois a des chances de ne plus l’être aujourd’hui. Je suis en train d’essayer pour un client plein de modèles, plein de prompts, je lis les publis autant que je peux (c’est chaud de tout suivre).

    Je vais pas répondre à chaque commentaire, mais quelques remarques:

    • C’est sûrement un LLM. Le coût d’accessibilité de ces technos baisse à une vitesse fulgurante et j’ai sur mon GPU pas-trop-pourri-mais-pas-le-top (12GB de VRAM) des modèles tout à fait corrects qui tournent. dolphin-2.1-mistral-7B en ce moment, mais ça fait un moment (2 semaines) que j’ai pas essayé les nouveaux sur ma machine.

    • Servir 200 000 élèves je doute que l’état se soit équipé des machines adéquates, ça reste encore un peu touchy de faire tourner ça sans GPU. Ça passera sûrement par une boite privée (et franchement vous attendez pas à ce que l’équipe actuelle remette la régie publique au gout du jour pour les choses stratégiques). Des chances que ce soit lié à l’annonce d’investissements massifs dans le domaine de la part de Niels y a quelques semaines.

    • Si ça arrive jamais ce sera en retard. Y a combien de promesses “dans les prochains mois” de ce gouvernement qui ont été tenues? Y aura les JO, le covid ou bien Sandrine Rousseau qui aura mangé sa copie.

    • Perso j’attends un tel truc de mes voeux, et c’est un vrai tiraillement entre l’amour que le porte pour les profs de la fonction publique et l’incapacité qu’a le modèle éducatif à évoluer. Je pense qu’un truc de ce genre est vraiment l’avenir.

    • Je m’attends à ce que ce truc là se plante en beauté. Je serais TRÈS impressionné qu’ils parviennent à déployer comme ça massivement et sans test un truc qui marche bien et qui sois pas rushé. Ma veille est pas parfaite, mais s’il y avait un truc qui marche bien dans les tuyaux en France, ça m’étonne un peu de pas l’avoir vu passer.

    • C’est tout à fait possible de faire ça bien, Khan Academy l’a fait. Je m’attends à voir des versions FR de trucs américains avant la solution de l’éducation nationale. Je dirais bien que ça vaut le coup d’attendre s’ils font les choses bien, mais j’y crois pas.

    • ChatGPT, surtout dans sa version 3.5 (gratuite) n’est pas l’alpha et l’oméga de ce qu’on peut faire dans le domaine. Les bons modèles sont capables de digérer dans leur contexte l’équivalent d’un petit livre de cours. (ou 2 bibles pour les plus ambitieux, mais je crois que Anthropic abuse un peu du marketing là). Quand vous mettez un texte dans le contexte, vous diminuez grandement les erreurs et hallucinations du modèle à son sujet.

    • Ça va clairement pas être adapté à toutes les psychologies et tous les cas, j’espère qu’on ne va pas nous faire le coup de moule unique par lequel tout le monde devra passer. C’est un outil pour délester le travail des profs en aidant les élèves qui marchent bien comme ça

    • Je suis un profil sur lequel ça aurait marché et qui aurait adoré ça. Pendant ma scolarité j’apprenais plus des livres (et sur la fin, d’internet) que des profs, mais c’est clairement pas le cas pour tout le monde.

    • Par contre y a un aspect à mon avis assez universellement positif de ce genre d’outil: la patience infinie et le manque de jugement envers les “question bêtes”. Tu peux la veille du bac lui dire “en fait j’ai jamais compris quand on écrivait «j’aurai» et «j’aurais»” et ça va te l’expliquer sans te sermonner sur ton retard et sans te juger. Parfois c’est cool d’avoir un humain de l’autre coté, mais parfois c’est super de pas en avoir.

    • TGHOST-V0@lemmy.ml
      link
      fedilink
      Français
      arrow-up
      2
      arrow-down
      1
      ·
      11 months ago

      Merci beaucoup pour cette qualitance avec avis argumenté.
      Le truc de niel jai pas vu mais je fais aucune veille sur ce domaine la en vrai…

      Je comprend pas pourquoi tu as subi de la censure par contre.
      Il ya un bot qui chie ou quoi. Cest quoi ces removed XD.

      • keepthepace@slrpnk.net
        link
        fedilink
        Français
        arrow-up
        2
        ·
        11 months ago

        Y a quelques semaines Niels a lancé un fond d’investissement pas trop ridicule pour de l’IA souveraine. C’était mieux réussi que ce à quoi on s’attendait: Le Cun qui participe, le gouvernement qui suit. Je suppose que Mistral (petite boite cocorico qui a eu un moment de gloire en battant des records de petits modèles) a aussi fait des annonces.

        Où tu vois des removed? Dans mon historique? J’ai effacé un ou deux messages ces derniers jours que je trouvais un peu négatifs, c’est de ça dont tu parles?

        • TGHOST-V0@lemmy.ml
          link
          fedilink
          Français
          arrow-up
          1
          ·
          11 months ago

          Merci pour la précision,

          Sinon pour le removed non je parle d’ici,

          Si ça arrive jamais ce sera en removed. Y a combien de promesses “dans les prochains mois” de ce gouvernement qui ont été tenues? Y aura les JO, le covid ou bien Sandrine Rousseau qui aura mangé sa copie.

          • keepthepace@slrpnk.net
            link
            fedilink
            Français
            arrow-up
            3
            ·
            11 months ago

            Haha, y a un bot qui merde on dirait! Le mot remplacé est “r.e.t.a.r.d.” qui est une insulte en anglais. Je me demande d’où vient ce filtre? Je le vois pas supprimé de mon coté, je le vois pas non plus quand je passe par kbin. Ça doit être de ton coté. Soit ton client, soit ton instance.

            Ça a l’air d’être l’instance. Lemmy semble avoir un “slur filter” que plein de communautés retirent, mais je vois des posts lemmy.ml qui le défendent.

                • Camus [il/lui]@lemmy.caOP
                  link
                  fedilink
                  Français
                  arrow-up
                  3
                  ·
                  11 months ago

                  C’est pour ça que c’est très bien que ce soit fédéré, et qu’ils n’aient rien à dire sur la manière dont les instances sont gérées

              • Snoopy@jlai.lu
                link
                fedilink
                Français
                arrow-up
                1
                arrow-down
                1
                ·
                edit-2
                11 months ago

                Tu m’apprends des trucs, iels ont hardcodé le filtre pour éviter toute modifs et supprimer les propos racistes, transphobes. C’est plutot brillant. :D

                @Eikichi@lemmy.ml Désolé, pour dire je suis retard tu vas devoir passer au franglish :')

                • TGHOST-V0@lemmy.ml
                  link
                  fedilink
                  Français
                  arrow-up
                  2
                  ·
                  11 months ago

                  Je ne suis pas re.t.ar.d non mais !

                  Bof j’aime pas cette feature en vrai.
                  Un truc de faf ca, cest dommage.

                  Hardcoded le jour ou ca te gène , tes obligé de fork pour changer la liste de mots ou comment fonctionne le filtre…

                  Jai pas envie quils me protègent.

                  • Snoopy@jlai.lu
                    link
                    fedilink
                    Français
                    arrow-up
                    2
                    ·
                    edit-2
                    11 months ago

                    Ben en fait iels ont fait comme ça pcq iels veulent pas de racistes, transphobes qui utlisent leur logiciel. C’est original comme approche :)

                • Camus [il/lui]@lemmy.caOP
                  link
                  fedilink
                  Français
                  arrow-up
                  2
                  ·
                  11 months ago

                  C’est une bonne idée, par contre pour les cas où les mots sont dans plusieurs langues, c’est pas super pratique ha ha

                  • Snoopy@jlai.lu
                    link
                    fedilink
                    Français
                    arrow-up
                    1
                    ·
                    11 months ago

                    Non et Eikichi vient de nous faire une démo du filtre dans tout ses aspects : problème de la langue, limite du filtre et comment y echapper :')