Download main.py from datacipen/eventia: direct link, hf CLI and curl.
- Browser
- Download file 13.5 kB
-
https://huggingface.co/spaces/datacipen/eventia/resolve/main/main.py
- Command line
-
hf download hf://spaces/datacipen/eventia/main.py
-
curl -L -o main.py https://huggingface.co/spaces/datacipen/eventia/resolve/main/main.py
13.5 kB
| import os | |
| import json | |
| import bcrypt | |
| import pandas as pd | |
| from typing import List | |
| from pathlib import Path | |
| from langchain_huggingface import HuggingFaceEmbeddings | |
| from langchain_huggingface import HuggingFaceEndpoint | |
| from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder | |
| from langchain.schema import StrOutputParser | |
| from operator import itemgetter | |
| from pinecone import Pinecone | |
| from langchain_pinecone import PineconeVectorStore | |
| from langchain_community.chat_message_histories import ChatMessageHistory | |
| from langchain.memory import ConversationBufferMemory | |
| from langchain.schema.runnable import Runnable, RunnablePassthrough, RunnableConfig, RunnableLambda | |
| from langchain.callbacks.base import BaseCallbackHandler | |
| from langchain.chains import ( | |
| StuffDocumentsChain, ConversationalRetrievalChain, create_extraction_chain | |
| ) | |
| import chainlit as cl | |
| from chainlit.input_widget import TextInput, Select, Switch, Slider | |
| from deep_translator import GoogleTranslator | |
| from datetime import timedelta | |
| async def LLMistral(): | |
| os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN'] | |
| #repo_id = "mistralai/Ministral-8B-Instruct-2410" | |
| #repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1" | |
| #repo_id = "nvidia/Mistral-NeMo-Minitron-8B-Base" | |
| repo_id = "mistralai/Mistral-7B-Instruct-v0.2" | |
| #repo_id = "mistralai/Mistral-7B-Instruct-v0.3" | |
| #repo_id = "allenai/OLMoE-1B-7B-0924-Instruct" | |
| llm = HuggingFaceEndpoint( | |
| repo_id=repo_id, max_new_tokens=5300, temperature=0.5, task="text2text-generation", streaming=True | |
| ) | |
| return llm | |
| async def VectorDatabase(categorie): | |
| if categorie == "year" or categorie == "videosTC": | |
| index_name = "all-jdlp" | |
| embeddings = HuggingFaceEmbeddings() | |
| vectorstore = PineconeVectorStore( | |
| index_name=index_name, embedding=embeddings, pinecone_api_key=os.getenv('PINECONE_API_KEYJDLP') | |
| ) | |
| return vectorstore | |
| async def Retriever(categorie): | |
| vectorstore = await VectorDatabase(categorie) | |
| if categorie == "videosTC": | |
| retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 250,"filter": {"title": {"$eq": "videos-table-rondeia"}, "time": {"$gte": 1320}}}) | |
| return retriever | |
| async def Search(input, categorie): | |
| vectorstore = await VectorDatabase(categorie) | |
| results = [] | |
| test = [] | |
| sources_text = "" | |
| sources_offres = "" | |
| verbatim_text = "" | |
| count = 0 | |
| countOffres = 0 | |
| if categorie == "videosTC": | |
| search = vectorstore.similarity_search(input,k=50, filter={"title": {"$eq": "videos-table-rondeia"}, "time": {"$gte": 1320}}) | |
| for i in range(0,len(search)): | |
| if count <= 23: | |
| count = count + 1 | |
| timeSeq = search[i].metadata["time"] | |
| timeSeqRound = round(timeSeq) | |
| time = timedelta(seconds=timeSeqRound) | |
| sources_text = sources_text + '<div class="gridvid"><a target="_blank" title="' + search[i].metadata['titre'] + ' : ...' + search[i].page_content + '" href="' + search[i].metadata['video'] + '#start=' + str(timeSeq) + '"><img src="' + search[i].metadata['image'] + '" width="100%" alt="' + search[i].metadata['titre'] + ' : ...' + search[i].page_content + '"/><p>🕓 ' + str(time) + ' : ...' + search[i].page_content + ' : ' + search[i].metadata['titre'] + '</p></a></div>' | |
| sources_audio = sources_text + '<div class="gridvid"><a target="_blank" title="' + search[i].metadata['titre'] + ' : ...' + search[i].page_content + '" href="' + search[i].metadata['Audio'] + '#start=' + str(timeSeq) + '"><img src="' + search[i].metadata['thumb'] + '" width="100%" alt="' + search[i].metadata['titre'] + ' : ...' + search[i].page_content + '"/><p>🕓 ' + str(time) + ' : ...' + search[i].page_content + ' : ' + search[i].metadata['titre'] + '</p></a></div>' | |
| verbatim_text = verbatim_text + "<p style='font-size:0.8rem'>" + str(count) + ". " + search[i].metadata['titre'] + "</p><p style='font-size:0.8rem'>🕓 "+ str(time) + " : " + search[i].page_content + "</p>" | |
| results = [sources_text, verbatim_text, sources_audio] | |
| return results | |
| async def chat_profile(): | |
| return [ | |
| cl.ChatProfile(name="Table ronde autour de l'IA : «IA et gestes professionnels de l’enseignant»",markdown_description="Vidéo exploratoire autour de l'événement",icon="/public/logo-ofipe.png",), | |
| ] | |
| #@cl.on_chat_start | |
| #async def on_chat_start(): | |
| # await cl.Message(f"Bonjour").send() | |
| async def set_starters(): | |
| return [ | |
| cl.Starter( | |
| label="L'IA comme outil pour les enseignants et les étudiants", | |
| message="Comment les enseignants et les étudiants peuvent-ils utiliser l'IA comme un outil pour améliorer l'apprentissage et l'enseignement ?", | |
| icon="/public/videocam-theme1.svg", | |
| ), | |
| cl.Starter( | |
| label="Les limites de l'IA et la nécessité de l'intervention humaine", | |
| message="Quelles sont les limites de l'IA et pourquoi est-il important que les enseignants interviennent dans le processus d'apprentissage avec l'IA ?", | |
| icon="/public/videocam-theme2.svg", | |
| ), | |
| cl.Starter( | |
| label="L'importance de l'esprit critique face à l'IA", | |
| message="Comment encourager les étudiants à développer un esprit critique face à l'IA et à ses résultats ?", | |
| icon="/public/videocam-theme3.svg", | |
| ), | |
| cl.Starter( | |
| label="L'éthique et l'IA dans les enseignements du supérieur", | |
| message="Quels sont les enjeux éthiques liés à l'utilisation de l'IA dans les enseignements du supérieur et comment y faire face ?", | |
| icon="/public/videocam-theme4.svg", | |
| ), | |
| cl.Starter( | |
| label="Les impacts de l'IA sur les métiers et les formations", | |
| message="Comment l'IA va transformer les métiers et les formations du supérieur et quels sont les défis à relever ?", | |
| icon="/public/videocam-theme5.svg", | |
| ), | |
| cl.Starter( | |
| label="Les limites de l'IA et les défis technologiques", | |
| message="Quelles sont les limites actuelles de l'IA et quels sont les défis technologiques à relever pour améliorer son utilisation dans les enseignements du supérieur ?", | |
| icon="/public/videocam-theme6.svg", | |
| ) | |
| ] | |
| async def on_message(message: cl.Message): | |
| if cl.context.session.client_type == "copilot": | |
| await cl.Message(f"Type : {message.type}").send() | |
| if message.type == "system_message": | |
| # do something with the message | |
| await cl.Message(f"Lien : ").send() | |
| return | |
| model = await LLMistral() | |
| retriever = await Retriever("videosTC") | |
| ########## Chain with streaming ########## | |
| message_history = ChatMessageHistory() | |
| memory = ConversationBufferMemory(memory_key="chat_history",output_key="answer",chat_memory=message_history,return_messages=True) | |
| qa = ConversationalRetrievalChain.from_llm( | |
| model, | |
| memory=memory, | |
| chain_type="stuff", | |
| return_source_documents=True, | |
| verbose=False, | |
| retriever=retriever | |
| ) | |
| msg = cl.Message(content="") | |
| class PostMessageHandler(BaseCallbackHandler): | |
| """ | |
| Callback handler for handling the retriever and LLM processes. | |
| Used to post the sources of the retrieved documents as a Chainlit element. | |
| """ | |
| def __init__(self, msg: cl.Message): | |
| BaseCallbackHandler.__init__(self) | |
| self.msg = msg | |
| self.sources = set() # To store unique pairs | |
| def on_retriever_end(self, documents, *, run_id, parent_run_id, **kwargs): | |
| for d in documents: | |
| source_page_pair = (d.metadata['source'], d.metadata['page']) | |
| self.sources.add(source_page_pair) # Add unique pairs to the set | |
| def on_llm_end(self, response, *, run_id, parent_run_id, **kwargs): | |
| sources_text = "\n".join([f"{source}#page={page}" for source, page in self.sources]) | |
| self.msg.elements.append( | |
| cl.Text(name="Sources", content=sources_text, display="inline") | |
| ) | |
| cb = cl.AsyncLangchainCallbackHandler() | |
| results = await qa.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous, en 5000 mots au moins. En plus, tu créeras et tu afficheras, à la fin de ta réponse, 3 questions supplémentaires en relation avec le contexte initial, à chaque étape de la conversation. Tu écriras et tu afficheras les 3 questions supplémentaires en relation avec le contexte initial, à la fin de ta réponse, avec un titrage de niveau 1 qui a pour titre \"Questions en relation avec le contexte : \". Lorsque cela est possible, cite les sources du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb]) | |
| #results = await qa.ainvoke({"question":"Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous, en exactement 5000 mots. En plus, tu créeras et tu afficheras, à la fin de ta réponse, 3 questions supplémentaires en relation avec le contexte initial, à chaque étape de la conversation. Tu écriras et tu afficheras les 3 questions supplémentaires en relation avec le contexte initial, à la fin de ta réponse, avec un titrage de niveau 1 qui a pour titre \"Questions en relation avec le contexte : \". Lorsque cela est possible, cite les sources du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content}) | |
| #async for chunk in qa.astream({"question":"Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement et exclusivement à la question ci-dessous, en exactement 5000 mots. En plus, tu créeras et tu afficheras, à la fin de ta réponse, 3 questions supplémentaires en relation avec le contexte initial, à chaque étape de la conversation. Tu écriras et tu afficheras les 3 questions supplémentaires en relation avec le contexte initial, à la fin de ta réponse en langue française seulement, avec un titrage de niveau 1 qui a pour titre \"Questions en relation avec le contexte : \". Lorsque cela est possible, cite les sources du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content}, | |
| # config=RunnableConfig(callbacks=[cl.AsyncLangchainCallbackHandler(stream_final_answer=True)])): | |
| # await msg.stream_token(chunk) | |
| answer = results["answer"] | |
| await cl.Message(content=GoogleTranslator(source='auto', target='fr').translate(answer[0:5000])).send() | |
| search = await Search(message.content, "videosTC") | |
| sources = [ | |
| cl.Text(name="Sources vidéo", content=search[0], display="inline") | |
| ] | |
| await cl.Message( | |
| content="Vidéos : ", | |
| elements=sources, | |
| ).send() | |
| #if search[2]: | |
| # sourcesOffres = [ | |
| # cl.Text(name="Sources audio", content=search[2], display="inline") | |
| # ] | |
| # await cl.Message( | |
| # content="Audio : ", | |
| # elements=sourcesOffres, | |
| # ).send() | |
| verbatim = [ | |
| cl.Text(name="Verbatim", content=search[1], display="side") | |
| ] | |
| await cl.Message( | |
| content="📚 Liste des Verbatim ", | |
| elements=verbatim, | |
| ).send() |