法令 Deep Research ツール Lawsy を OSS として公開しました

class RefineQuery(dspy.Signature):
    """
    あなたはWebの扱いに長けた優秀な法律家です。
    下記のユーザーのクエリーにたいして、法令観点からの回答を与えてくれそうな簡潔なクエリーを一つ作ってください。
    なお、作成にあたっては下記を守って下さい。

    - 法令観点からの回答を与えてくれそうなクエリーをつくること
    - あなたの作ったクエリーは可能な限りユーザーが作ったクエリーの意図と過不足なく一致させること
    - クエリーは日本語で作成すること
    - Web検索に最適化すること
    - 簡潔であること
    """

    query = dspy.InputField(desc="ユーザーのクエリー", format=str)
    refined_query = dspy.OutputField(desc="あなたの作成したクエリー", format=str)

class GenerateDetailedTopics(dspy.Signature):
    """あなたは日本の法令に精通した専門家です。
    下記のクエリーに関して、事前にWeb検索をして簡単に下調べしてあります。
    Web検索結果もふまえ、クエリーに関する法令の解説・解釈文書を作成するために必要な法令を検索しようとしています。
    法令検索はセマンティックサーチできるのでキーワード・短文などで検索可能です。

    解説・解釈に必要な法令を適切にヒットさせきるための検索トピックを以下の形式でリストアップしてください。

    出力フォーマット：
    - xxx
    - yyy
    - ...
    - zzz

    検索トピックをリストアップするにあたり、以下の条件を遵守してください。

    - クエリーの意味を十分汲み取ること
    - クエリーに対する法令解説・解釈を行うのに必要な法令が揃うように検索トピックをリストアップしてください
    - 一般的な用語は法令での専門用語を優先してください。法令用語が含まれていない場合は、該当しそうな法令用語や関連用語を補完してください
    - 検索トピックは可能な限り互いに重複せず、個別に調査可能な形にしてください。 **self-contained** であるべきです
    - 検索トピックは法令コーパスに準拠した具体的なものにしてください（短文または具体的な法令用語）
    - 検索精度を高めるため、法令での使用が想定される具体的な専門用語や関連する条文番号を含めてください
    - 検索トピックをナンバリングする必要はありません。検索トピックの内容のみ記載してください
    - 検索トピックの個数は多くても10個までにしてください。多ければよいというわけではないです
    """

    query = dspy.InputField(desc="クエリー", format=str)
    web_search_results = dspy.InputField(desc="Web検索結果", format=str)
    topics = dspy.OutputField(desc="リストアップされた検索トピック", format=str)

教科用図書検定規則
  本則
    第三章　検定済図書の訂正等
      第十五条の二 （参照するウェブサイトの内容の変更の手続）
      検定を経た図書について、当該図書中にウェブサイトのアドレス（二次元コードその他のこれに代わるものを含む。）が記載されている場合であって、当該ウェブサイトの内容を変更しようとするときは、発行者は、文部科学大臣が別に定める日までにあらかじめ文部科学大臣へ報告するものとする。
      前項の報告をしようとする者は、文部科学大臣が別に定める様式による変更報告書を文部科学大臣に提出するものとする。

以下の内容に関する法令解説文書を作るにあたって参考になるWebページや法令がほしい

主題となるクエリー:  {{入力クエリー}}
関連するトピック: {{展開されたトピック}}

class CreateOutline(dspy.Signature):
    """あなたは、ニュースを常にフォローしつつ、日本の法令に精通している専門家です。収集された情報源をもとに、下記のクエリーに対するレポートとして適切なアウトラインと簡潔なタイトルを作成してください。また、最後にレポートのタイトルを作成してください。結論パートは絶対に作成しないでください。

    アウトラインは以下のMarkdownフォーマットに従って作成し、次のルールを厳守すること。
    1. クエリーに対して、法令観点での解説・解釈を含む回答を目的とした構成にする。
    2. "# Title" をレポートのタイトルに用いる。
    3. "## Title" をセクションのタイトルとして用いる。
       - 各セクション ("## Title") に対して、必ず2～3個以上のサブセクション ("### Title") を生成すること
       - セクション数はクエリーに応じて5～20個の間で作成すること。網羅的な回答が必要な場合、セクション数は多い方が好ましい
    4. "### Title" をサブセクションのタイトルとして用いる。
       - 各サブセクションには、収集された情報源をできるだけ多く含めるようにし、必ず最低3～5個以上の異なる引用番号を使用すること
       - サブセクション同士で内容が類似しそうな場合（情報源の法令・条文が同じ、タイトルが酷似）、サブセクションは統合し、他の論点のサブセクションを追加すること
       - サブセクションの引用番号が他と重複する場合、より多様な情報源を取り入れるために、アウトライン全体を統合・再編成すること
       - 必要に応じて、さらに下位の階層も同様に2つ以上生成すること。
    5. 引用情報の記載方法
       - 今後必要となるので、"### Title"のサブセクションタイトル作成の際には参照した条文の引用番号を記載
       - 引用番号はサブセクションの次の行に記載すること。セクション、サブセクションの行には引用番号はつけない。
       - "### Title [3][4]" のように同じ行に引用番号を記載してはならない
    6. Markdownフォーマットに関するルール
       - "## 結論"という結論パートは絶対に作成してはいけない
       - 出力には "# Title", "## Title"、"### Title"、"#### Title" などのMarkdown形式のタイトル以外のテキストを一切含めないこと
       - "#### Title"というサブサブセクションは作成しないこと
       - ナンバリングは不要
       - "#", "##", "###" の階層のみ作成すること
    7. 各行はタイトル、セクション、サブセクション、引用番号のいずれかでそれ以外の情報を記載してはならない

    【出力例】
    # レポートタイトル
    ## セクション1
    ### サブセクション1
    [4][67]
    ### サブセクション2
    [30][28][1][27][102]
    ## セクション2
    ### サブセクション1
    [14][25][9][96]
    ### サブセクション2
    [2][24][51]
    ### サブセクション3
    [29][11][4][56]
    ...

    【不適切な出力例】
    # レポートタイトル: xxx    // 「レポートタイトル: 」という修飾はNG
    ## セクション1
    ### サブセクション1 [4][67]    // 引用はサブセクションの行にはつけない
    [4][67]
    このサブセクションでは...    // 説明文など要求していない不要な行は削除
    ### サブセクション2 [30][28][1][27][102]    // 同上
    [30][28][1][27][102]
    ## セクション2
    [2][24][29][11][4]    // セクション自体に引用がついている
    ### サブセクション1
    ### サブセクション: yyy    // 「サブセクション: 」という修飾はNG
    [2][24][51]
    ### サブセクション3
    [29][11][4][156]     // （引用が例えば110までしかない場合）156は存在しない引用
    """

class FixOutline(dspy.Signature):
    """あなたは校正や編集業務に定評のある腕利きのアシスタントです。
    収集された情報源をもとに、法令解説・解釈レポートのアウトラインを作ったのですが、一部、下記のアウトライン作成ルールを逸脱している可能性があります。
    下記のルールを守るように校正・編集してください。

    1. クエリーに対して、法令観点での解説・解釈を含む回答を目的とした構成にする。
    2. "# Title" をレポートのタイトルに用いる。
    3. "## Title" をセクションのタイトルとして用いる。
       - 各セクション ("## Title") に対して、必ず2～3個以上のサブセクション ("### Title") を生成すること
       - セクション数はクエリーに応じて5～20個の間で作成すること。網羅的な回答が必要な場合、セクション数は多い方が好ましい
    4. "### Title" をサブセクションのタイトルとして用いる。
       - 各サブセクションには、収集された情報源をできるだけ多く含めるようにし、必ず最低3～5個以上の異なる引用番号を使用すること
       - サブセクション同士で内容が類似しそうな場合（情報源の法令・条文が同じ、タイトルが酷似）、サブセクションは統合し、他の論点のサブセクションを追加すること
       - サブセクションの引用番号が他と重複する場合、より多様な情報源を取り入れるために、アウトライン全体を統合・再編成すること
       - 必要に応じて、さらに下位の階層も同様に2つ以上生成すること。
    5. 引用情報の記載方法
       - 今後必要となるので、"### Title"のサブセクションタイトル作成の際には参照した条文の引用番号を記載
       - 引用番号はサブセクションの次の行に記載すること。
       - "### Title [3][4]" のように同じ行に引用番号を記載してはならない
       - 存在しない引用番号を引用してはならない
    6. Markdownフォーマットに関するルール
       - "## 結論"という結論パートは絶対に作成してはいけない
       - 出力には "# Title", "## Title"、"### Title"、"#### Title" などのMarkdown形式のタイトル以外のテキストを一切含めないこと
       - "#### Title"というサブサブセクションは作成しないこと
       - ナンバリングは不要
       - "#", "##", "###" の階層のみ作成すること
    7. 各行はタイトル、セクション、サブセクション、引用番号のいずれかでそれ以外情報を決して記載しない


    【修正が必要な入力アウトライン例】

    ```
    # レポートタイトル: xxx    // 「レポートタイトル: 」という修飾はNG
    ## セクション1
    ### サブセクション1 [4][67]    // 引用はサブセクションの行にはつけない
    [4][67]
    このサブセクションでは...    // 説明文など要求していない不要な行は削除
    ### サブセクション2 [30][28][1][27][102]    // 同上
    [30][28][1][27][102]
    ## セクション2
    [2][24][29][11][4]    // セクション自体に引用がついている
    ### サブセクション1
    ### サブセクション: yyy    // 「サブセクション: 」という修飾はNG
    [2][24][51]
    ### サブセクション3
    [29][11][4][56]
    ```

    【修正済みアウトライン例】

    ```
    # xxx
    ## セクション1
    ### サブセクション1
    [4][67]
    ### サブセクション2
    [30][28][1][27][102]
    ## セクション2
    ### サブセクション1
    [14][25][9]
    ### yyy
    [2][24][51]
    ### サブセクション3
    [29][11][4][56]
    ```
    """  # noqa: E501

    outline = dspy.InputField(desc="入力アウトライン", foramt=str)
    fixed_outline = dspy.OutputField(desc="修正済みアウトライン", format=str)

class WriteSection(dspy.Signature):
    """あなたは日本の法令に精通し、適切な法令解釈を行い、分かりやすい解説を書くことに定評のある信頼できる粘り強いライターです。
    下記のクエリーに関する調査をしており、クエリーをもとにレポートのアウトラインを作成しました。
    アウトラインの中にある引用番号は漏れることなく必ず参照し、収集された情報源の内容を適切に解釈しながら各セクションの内容を記載してください。必ず各サブセクションごとに400字以上記載してください。
    解説は緻密かつ包括的で情報量が多く、情報源に基づいたものであることが望ましいです。法令に詳しくない人向けにわかりやすくかみ砕いて説明することも重要です。必要に応じて、用いている法令の概要、関連法規、適切な事例、歴史的背景、最新の判例などを盛り込んでください。
    なお、内容の信頼性が重要なので、必ず情報源にあたり、下記指示にあるように引用をするのを忘れないで下さい。
    1. アウトラインの"# Title"、"## Title"、"### Title"のタイトルは変更しないでください。
    2. 必ず情報源の情報に基づき記載し、ハルシネーションに気をつけること。
       記載の根拠となる参照すべき情報源は "...です[4][1][27]。" "...ます[21][9]。" のように明示。
       その記述に対しての関連性が高そうな順に付与してください。
    3. 正しく引用を明示されているほどあなたの解説は高く評価されます。
       引用なしの創作は論拠が明確でない限り全く評価されません。
    4. 情報源を解説の末尾に含める必要はありません。
    5. 日本語のですます調で解説を書いてください。
    6. 引用は文面を引用する論理的な必要性がない限り、引用番号の引用のみにしてください。
    7. 「収集された情報源と引用番号」にない番号を引用しないでください。それは創作になってしまい価値を既存します。
    """

    query = dspy.InputField(desc="クエリー", format=str)
    references = dspy.InputField(desc="収集された情報源と引用番号", format=str)
    section_outline = dspy.InputField(desc="セクションのアウトライン", format=str)
    section = dspy.OutputField(desc="生成されたセクション", format=str)

class WriteConclusion(dspy.Signature):
    """あなたは日本の法令に精通し、分かりやすい解説を書くことに定評のある信頼できるライターです。
    レポートのドラフトを踏まえて、レポート全体の要約を本文とはできるだけ異なる表現で記載しつつ、今後の方向性や対応策を含んだ結論部の中身を生成します。
    最低でも400字以上、可能なら600字以上記載してください。
    結論の文章部分のみ生成し、"## 結論" のようなヘッダは入れないでください。
    """

    query = dspy.InputField(desc="クエリー", format=str)
    report_draft = dspy.InputField(desc="レポートのドラフト", format=str)
    conclusion = dspy.OutputField(desc="生成された結論", format=str)

class WriteLead(dspy.Signature):
    """あなたは日本の法令に精通し、分かりやすい解説を書くことに定評のある信頼できるライターです。
    下記のクエリーに関する調査をしており、レポートを作成しました。レポートタイトルの直後に表示する簡潔なリード文を生成してください。
    リード文とは、レポート全体のabstractとなる、レポート全体の論旨の展開や主要トピックを含めた簡潔な文章です。

    リード文の生成にあたって次のルールを厳守すること
    - リード文では、レポート全体の文脈やレポートで扱われている主要なトピックに対する簡潔な概要を提示し、それ単独でも読める内容にすること
    - リード文の文字数は140〜280文字程度とすること
    - リード文の文面のみ生成すること。
    """

    query = dspy.InputField(desc="クエリー", format=str)
    title = dspy.InputField(desc="レポートのタイトル", format=str)
    draft = dspy.InputField(desc="レポート内容", format=str)
    lead = dspy.OutputField(desc="リード文の文面", format=str)

async def fix_response(response: dict) -> dict:
    """Tavily seems not to handle charset properly, so fix it"""
    async def fix_result(result: dict) -> dict:
        result = result.copy()
        # langdetect cannot handle multiple lines
        try:
            det = langdetect.detect(result["content"].replace("\n", " "))
            if det["lang"] != "ja":
                r = httpx.head(result["url"], timeout=1.0)
                if r.encoding:
                    for key in ("content", "raw_content"):
                        if key in result and isinstance(result[key], str):
                            result[key] = result[key].encode("latin-1").decode(r.encoding)
        except Exception:
            ...
        return result

---
markmap:
  pan: false
  zoom: false
---

st.write("あああ")
placeholder = st.empty()
st.write("ううう")
time.sleep(5)
placeholder.write("いいい")

# placeholderを置いてから
st.write("### subsection1")
placeholder1 = st.empty()
st.write("### subsection2")
placeholder2 = st.empty()

# write_streamで生成（実際は並行処理）
placeholder1.write_stream(stream1)
placeholder2.write_stream(stream2)

class QA(dspy.Signature):
    """Answer the query considering the relevant topics."""
    query = dspy.InputField(desc="input query", format=str, prefix="prefix1")
    topics = dspy.InputField(desc="relevant topics", format=str, prefix="prefix2")
    answer = dspy.OutputField(desc="your answer in markdown format", format=str, prefix="prefix3")

--------------------
以下、system メッセージ
--------------------
Your input fields are:
1. `query` (str): input query
2. `topics` (str): relevant topics

Your output fields are:
1. `answer` (str): your answer in markdown format

All interactions will be structured in the following way, with the appropriate values filled in.

[[ ## query ## ]]
{query}

[[ ## topics ## ]]
{topics}

[[ ## answer ## ]]
{answer}

[[ ## completed ## ]]

In adhering to this structure, your objective is: 
        Answer the query considering the relevant topics.

--------------------
以下、user メッセージ
--------------------
[[ ## query ## ]]
宇宙にあるすべての物質の質量は？

[[ ## topics ## ]]
- 質量の物理学的な定義
- 宇宙の起源
- 宇宙にある全物質の質量の推定方法

Respond with the corresponding output fields, starting with the field `[[ ## answer ## ]]`, and then ending with the marker for `[[ ## completed ## ]]`.

[[ ## xxx ## ]]