have difficulty は、「困難である」や「苦労する」という意味で使われる表現です。
さて、この have difficulty の後に、前置詞は必要でしょうか。
また、「to + 動詞の原形」という形は文法的に可能でしょうか。
have difficulty の後は動名詞
基本的に、have difficulty の後は、動名詞（つまり、動詞のing形）が置かれます。
I have difficulty memorizing things.
私は物を覚えるのが苦手だ。
私は物を覚えるのが苦手だ。
ここで、have difficulty の後に前置詞 in を置くことも可能ですが、一般的には置きません。
また、上記の例で、memorizing を to memorize とすることはできません。