যশোর কোম্পানি শাসন (১৭৭২ খ্রী. প্রতিষ্ঠিত হলে তাদের রায়মঙ্গল লবণ এজেন্সীর সদর দপ্তর ১৭৮১ সালে বর্তমান খুলনা শহরের কয়লাঘাটায় স্থানান্তরিত হয় লবণ এজেন্সীর ডেপুটি ছিলেন জনৈক চার্লস সংক্ষেপে চার্লী সাহেব। খুলনা ষ্টেশনের উত্তরপুর দিকে চার্লীসাহেব তার কুঠি স্থাপন করেন ও কুঠির পুবদিকে নদীর পাড়ে এক হাট বসান। এই হাট চার্লীগঞ্জের হাট বা সাহেবের বাজার এবং কুঠিসহ হাটের পার্শ্বস্থ জায়গা লোকমুখে চার্লীগঞ্জ বলে পরিচিত হয়। অন্য মতে খালিশপুরের পুবদিকে (বর্তমান রেল এলাকাসহ) জনৈক চোলেট সাহেবের একটা নীলকুঠি ছিল। এই কুঠির নিকটে তিনি একটা হাটের পত্তন করেন। লোকে চোলেট সাহেবকে ভুল করে চার্লীসাহেব বলতে। এবং তার নামে হাটের নাম চার্লিগঞ্জের হাট হয়। ১৮০২ সালে জনৈক চার্লস শহরের পাশে নিলকুঠি স্থাপন করেন। উল্লেখ্য খুলনার দৌলতপুরে প্রথম নীলচাষ ও নীলকুঠি স্থাপন করেন জনৈক ইংরেজ এণ্ডারসন ১৮০১ সালে। চার্লী সাহেবের কুঠি বাড়ীটি কয়েকদফা সংস্কারের পর বর্তমানে রেলওয়ে কর্মচারীদের বিশ্রামাগার রূপে ব্যবহৃত। এই কুঠি বাড়ীটি এলাকার প্রথম পাকাবাড়ী। চার্লী সাহেবের নাম ও সঠিক পেশা নিয়ে যতই বিতর্ক থাক তার ডাক নাম, কুঠি ও হাটের অবস্থান নিয়ে কোন দ্বিমত নেই।
মহকুমা সদরের নিকটের বসতি গুলোর মধ্যে সদরের আধমাইলের সামান্য দূরে চার্লীগঞ্জের হাট ছাড়া কোন হাট বাজার ছিলনা। বর্তমান বড়বাজারের মুরগীহাটের বটগাছ তলায় শনি ও বুধবারে এ হাট হতো। এই হাটের কেন্দ্র ও পার্শ্ববর্তী স্থান চার্লীগঞ্জ বা সাহেবের হাট নামে পরিচিত ছিল। চার্লীগঞ্জ স্থানীয় সাধারণ হাট ছাড়া রেললাইন ও ষ্টিমার সার্ভীস চালু হওয়া পর্যন্ত কোন বড় ব্যবসাকেন্দ্র ছিলনা। এ সময়ে নিকটবর্তী বড় ব্যবসাকেন্দ্র হিসাবে সদর থেকে প্রায় একমাইল পুরদিকে ভৈরব নদীর অপর পারে সেনের বাজার বিখ্যাত ছিল। ভৈরব নদের ভয়াবহতা এবং অনেক দূরে অবস্থিত হওয়ায় বিশেষ প্রয়োজন ভিন্ন এ হাটে সচরাচর এ দিকের লোক বেশী যেতনা ও চার্লীগঞ্জের হাট বসার আগে খালিশপুরের পাশে চরের হাট ও বয়রার হাট প্রধান ছিল।